栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 软件开发 > 后端开发 > Python

用python爬取微博评论数据,爬虫之路,永无止境。。(附源码)

Python 更新时间:发布时间: 百科书网 趣学号

用python爬取微博评论数据,爬虫之路,永无止境。。(附源码)

今天目标爬取微博任意博文的评论信息

工具使用

开发环境:win10、python3.6
开发工具:pycharm
工具包 :requests,re, time, random,tkinter

项目思路分析

1.网页版登录拿回cookie值
2.选取要爬的博文评论信息的网页版网址
https://weibo.com/3167104922/Kkl7ar83T#comment为例
3.根据网页版的地址抓包拿回博文唯一的id值(weibo_id)
4.构造博文手机版评论请求的地址
f’https://m.weibo.cn/comments/hotflow?id={weibo_id}&mid={weibo_id}&max_id_type=0’
5.发送请求拿回响应的json数据
6.max_id和max_id_type的值确定
7.构造data参数,下次翻页请求要加上参数

"""构造GET请求参数"""        data = 
转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/268509.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号