甘肃省建设厅网站,Wordpress淘客自动采集,中国建设银行人才招聘网站,大连三丰建设集团公司网站功能输出实例运行环境使用说明 下载脚本安装依赖程序设置设置数据库#xff08;可选#xff09;运行脚本按需求修改脚本#xff08;可选#xff09; 如何获取user_id添加cookie与不添加cookie的区别#xff08;可选#xff09;如何获取cookie#xff08;可选#xff09…功能输出实例运行环境使用说明 下载脚本安装依赖程序设置设置数据库可选运行脚本按需求修改脚本可选 如何获取user_id添加cookie与不添加cookie的区别可选如何获取cookie可选如何检测cookie是否有效可选
功能
连续爬取一个或多个新浪微博用户如Dear-迪丽热巴、郭碧婷的数据并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据主要有用户信息和微博信息两大类前者包含用户昵称、关注数、粉丝数、微博数等等后者包含微博正文、发布时间、发布工具、评论数等等因为内容太多这里不再赘述详细内容见输出部分。具体的写入文件类型如下
写入csv文件默认写入json文件可选写入MySQL数据库可选写入MongoDB数据库可选下载用户原创微博中的原始图片可选下载用户转发微博中的原始图片可选下载用户原创微博中的视频可选下载用户转发微博中的视频可选下载用户原创微博Live Photo中的视频可选下载用户转发微博Live Photo中的视频可选
输出
用户信息
用户id微博用户id如1669879400用户昵称微博用户昵称如Dear-迪丽热巴性别微博用户性别微博数用户的全部微博数转发微博原创微博粉丝数用户的粉丝数关注数用户关注的微博数量简介用户简介主页地址微博移动版主页url如https://m.weibo.cn/u/1669879400?uid1669879400luicode10000011lfid1005051669879400头像url用户头像url高清头像url用户高清头像url微博等级用户微博等级会员等级微博会员用户等级普通用户该等级为0是否认证用户是否认证为布尔类型认证类型用户认证类型如个人认证、企业认证、政府认证等认证信息为认证用户特有用户信息栏显示的认证信息 微博信息
微博id微博的id为一串数字形式微博bid微博的bid与cookie版中的微博id是同一个值微博内容微博正文原始图片url原创微博图片和转发微博转发理由中图片的url若某条微博存在多张图片则每个url以英文逗号分隔若没有图片则值为’’视频url: 微博中的视频url和Live Photo中的视频url若某条微博存在多个视频则每个url以英文分号分隔若没有视频则值为’’微博发布位置位置微博中的发布位置微博发布时间微博发布时的时间精确到天点赞数微博被赞的数量转发数微博被转发的数量评论数微博被评论的数量微博发布工具微博的发布工具如iPhone客户端、HUAWEI Mate 20 Pro等若没有则值为’’话题微博话题即两个#中的内容若存在多个话题每个url以英文逗号分隔若没有则值为’’用户微博的用户若存在多个用户每个url以英文逗号分隔若没有则值为’’原始微博为转发微博所特有是转发微博中那条被转发的微博存储为字典形式包含了上述微博信息中的所有内容如微博id、微博内容等等结果文件保存在当前目录weibo文件夹下以用户昵称为名的文件夹里名字为user_id.csv形式微博图片微博中的图片保存在以用户昵称为名的文件夹下的img文件夹里微博视频微博中的视频保存在以用户昵称为名的文件夹下的video文件夹里
实例
以爬取迪丽热巴的微博为例我们需要修改config.json文件文件内容如下
{user_id_list: [1669879400],filter: 1,since_date: 1900-01-01,write_mode: [csv],original_pic_download: 1,retweet_pic_download: 0,original_video_download: 1,retweet_video_download: 0,cookie: your cookie
}对于上述参数的含义以及取值范围这里仅作简单介绍详细信息见程序设置。 user_id_list代表我们要爬取的微博用户的user_id可以是一个或多个也可以是文件路径微博用户Dear-迪丽热巴的user_id为1669879400具体如何获取user_id见如何获取user_idfilter的值为1代表爬取全部原创微博值为0代表爬取全部微博原创转发since_date代表我们要爬取since_date日期之后发布的微博因为我要爬迪丽热巴的全部原创微博所以since_date设置了一个非常早的值write_mode代表结果文件的保存类型我想要把结果写入csv文件和json文件所以它的值为[“csv”, “json”]如果你想写入数据库具体设置见设置数据库original_pic_download值为1代表下载原创微博中的图片值为0代表不下载retweet_pic_download值为1代表下载转发微博中的图片值为0代表不下载original_video_download值为1代表下载原创微博中的视频值为0代表不下载retweet_video_download值为1代表下载转发微博中的视频值为0代表不下载cookie是可选参数可填可不填具体区别见添加cookie与不添加cookie的区别。 配置完成后运行程序
$ python weibo.py程序会自动生成一个weibo文件夹我们以后爬取的所有微博都被存储在weibo文件夹里。然后程序在该文件夹下生成一个名为Dear-迪丽热巴的文件夹迪丽热巴的所有微博爬取结果都在这里。Dear-迪丽热巴文件夹里包含一个csv文件、一个img文件夹和一个video文件夹img文件夹用来存储下载到的图片video文件夹用来存储下载到的视频。如果你设置了保存数据库功能这些信息也会保存在数据库里数据库设置见设置数据库部分。 csv文件结果如下所示 3267187212.csv 本csv文件是爬取“全部微博”(原创微博转发微博)的结果文件。因为迪丽热巴很多微博本身都没有图片、发布工具、位置、话题和用户等信息所以当这些内容没有时对应位置为空。“是否原创列用来标记是否为原创微博 当为转发微博时文件中还包含转发微博的信息。为了简便起见姑且将转发微博中被转发的原始微博称为源微博它的用户id、昵称、微博id等都在名称前加上源字以便与目标用户自己发的微博区分。对于转发微博程序除了获取用户原创部分的信息还会获取源用户id、源用户昵称、源微博id、源微博正文、源微博原始图片url、源微博位置、源微博日期、源微博工具、源微博点赞数、源微博评论数、源微博转发数、源微博话题、源微博用户等信息。原创微博因为没有这些转发信息所以对应位置为空。若爬取的是全部原创微博”则csv文件中不会包含是否原创及其之后的转发属性列 为了说明json结果文件格式这里以迪丽热巴2019年12月27日到2019年12月28日发的2条微博为例。 json结果文件格式如下
{user: {id: 1669879400,screen_name: Dear-迪丽热巴,gender: f,statuses_count: 1085,followers_count: 65585238,follow_count: 248,description: 一只喜欢默默表演的小透明。工作联系jaywalkjaywalk.com.cn ,profile_url: https://m.weibo.cn/u/1669879400?uid1669879400luicode10000011lfid1005051669879400,profile_image_url: https://tvax1.sinaimg.cn/crop.0.0.996.996.180/63885668ly8fjf57kfmgfj20ro0ro0u7.jpg?KIDimgbed,tvaExpires1578329741ssig3jZYwOBVPM,avatar_hd: https://wx1.sinaimg.cn/orj480/63885668ly8fjf57kfmgfj20ro0ro0u7.jpg,urank: 44,mbrank: 7,verified: true,verified_type: 0,verified_reason: 嘉行传媒签约演员 },weibo: [{user_id: 1669879400,screen_name: Dear-迪丽热巴,id: 4454572602912349,bid: ImTGkcdDn,text: 今天的#星光大赏# ,pics: https://wx3.sinaimg.cn/large/63885668ly1gacppdn1nmj21yi2qp7wk.jpg,https://wx4.sinaimg.cn/large/63885668ly1gacpphkj5gj22ik3t0b2d.jpg,https://wx4.sinaimg.cn/large/63885668ly1gacppb4atej22yo4g04qr.jpg,https://wx2.sinaimg.cn/large/63885668ly1gacpn0eeyij22yo4g04qr.jpg,video_url: ,location: ,created_at: 2019-12-28,source: ,attitudes_count: 551894,comments_count: 182010,reposts_count: 1000000,topics: 星光大赏,at_users: },{user_id: 1669879400,screen_name: Dear-迪丽热巴,id: 4454081098040623,bid: ImGTzxJJt,text: 我最爱用的娇韵诗双萃精华穿上限量“金”装啦希望阿丝儿们跟我一起在新的一年更美更年轻喜笑颜开没有细纹困扰限定新春礼盒还有祝福悄悄话大家了解一下,pics: ,video_url: ,location: ,created_at: 2019-12-27,source: ,attitudes_count: 190840,comments_count: 43523,reposts_count: 1000000,topics: ,at_users: ,retweet: {user_id: 1684832145,screen_name: 法国娇韵诗,id: 4454028484570123,bid: ImFwIjaTF,text: #点萃成金 年轻焕新# 将源自天然的植物力量转化为滴滴珍贵如金的双萃精华。这份点萃成金的独到匠心只为守护娇粉们的美丽而来。点击视频与Dear-迪丽热巴 一同邂逅新年限量版黄金双萃以闪耀开运金送上新春宠肌臻礼。 跟着迪迪选年货还有双重新春惊喜爱丽丝们看这里 第一重参与微淘活动邀请好友关注娇韵诗天猫旗舰店就有机会赢取限量款热巴新年礼盒打开就能聆听仙女迪亲口送出的新春祝福哦点击网页链接下单晒热巴同款黄金双萃并且法国娇韵诗更有机会获得热巴亲笔签名的礼盒哦 第二重转评说出新年希望娇韵诗为你解决的肌肤愿望截止至1/10小娇将从铁粉中抽取1位娇粉送出限量版热巴定制礼盒抽取3位娇粉送出热巴明信片1张 #迪丽热巴代言娇韵诗#养成同款御龄美肌就从现在开始。法国娇韵诗的微博视频,pics: ,video_url: http://f.video.weibocdn.com/003vQjnRlx07zFkxIMjS010412003bNx0E010.mp4?labelmp4_hdtemplate852x480.25.0trans_finger62b30a3f061b162e421008955c73f536Expires1578322522ssigP3ozrNA3mvKIDunistore,video,location: ,created_at: 2019-12-27,source: 微博 weibo.com,attitudes_count: 18389,comments_count: 3201,reposts_count: 1000000,topics: 点萃成金 年轻焕新,迪丽热巴代言娇韵诗,at_users: Dear-迪丽热巴,法国娇韵诗}}]
}1669879400.json 下载的图片如下所示 )img文件夹 本次下载了788张图片大小一共1.21GB包括她原创微博中的所有图片。图片名为yyyymmdd微博id的形式若某条微博存在多张图片则图片名中还会包括它在微博图片中的序号。若某图片下载失败程序则会以“weibo_id:pic_url”的形式将出错微博id和图片url写入同文件夹下的not_downloaded.txt里若图片全部下载成功则不会生成not_downloaded.txt 下载的视频如下所示 video文件夹 本次下载了66个视频是她原创微博中的视频和原创微博Live Photo中的视频视频名为yyyymmdd微博id的形式。有三个视频因为网络原因下载失败程序将它们的微博id和视频url分别以“weibo_id:video_url”的形式写到了同文件夹下的not_downloaded.txt里。 因为我本地没有安装MySQL数据库和MongoDB数据库所以暂时设置成不写入数据库。如果你想要将爬取结果写入数据库只需要先安装数据库MySQL或MongoDB再安装对应包pymysql或pymongo然后将mysql_write或mongodb_write值设置为1即可。写入MySQL需要用户名、密码等配置信息这些配置如何设置见设置数据库部分。
运行环境
开发语言python2/python3系统 Windows/Linux/macOS
使用说明
1.下载脚本
$ git clone https://github.com/dataabc/weibo-crawler.git运行上述命令将本项目下载到当前目录如果下载成功当前目录会出现一个名为weibo-crawler的文件夹
2.安装依赖
$ pip install -r requirements.txt3.程序设置
打开config.json文件你会看到如下内容
{user_id_list: [1669879400],filter: 1,since_date: 2018-01-01,write_mode: [csv],original_pic_download: 1,retweet_pic_download: 0,original_video_download: 1,retweet_video_download: 0,mysql_config: {host: localhost,port: 3306,user: root,password: 123456,charset: utf8mb4}
}下面讲解每个参数的含义与设置方法。 设置user_id_list user_id_list是我们要爬取的微博的id可以是一个也可以是多个例如
user_id_list: [1223178222, 1669879400, 1729370543],上述代码代表我们要连续爬取user_id分别为“1223178222”、 “1669879400”、 “1729370543”的三个用户的微博具体如何获取user_id见如何获取user_id。 user_id_list的值也可以是文件路径我们可以把要爬的所有微博用户的user_id都写到txt文件里然后把文件的位置路径赋值给user_id_list。 在txt文件中每个user_id占一行也可以在user_id后面加注释可选如用户昵称等信息user_id和注释之间必需要有空格文件名任意类型为txt位置位于本程序的同目录下文件内容示例如下
1223178222 胡歌
1669879400 迪丽热巴
1729370543 郭碧婷假如文件叫user_id_list.txt则user_id_list设置代码为
user_id_list: user_id_list.txt,设置filter filter控制爬取范围值为1代表爬取全部原创微博值为0代表爬取全部微博原创转发。例如如果要爬全部原创微博请使用如下代码
filter: 1,设置since_date since_date值可以是日期也可以是整数。如果是日期代表爬取该日期之后的微博格式应为“yyyy-mm-dd”如
since_date: 2018-01-01,代表爬取从2018年1月1日到现在的微博。 如果是整数代表爬取最近n天的微博如:
since_date: 10,代表爬取最近10天的微博这个说法不是特别准确准确说是爬取发布时间从10天前到本程序开始执行时之间的微博。 设置write_mode write_mode控制结果文件格式取值范围是csv、json、mongo和mysql分别代表将结果文件写入csv、json、MongoDB和MySQL数据库。write_mode可以同时包含这些取值中的一个或几个如
write_mode: [csv, json],代表将结果信息写入csv文件和json文件。特别注意如果你想写入数据库除了在write_mode添加对应数据库的名字外还应该安装相关数据库和对应python模块具体操作见设置数据库部分。 设置original_pic_download original_pic_download控制是否下载原创微博中的图片值为1代表下载值为0代表不下载如
original_pic_download: 1,代表下载原创微博中的图片。 设置retweet_pic_download retweet_pic_download控制是否下载转发微博中的图片值为1代表下载值为0代表不下载如
retweet_pic_download: 0,代表不下载转发微博中的图片。特别注意本设置只有在爬全部微博原创转发即filter值为0时生效否则程序会跳过转发微博的图片下载。 设置original_video_download original_video_download控制是否下载原创微博中的视频和原创微博Live Photo中的视频值为1代表下载值为0代表不下载如
original_video_download: 1,代表下载原创微博中的视频和原创微博Live Photo中的视频。 设置retweet_video_download retweet_video_download控制是否下载转发微博中的视频和转发微博Live Photo中的视频值为1代表下载值为0代表不下载如
retweet_video_download: 0,代表不下载转发微博中的视频和转发微博Live Photo中的视频。特别注意本设置只有在爬全部微博原创转发即filter值为0时生效否则程序会跳过转发微博的视频下载。 设置cookie可选 cookie为可选参数即可填可不填具体区别见添加cookie与不添加cookie的区别。cookie默认配置如下
cookie: your cookie如果想要设置cookie可以按照如何获取cookie中的方法获取cookie并将上面的your cookie替换成真实的cookie即可。 设置mysql_config可选 mysql_config控制mysql参数配置。如果你不需要将结果信息写入mysql这个参数可以忽略即删除或保留都无所谓如果你需要写入mysql且config.json文件中mysql_config的配置与你的mysql配置不一样请将该值改成你自己mysql中的参数配置。
4.设置数据库可选
本部分是可选部分如果不需要将爬取信息写入数据库可跳过这一步。本程序目前支持MySQL数据库和MongoDB数据库如果你需要写入其它数据库可以参考这两个数据库的写法自己编写。 MySQL数据库写入 要想将爬取信息写入MySQL请根据自己的系统环境安装MySQL然后命令行执行
$ pip install pymysqlMongoDB数据库写入 要想将爬取信息写入MongoDB请根据自己的系统环境安装MongoDB然后命令行执行
$ pip install pymongoMySQL和MongDB数据库的写入内容一样。程序首先会创建一个名为weibo的数据库然后再创建user表和weibo表包含爬取的所有内容。爬取到的微博用户信息或插入或更新都会存储到user表里爬取到的微博信息或插入或更新都会存储到weibo表里两个表通过user_id关联。如果想了解两个表的具体字段请点击详情。 详情
user表 id微博用户id如1669879400 screen_name微博用户昵称如Dear-迪丽热巴 gender微博用户性别取值为f或m分别代表女和男 statuses_count微博数 followers_count粉丝数 follow_count关注数 description微博简介 profile_url微博主页如https://m.weibo.cn/u/1669879400?uid1669879400luicode10000011lfid1005051669879400; profile_image_url微博头像url avatar_hd微博高清头像url urank微博等级 mbrank微博会员等级普通用户会员等级为0 verified微博是否认证取值为true和false verified_type微博认证类型没有认证值为-1个人认证值为0企业认证值为2政府认证值为3这些类型仅是个人猜测应该不全大家可以根据实际情况判断 verified_reason微博认证信息只有认证用户拥有此属性。 weibo表 user_id存储微博用户id如1669879400 screen_name存储微博昵称如Dear-迪丽热巴 id存储微博id text存储微博正文 pics存储原创微博的原始图片url。若某条微博有多张图片则存储多个url以英文逗号分割若该微博没有图片则值为’’ video_url存储原创微博的视频url和Live Photo中的视频url。若某条微博有多个视频则存储多个url以英文分号分割若该微博没有视频则值为’’ location存储微博的发布位置。若某条微博没有位置信息则值为’’ created_at存储微博的发布时间 source存储微博的发布工具 attitudes_count存储微博获得的点赞数 comments_count存储微博获得的评论数 reposts_count存储微博获得的转发数 topics存储微博话题即两个#中的内容。若某条微博没有话题信息则值为’’ at_users存储微博的用户。若某条微博没有的用户则值为’’ retweet_id存储转发微博中原始微博的微博id。若某条微博为原创微博则值为’’。
5.运行脚本
大家可以根据自己的运行环境选择运行方式Linux可以通过
$ python weibo.py运行;
6.按需求修改脚本可选
本部分为可选部分如果你不需要自己修改代码或添加新功能可以忽略此部分。 本程序所有代码都位于weibo.py文件程序主体是一个Weibo类上述所有功能都是通过在main函数调用Weibo类实现的默认的调用代码如下 if not os.path.isfile(./config.json):sys.exit(u当前路径%s 不存在配置文件config.json %(os.path.split(os.path.realpath(__file__))[0] os.sep))with open(./config.json) as f:config json.loads(f.read())wb Weibo(config)wb.start() # 爬取微博信息用户可以按照自己的需求调用或修改Weibo类。 通过执行本程序我们可以得到很多信息 wb.user存储目标微博用户信息 wb.user包含爬取到的微博用户信息如用户id、用户昵称、性别、微博数、粉丝数、关注数、简介、主页地址、头像url、高清头像url、微博等级、会员等级、是否认证、认证类型、认证信息等大家可以点击详情查看具体用法。 详情
id微博用户id取值方式为wb.user[‘id’],由一串数字组成 screen_name微博用户昵称取值方式为wb.user[‘screen_name’] gender微博用户性别取值方式为wb.user[‘gender’]取值为f或m分别代表女和男 statuses_count微博数取值方式为wb.user[‘statuses_count’] followers_count微博粉丝数取值方式为wb.user[‘followers_count’] follow_count微博关注数取值方式为wb.user[‘follow_count’] description微博简介取值方式为wb.user[‘description’] profile_url微博主页取值方式为wb.user[‘profile_url’]; profile_image_url微博头像url取值方式为wb.user[‘profile_image_url’] avatar_hd微博高清头像url取值方式为wb.user[‘avatar_hd’] urank微博等级取值方式为wb.user[‘urank’] mbrank微博会员等级取值方式为wb.user[‘mbrank’]普通用户会员等级为0 verified微博是否认证取值方式为wb.user[‘verified’]取值为true和false verified_type微博认证类型取值方式为wb.user[‘verified_type’]没有认证值为-1个人认证值为0企业认证值为2政府认证值为3这些类型仅是个人猜测应该不全大家可以根据实际情况判断 verified_reason微博认证信息取值方式为wb.user[‘verified_reason’]只有认证用户拥有此属性。
wb.weibo存储爬取到的所有微博信息 wb.weibo包含爬取到的所有微博信息如微博id、正文、原始图片url、视频url、位置、日期、发布工具、点赞数、转发数、评论数、话题、用户等。如果爬的是全部微博(原创转发)除上述信息之外还包含原始用户id、原始用户昵称、原始微博id、原始微博正文、原始微博原始图片url、原始微博位置、原始微博日期、原始微博工具、原始微博点赞数、原始微博评论数、原始微博转发数、原始微博话题、原始微博用户等信息。wb.weibo是一个列表包含了爬取的所有微博信息。wb.weibo[0]为爬取的第一条微博wb.weibo[1]为爬取的第二条微博以此类推。当filter1时wb.weibo[0]为爬取的第一条原创微博以此类推。wb.weibo[0][‘id’]为第一条微博的idwb.weibo[0][‘text’]为第一条微博的正文wb.weibo[0][‘created_at’]为第一条微博的发布时间还有其它很多信息不在赘述大家可以点击下面的详情查看具体用法。 详情
user_id存储微博用户id。如wb.weibo[0][‘user_id’]为最新一条微博的用户id screen_name存储微博昵称。如wb.weibo[0][‘screen_name’]为最新一条微博的昵称 id存储微博id。如wb.weibo[0][‘id’]为最新一条微博的id text存储微博正文。如wb.weibo[0][‘text’]为最新一条微博的正文 pics存储原创微博的原始图片url。如wb.weibo[0][‘pics’]为最新一条微博的原始图片url若该条微博有多张图片则存储多个url以英文逗号分割若该微博没有图片则值为’’ video_url存储原创微博的视频url和原创微博Live Photo中的视频url。如wb.weibo[0][‘video_url’]为最新一条微博的视频url若该条微博有多个视频则存储多个url以英文分号分割若该微博没有视频则值为’’ location存储微博的发布位置。如wb.weibo[0][‘location’]为最新一条微博的发布位置若该条微博没有位置信息则值为’’ created_at存储微博的发布时间。如wb.weibo[0][‘created_at’]为最新一条微博的发布时间 source存储微博的发布工具。如wb.weibo[0][‘source’]为最新一条微博的发布工具 attitudes_count存储微博获得的点赞数。如wb.weibo[0][‘attitudes_count’]为最新一条微博获得的点赞数 comments_count存储微博获得的评论数。如wb.weibo[0][‘comments_count’]为最新一条微博获得的评论数 reposts_count存储微博获得的转发数。如wb.weibo[0][‘reposts_count’]为最新一条微博获得的转发数 topics存储微博话题即两个#中的内容。如wb.weibo[0][‘topics’]为最新一条微博的话题若该条微博没有话题信息则值为’’ at_users存储微博的用户。如wb.weibo[0][‘at_users’]为最新一条微博的用户若该条微博没有的用户则值为’’ retweet存储转发微博中原始微博的全部信息。假如wb.weibo[0]为转发微博则wb.weibo[0][‘retweet’]为该转发微博的原始微博它存储的属性与wb.weibo[0]一样只是没有retweet属性;若该条微博为原创微博则wb[0]没有retweet属性大家可以点击详情查看具体用法。 详情
假设爬取到的第i条微博为转发微博则它存在以下信息 user_id存储原始微博用户id。wb.weibo[i-1][‘retweet’][‘user_id’]为该原始微博的用户id screen_name存储原始微博昵称。wb.weibo[i-1][‘retweet’][‘screen_name’]为该原始微博的昵称 id存储原始微博id。wb.weibo[i-1][‘retweet’][‘id’]为该原始微博的id text存储原始微博正文。wb.weibo[i-1][‘retweet’][‘text’]为该原始微博的正文 pics存储原始微博的原始图片url。wb.weibo[i-1][‘retweet’][‘pics’]为该原始微博的原始图片url若该原始微博有多张图片则存储多个url以英文逗号分割若该原始微博没有图片则值为’’ video_url存储原始微博的视频url和原始微博Live Photo中的视频url。如wb.weibo[i-1][‘retweet’][‘video_url’]为该原始微博的视频url若该原始微博有多个视频则存储多个url以英文分号分割若该微博没有视频则值为’’ location存储原始微博的发布位置。wb.weibo[i-1][‘retweet’][‘location’]为该原始微博的发布位置若该原始微博没有位置信息则值为’’ created_at存储原始微博的发布时间。wb.weibo[i-1][‘retweet’][‘created_at’]为该原始微博的发布时间 source存储原始微博的发布工具。wb.weibo[i-1][‘retweet’][‘source’]为该原始微博的发布工具 attitudes_count存储原始微博获得的点赞数。wb.weibo[i-1][‘retweet’][‘attitudes_count’]为该原始微博获得的点赞数 comments_count存储原始微博获得的评论数。wb.weibo[i-1][‘retweet’][‘comments_count’]为该原始微博获得的评论数 reposts_count存储原始微博获得的转发数。wb.weibo[i-1][‘retweet’][‘reposts_count’]为该原始微博获得的转发数 topics存储原始微博话题即两个#中的内容。wb.weibo[i-1][‘retweet’][‘topics’]为该原始微博的话题若该原始微博没有话题信息则值为’’ at_users存储原始微博的用户。wb.weibo[i-1][‘retweet’][‘at_users’]为该原始微博的用户若该原始微博没有的用户则值为’’。
如何获取user_id
1.打开网址https://weibo.cn搜索我们要找的人如迪丽热巴进入她的主页 2.按照上图箭头所指点击资料链接跳转到用户资料页面 如上图所示迪丽热巴微博资料页的地址为https://weibo.cn/1669879400/info其中的1669879400即为此微博的user_id。 事实上此微博的user_id也包含在用户主页(https://weibo.cn/u/1669879400?fsearch_0)中之所以我们还要点击主页中的资料来获取user_id是因为很多用户的主页不是https://weibo.cn/user_id?fsearch_0的形式而是https://weibo.cn/个性域名?fsearch_0或https://weibo.cn/微号?fsearch_0的形式。其中微号和user_id都是一串数字如果仅仅通过主页地址提取user_id很容易将微号误认为user_id。
添加cookie与不添加cookie的区别可选
对于大部分微博用户不添加cookie也可以获取其用户信息和大部分微博不同的微博获取比例不同。以2020年1月2日迪丽热巴的微博为例此时她共有1085条微博在不添加cookie的情况下可以获取到1026条微博大约占全部微博的94.56%而在添加cookie后可以获取全部微博。其他用户类似大部分都可以在不添加cookie的情况下获取到90%以上的微博在添加cookie后可以获取全部微博。具体原因是大部分微博内容都可以在移动版匿名获取少量微博需要用户登录才可以获取所以这部分微博在不添加cookie时是无法获取的。 有少部分微博用户不添加cookie可以获取其微博无法获取其用户信息。对于这种情况要想获取其用户信息是需要cookie的。
如何获取cookie可选
1.用Chrome打开https://passport.weibo.cn/signin/login 2.输入微博的用户名、密码登录如图所示 登录成功后会跳转到https://m.weibo.cn; 3.按F12键打开Chrome开发者工具在地址栏输入并跳转到https://weibo.cn跳转后会显示如下类似界面: 4.依此点击Chrome开发者工具中的Network-Name中的weibo.cn-Headers-Request HeadersCookie:后的值即为我们要找的cookie值复制即可如图所示
如何检测cookie是否有效可选
因为对于大部分微博用户本程序添不添加cookiecookie正确与否都可以运行并获取微博信息所以使用者很难通过观察检测cookie是否有效。目前有两种方式检测cookie值是否有效大家从下面两种方法中选择一种就可以 1.爬取特定用户将user_id设置为2218081121即
user_id_list: [2218081121],运行程序如果程序提示cookie无效等类似信息说明cookie无效否则cookie是有效的 2.将获取的cookie填到cookie版的config.json中运行程序。如果程序提示cookie无效等相关信息说明cookie无效否则cookie是有效的。因为cookie版中cookie为必需项且cookie版与免cookie版的cookie通用。
