python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析

您所在的位置:网站首页 微博热搜在那里看 python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析

2024-06-14 06:42| 来源: 网络整理| 查看: 265

作者:徐麟

我们此次通过爬取2019年2W+条热搜数据,包括内容以及搜索指数,为大家揭开微博热搜2019的诸多秘密,一起利用数据“硬核吃瓜”,包括:2019微博热搜最大的瓜,微博程序员集体加班的日子,微博热搜的常客,热搜里的2019互联网……

获取数据来源

我们此次并没有直接去爬取微博的原始数据,而是从一个专门记录微博热搜历史数据的网站获取,网站界面如下:

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_词云

通过网站的数据接口,我们获取到了今年1月1日至今的2W多条数据,爬取代码如下:

resou = pd.DataFrame(columns=['date','title','searchCount','rank']) resou_date = getBetweenDay('2019/01/01','2019/07/12') for i in resou_date: print(i) url= 'https://www.enlightent.cn/research/top/getWeiboHotSearchDayAggs.do?date={}'.format(str(i)) html = requests.get(url=url, cookies=cookie, headers=header).content data = json.loads(html.decode('utf-8')) for j in range(100): resou = resou.append({'date':i,'title':data[j]['keyword'], 'searchCount':data[j]['searchCount'],'rank':j+1},ignore_index=True)

最终获取到的吃瓜数据如下:

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_词云_02

有了前面的瓜源获取过程,我们获取到了2W+吃瓜数据,下面就可以开始利用这些数据愉快地开始我们的吃瓜之旅

2019微博热搜最火事件

说到吃瓜,大家首先关注的一定是那些最大的瓜,要吃就吃最大的瓜也是广大吃瓜群众所遵从的基本原则,我们通过对比热搜数据的搜索指数,选取出了15个最大的瓜,数据如下:

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_html_03

2019最让微博程序员抓狂的日子

为何“今天到底是什么日子”这种看似没有任何营养的内容,都会有那么高的搜索指数。为了回答这个问题,我们统计了2019年每天的TOP100热搜话题平均指数,并绘制了日历热度图:

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_Python_04

可以看到6月27日的指数远高于其他天数,而且基本上是其他时间的两到三倍,这一天就是“今天到底是什么日子”这个话题的诞生之日,并且这一天微博服务器毫无疑问地“应声倒地”,我想这一定是让微博程序员怀疑人生的日子下面我们就来具体看看,这一天到底发生了些什么:

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_html_05

看到这份榜单,我们仿佛看到了程序员们6月27日的绝望。宋慧乔&宋仲基离婚这个巨型瓜的出现,程序员们还可以用自己的信念支撑着服务器不要崩溃,然而正当程序员们以为稳操胜券的时候,范冰冰&李晨分手这个更加巨大的瓜出现了,我想程序员们内心一定是这样的:

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_数据_06

2019最勤劳的瓜生产商

前面提到了6月27日是微博程序员最为抓狂的日子,那么又有那些生产商为广大吃瓜群众源源不断地创造吃瓜素材呢,我们也统计了相关数据,想必这些生产商也是广大程序员们最怕的人:

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_Python_07

榜单中易烊千玺以80次的出现次数荣登榜首,也就是说平均每两天他就会为广大群众生产一次“吃瓜素材”,也是非常地勤劳,想到作者一个月一篇原创的节奏,默默留下了悔恨的泪水。周董也在榜单中以78次的数据位居次席,毕竟周董是一代人的青春记忆,大家也都在时刻关注着周董。

或许大家会认为榜单都被娱乐圈所霸占,没啥新意之时,东哥站了出来,成为荣登本榜单的唯一互联网人士,不过个人还是希望今后不要在榜单中再看到东哥的身影,毕竟老话说得好“no news is good news”。

那些专属热搜的词语

如同“*,是怎样的体验”这样的知乎体,“震惊!”这样的uc体,热搜也有一些比较常出现,能代表热搜独特气质的词语,我们从中选取了一些比较有代表的词语并统计其出现次数

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_数据可视化_08

华为在榜单中出现了86次,也印证了大家在上半年对于华为的关注度,未来也希望有更多类似于“华为**系统上线”这样振奋人心的消息出现在热搜中。

同时在小编看来否认,道歉,心疼这三个词是非常有特色的热搜词语,毕竟很难在其他的地方会时不时就看“心疼**”这种标题,我们针对于这三个词语制作了相应的词云:

否认版

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_html_09

道歉版

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_数据_10

心疼版

python网络爬虫微博热搜榜cookies在哪里看 python爬取微博热搜数据分析_数据可视化_11

完整代码# -*- coding: utf-8 -*- ''' 更多Python学习资料以及源码教程资料,可以在群1136201545免费获取 ''' ## 调用要使用的包 import json import random import requests import time import pandas as pd import os import jieba from scipy.misc import imread # 这是一个处理图像的函数 from wordcloud import WordCloud, ImageColorGenerator import matplotlib.pyplot as plt import datetime from collections import Counter os.chdir('D:/爬虫/微博热搜') ## 获得日期 def getBetweenDay(begin_date,end_date): date_list = [] begin_date = datetime.datetime.strptime(begin_date, "%Y/%m/%d") end_date = datetime.datetime.strptime(end_date, "%Y/%m/%d") while begin_date


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3