Python爬取、存储、分析、可视化豆瓣电影Top250 |
您所在的位置：网站首页 › jupyter爬取网站 › Python爬取、存储、分析、可视化豆瓣电影Top250 |
Python爬取、存储、分析、可视化豆瓣电影Top250
|
Python爬取、存储、分析、可视化豆瓣电影Top250
网站链接： https://movie.douban.com/top250 @文章目录 前言 一、python爬取目标数据，并写入csv文件 二、pymysql数据存储 三、pandas数据清洗、处理 四、pandas、pyecharts、matplotlib数据可视化 五、自我陈述 前言在Python的基础上爬取豆瓣电影Top250的数据信息（老师的案例作业） 主要知识点：Python、pymysql、pandas、pyecharts、matplotlib 主要运用工具：pycharm、navicate、jupyter 提示：以下是本篇文章正文内容，下面案例可供参考 一、Python爬取目标数据，并写入csv运用了requests库获取页面、BeautifulSoup库解析页面（方法很多，可自行延伸）、 1、引入库 import requests from bs4 import BeautifulSoup import csv import re 2、获取一级页面内容用"get_one_page（）"作为函数，别忘了添加"headers"做反爬 特别注意： “cookie"值要用自己注册的豆瓣账号登陆后的页面获取的"cookie” def get_one_page(url): headDict = { 加入自己的“user_agent:”、“accept“、”cookie“ } r = requests.get(url,headers = headDict) r.encoding = r.apparent_encoding html = r.text return html 3、解析获取的页面解析页面时，我爬取的是： 电影排名、片名、评分、评价人数、电影类型、制片国家、上映时间、电影时长 在一级页面爬取了制片国家（二级也可以爬取），其他指标都在二级爬取 运用了find、select，也可以用xpath、re def parse_one_page(html): soup = BeautifulSoup(html,'lxml') movie = soup.find("ol",class_='grid_view') erjilianjie = movie.find_all('li') for lianjie in erjilianjie: #一级页面制片国家 others = lianjie.find('div', class_='bd').find('p').text.strip('').split('\n') year_country = others[2].strip('').split('\xa0/\xa0') pro_country = year_country[1].replace(' ',',') #链接 a = lianjie.find('a') erji = a['href'] html = get_one_page(erji) soup = BeautifulSoup(html,'lxml') #排名 ranks = soup.select('#content > div.top250 > span.top250-no')[0].getText().strip() #片名 spans = soup.select('h1 span') movie_name1 = spans[0].get_text() movie_name = movie_name1.split(' ')[0] # print(movie_name) #评分 score = soup.select('#interest_sectl > div.rating_wrap.clearbox > div.rating_self.clearfix > strong')[0].getText().strip() #评价人数 sorce_people = soup.select('#interest_sectl > div.rating_wrap.clearbox > div.rating_self.clearfix > div > div.rating_sum > a > span')[0].getText().strip() #info板块 info = soup.find('div',id='info') #电影类型 movie_type = '' movie_types = info.find_all('span',property='v:genre') for i in movie_types: movie_type = movie_type + ',' + i.string movie_type = movie_type.lstrip(',') #二级页面制片国家 # pro_country = re.findall("制片国家/地区:(.*)",str(info)) # pro_country = ','.join(pro_country) # print(pro_country) #上映日期 up_time = '' up_times = info.find_all('span',property='v:initialReleaseDate') for i in up_times: up_time = up_time + "," + i.string up_time = up_time.lstrip(',') #电影时长 movie_time = '' movie_times = info.find_all('span',property='v:runtime') for i in movie_times: movie_time = movie_time + i.string #将数据写入data，做迭代器储存数据 data = { 'id':ranks, 'name':movie_name, 'score':score, 'votes':sorce_people, 'country':pro_country, 'type':movie_type, 'date':up_time, 'runtime':movie_time, 'link':erji } yield data 4、写入csv文件 def write_to_file(content): file_name = 'movie.csv' with open(file_name,'a',newline='',encoding='utf-8') as f: writer = csv.writer(f) for i in content: writer.writerow(i.values()) 5、调用主函数特别注意： 一定要调用函数，调试时，只用一页来调试，多页会反爬 if __name__ == "__main__": for i in range(10): urls = 'https://movie.douban.com/top250?start='+str(i*25)+'&filter=' html = get_one_page(urls) parse_one_page(html) content = parse_one_page(html) write_to_file(content) print("写入第"+str(i)+"页数据成功") # # 调试函数 # url = 'https://movie.douban.com/top250' # html = get_one_page(url) # parse_one_page(html) # content = parse_one_page(html) 二、pymysql数据存储 1.在navicate中创建movie表特别注意： 创建正确的数据类型 特别注意： "db"是数据库名称，用自己navicate里的host、user、password import pymysql import csv def write_to_table(): #连接MYSQL数据库（注意：charset参数是utf8m64而不是utf-8） db = pymysql.connect(host = "localhost", user = 'root', password = 'root', db = "movie", charset = "utf8m64",) #创建对象 cursor = db.cursor() #读取csv文件 with open('movie.csv','r',encoding='utf-8') as f: read = csv.reader(f) for each in list(read): i = tuple(each) # print(i) #SQL语句添加数据 sql = "INSERT INTO movie VALUES" + str(i) #执行SQL语句 cursor.execute(sql) # 提交数据 db.commit() # #关闭游标 cursor.close() # #关闭数据库 db.close() if __name__ == '__main__': write_to_table() 三、pandas数据清洗、处理 1、jupyter读取movie.csv中数据并处理 import numpy as np import pandas as pd #如果没有header = None，会自动将第一行设置为表头哦 data=pd.read_table('movie.csv',sep=',',header = None) data如图： 如图： 如图：
如图： 如图： 特别注意： 制片国家里有几个国家一起的情况，要先用" “代替”,“，用” "分割，再用count计算每个国家的数量 country_all = data['制片国家'].str.replace(","," ").str.split(" ",expand=True) country_all = country_all.apply(pd.value_counts).fillna(0).astype("int") country_all['count']= country_all.apply(lambda x:x.sum(),axis=1) country_all.sort_values('count',ascending=False) data1=country_all['count'].sort_values(ascending=False).head(10) country_counts = data1 country_counts.columns = ['制片国家', '数量'] country_counts = country_counts.sort_values(ascending=True) from pyecharts.charts import Bar bar = ( Bar() .add_xaxis(list(country_counts.index)[-10:]) .add_yaxis('地区上映数量', country_counts.values.tolist()[-10:]) .reversal_axis() .set_global_opts( title_opts=opts.TitleOpts(title='地区上映电影数量'), yaxis_opts=opts.AxisOpts(name='国家'), xaxis_opts=opts.AxisOpts(name='上映数量'), ) .set_series_opts(label_opts=opts.LabelOpts(position="right")) .render('各地区上映电影数量前十.html') ) bar如图： 特别注意： 爬取的数据中，时长列并非纯数字，需要将多余的字符删除后，只保留第一个电影时长数据，再做计算 movie_duration_split = data['时长'].str.replace("\', \'","~").str.split("~",expand=True).fillna(0) movie_duration_split =movie_duration_split.replace(regex={'分钟.*': ''}) data['时长']=movie_duration_split[0].astype("int") #data['时长'].head() #查看最大时长 #data.时长.max() import matplotlib.pyplot as plt bins=[0,80,100,120,140,160,180,240] pd.cut(data.时长,bins) pd.cut(data.时长,bins).value_counts() pd.cut(data.时长,bins).value_counts().plot.bar(rot=20)如图： 代码的逻辑很多，本人初学者，还需多学习，不喜勿喷 如有需要，自取代码 |
【本文地址】
今日新闻 |
推荐新闻 |