利用Python的全国旅游景点数据分析案例(新手) |
您所在的位置:网站首页 › 景区人流量如何计算 › 利用Python的全国旅游景点数据分析案例(新手) |
目录
概述数据获取数据预处理和清洗景点数据
数据分析景点数据酒店数据
机器学习分析代码实现
总结
概述
新手刚开始学python,自己写了这个例子熟悉一下pandas库和sklearn。 数据获取我使用的是“后裔采集器”来爬取了携程网上关于全国大概16000条景点数据和美团网上五个城市的大概5000条酒店数据,然后导出为**.csv**表格形式方便用 pandas.read_csv()来读取其中的数据。 数据预处理和清洗 景点数据原始数据中,景点数据长这样 再将全部数据组合在一起 China_scenic = pd.concat([上海, 云南, 内蒙古, 北京, 台湾, 吉林, 四川, 天津, 宁夏, 安徽, 山东, 山西, 广东, 广西, 新疆, 江苏, 河北, 河南, 浙江, 海南, 湖北, 湖南, 澳门, 甘肃, 福建, 西藏, 贵州, 辽宁, 重庆, 陕西, 青海, 香港, 黑龙江], sort=True, ignore_index=True).reset_index().drop(columns='index') ignore_index=Truereset_index().drop(columns=‘index’)不按每行索引来组合重置其索引,再删除掉同时产生的新列“index”接下来删除那些重复和没有评分的地点。 # 删除重复地点 China_scenic = China_scenic.drop_duplicates(subset='spot-info') # 删除没有评分的地点 China_scenic = China_scenic[China_scenic['spot-comment'].notnull()]再将评分转换为好评率,将没有景区等级的景点标为无等级 def grade_change(i): i = i.replace('分', '') return float(i) / 5 # 将评分转换为好评率 China_scenic['spot-comment'] = China_scenic['spot-comment'].apply(grade_change) # 将没有景区等级的景区标为无等级 China_scenic['spot-info2'] = China_scenic['spot-info2'].fillna('无等级') .apply.fillna应用函数填充空值由于有许多景点是不需要购票进入的,这里再将所有景点分成两部分以便之后的操作 # 选取免费景点 China_scenic_free = China_scenic[China_scenic['价格'].isna()].reset_index().drop(columns='index') # 选取收费景点 China_scenic_charge = China_scenic[China_scenic['价格'].notnull()].reset_index().drop(columns='index')接下来把消费景点的销售量转换为具体数值,把免费景点的销售量和价格这两列删除 def sold_change(i): if '万+' in i: i = i.replace('.', '') i = i.replace('万+', '000') return int(i) else: return int(i) # 将已售数据转换为整形 China_scenic_charge['已售'] = China_scenic_charge['已售'].apply(sold_change) # 删除两列 China_scenic_free = China_scenic_free.drop(columns='已售').drop(columns='价格')酒店数据 酒店数据,这里仅仅爬取了我选取的五个城市的酒店数据(为了机器学习的例子仅选了五个城市) 大概长这样 再将这些分析出的数据用.to_csv()导出,用PPT画图(自己的数据可视化做得很丑。。。。) 将五个城市酒店数据组合,再进行分析如下 All_Hotel = pd.concat([Changsha_Hotel, Zhangjiajie_Hotel, Hangzhou_Hotel, Suzhou_Hotel, Changzhou_Hotel], axis=0, sort=False).dropna().reset_index().drop(columns='index') kind_price = All_Hotel.groupby(['地址', 'poi-type']).mean()['poi-price']把‘kind_price’导出画图 假设去某个景点旅游,需要考虑出行方式、酒店住宿、门票价格等因素,由此可以大概计算出一个数值来表示该趟旅游“值不值 ”(爬取到的数据中,关于免费景点只有评分一条可以评定其价值,不太具有真实意义,所以不取免费景点) 从景点数据随机选取一个,酒店数据随机选取一个,出行方式随机选取一种。(由此来组合成一行,模拟成一个人选择某种方式去了某地游玩了某个景点又选择了某个酒店) 由于数据的不完整,所以这里主要从“钱花得最少,去的景点评分最高”这样的角度来判断“值不值”。 “值不值”的恒定标准为: PS:这里本应该每个值附上自己的权重,由于时间关系,我仅将他们(0,1)规格化了,这样就是1:1:1:1的关系,以后有时间在调整其权重问题。 再由Score值来分类: score值标签赋值小于下四分位点血亏0下四分位点与中点间小亏1上四分位点与中点间一般2大于上四分位点很值3 代码实现先从全国景点数据中,找到五个例子城市的景点数据。 (方法五个都一样,这里只展示以张家界为例) def find_zhangjiajie(i): if '张家界' in i: return True else: return False zhangjiajie_scenic = China_scenic_charge[China_scenic_charge['spot-info1'].apply(find_zhangjiajie)].reset_index().drop(columns='index')导出后画图如下 现在,对于张家界的景点、出行、酒店数据已经准备完毕 左右拼接在一起,创建随机数据集 zhangjiajie_travel: def price_02(i): i = (i - zhangjiajie_travel['价格'].min()) / (zhangjiajie_travel['价格'].max() - zhangjiajie_travel['价格'].min()) return i def comment_02(i): i = (i - zhangjiajie_travel['spot-comment'].min()) / ( zhangjiajie_travel['spot-comment'].max() - zhangjiajie_travel['spot-comment'].min()) return i def hotel_02(i): i = (i - zhangjiajie_travel['poi-price'].min()) / ( zhangjiajie_travel['poi-price'].max() - zhangjiajie_travel['poi-price'].min()) return i def traffic_02(i): i = (i - zhangjiajie_travel['出行价格'].min()) / (zhangjiajie_travel['出行价格'].max() - zhangjiajie_travel['出行价格'].min()) return i # 每个表随机采样一万行 zhangjiajie_scenic_test = zhangjiajie_scenic.sample(n=10000, axis=0, random_state=1, replace=True).reset_index().drop( columns='index') zhangjiajie_hotel_test = zhangjiajie_hotel.sample(n=10000, axis=0, random_state=1, replace=True).reset_index().drop( columns='index') zhangjiajie_traffic_test = zhangjiajie_traffic.sample(n=10000, axis=0, random_state=1, replace=True).reset_index().drop( columns='index') # 合在一起成为张家界的“假旅游数据集” zhangjiajie_travel = pd.concat([zhangjiajie_scenic_test, zhangjiajie_hotel_test, zhangjiajie_traffic_test], sort=False, axis=1).drop(columns='Unnamed: 0')重点:把五个城市的测试数据集建立完毕后,上下拼接在一起成为总的数据集(五万条),再将Score值算出,并对其打上标签 import pandas as pd import numpy as np def Score_change(i): if i = np.percentile(lfw_Happy_travel['Score'], (25)) and i = np.percentile(lfw_Happy_travel['Score'], (50)) and i = np.percentile(lfw_Happy_travel['Score'], (75)): return 3 lfw_Happy_travel = pd.concat([changsha_travel, zhangjiajie_travel, suzhou_travel, hangzhou_travel, changzhou_travel], axis=0, sort=False).dropna() lfw_Happy_travel['Score'] = lfw_Happy_travel['spot-comment'] / (lfw_Happy_travel['价格'] * lfw_Happy_travel['poi-price'] * lfw_Happy_travel['出行价格']) lfw_Happy_travel['Score'] = lfw_Happy_travel['Score'].apply(Score_change)最后,利用SVM支持向量机来对整个数据集进行评分,以总花费和景点评分作为属性,Score值作为标签 from sklearn import model_selection from sklearn import svm lfw_Happy_travel_num = pd.DataFrame( {'景点评分': lfw_Happy_travel['spot-comment'], '花费': lfw_Happy_travel['cost'], 'Score': lfw_Happy_travel['Score'] }) x = lfw_Happy_travel_num.iloc[:, 0:2].values.tolist() y = lfw_Happy_travel_num.iloc[:, -1].tolist() x_train, x_test, y_train, y_test = model_selection.train_test_split(x, y, random_state=1, test_size=0.3) clf = svm.SVC(C=0.1, kernel='linear', decision_function_shape='ovr') # clf = svm.SVC(kernel='rbf', gamma=0.1, decision_function_shape='ovo', C=0.8) clf.fit(x_train, y_train) print("SVM-输出训练集的准确率为:", clf.score(x_train, y_train)) print("SVM-输出测试集的准确率为:", clf.score(x_test, y_test))这里我选择的核函数为线性核和高斯核,还在调参研究哪个准确率更高… 附上其他四个城市的景点图 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |