Python商品数据预处理与K

2023-09-26 21:11| 来源: 网络整理| 查看: 265

数据提取

在我之前的文章Scrapy自动爬取商品数据爬虫里实现了爬虫爬取商品网站搜索关键词为python的书籍商品，爬取到了60多页网页的1260本python书籍商品的书名，价格，评论数和商品链接，并将所有商品数据存储到本地的.json文件中。数据存储格式如下：

爬虫爬取到的商品数据接下来对爬取到的商品数据作预处理及可视化分析，使用工具为Anaconda的Jupyter notebook和python3.6环境。首先用python将爬取到的数据输出为.csv文件，方便观察和保存再利用。观察第1260个数据可以发现价格格式为“￥46.60”，评论数格式为“301条评论”，都为字符串格式，要先分别转换为数字格式“46.60”和“301”以方便处理。

import json import csv import numpy as npy import pandas as pda #读取.json文件 dic=[] f = open("D:/python/.../getdata.json", 'r',encoding='utf-8')#这里为.json文件路径 for line in f.readlines(): dic.append(json.loads(line)) #对爬取到的数据作处理，将价格和评论数由字符串处理为数字 tmp='' name,price,comnum,link=[] for i in range(0,1260): dic[i]['price']=tmp + dic[i]['price'][1:] dic[i]['comnum']=dic[i]['comnum'][:-3]+tmp price.append(float(dic[i]['price'])) comnum.append(int(dic[i]['comnum'])) name.append(dic[i]['name']) link.append(dic[i]['link']) data = numpy.array([name,price,comnum,link]).T print (data)

这里将爬取的数据都作处理后，转换为python科学计算库的numpy.array格式,data输出结果如下：

print(data)

然后将data存储为.csv文件

#要存储.csv文件的路径 csvFile = open('D:/python/.../csvFile.csv','w') writer = csv.writer(csvFile) writer.writerow(['name', 'price', 'comnum','link']) for i in range(0,1260): writer.writerow(data[i]) csvFile.close()

现在可以打开该路径下的.csv文件，已存储为如下格式：

.csv文件

当然可以在Scrapy爬虫项目中修改pipelines.py文件，爬取到数据后直接输出为.csv文件保存至本地，以相同方式改动添加上面的代码即可，这里因为爬取到的数据并不直接可用，为方便分析处理先输出到了.json文件。

数据清洗缺失值处理

首先用数据分析处理库pandas读取.csv文件中的数据，存储为数据框格式。可以发现该数据中有许多书的评论数为0，所以首先要做数据清洗，找到这些缺失值，这也是数据分析过程中很重要的一环。在数据分析过程中，对这些缺失数据有两种处理方式，可以用评论数的均值来填补，也可以直接删除缺失数据，针对相应情况选择处理方式。

#读取.csv文件数据 data = pda.read_csv("D:/python/.../csvFile.csv") #发现缺失值，将评论数为0的值转为None data["comnum"][(data["comnum"]==0)]=None #均值填充处理 #data.fillna(value=data["comnum"].mean(),inplace=True) #删除处理,data1为缺失值处理后的数据 data1=data.dropna(axis=0,subset=["comnum"])

缺失数据过多，这里采取删除处理方式。

异常值处理

在做异常值处理时首先要找到异常值，先画数据的散点图观察一下数据分布情况，这里用python的数据可视化库Matplotlib作图。

import matplotlib.pyplot as plt #画散点图（横轴：价格，纵轴：评论数） #设置图框大小 fig = plt.figure(figsize=(10,6)) plt.plot(data1['price'],data1['comnum'],"o") #展示x，y轴标签 plt.xlabel('price') plt.ylabel('comnum') plt.show() 价格-评论数散点图

可以看到有部分数据评论数过高，或许为热销商品或者存在刷评论，还有一部分数据价格过高，甚至高达700，而一般书籍价格不会高过￥150。对于这些异常值我们在作数据分析时一般不会考虑，删除或者改动这些异常值即可。再看看数据的箱型图观察分布情况：

fig = plt.figure(figsize=(10,6)) #初始化两个子图，分布为一行两列 ax1 = fig.add_subplot(1,2,1) ax2 = fig.add_subplot(1,2,2) #绘制箱型图 ax1.boxplot(data1['price'].values) ax1.set_xlabel('price') ax2.boxplot(data1['comnum'].values) ax2.set_xlabel('comnum') #设置x，y轴取值范围 ax1.set_ylim(0,150) ax2.set_ylim(0,1000) plt.show() 箱型图

价格的箱型图中黄线表示中位数，大概为￥50，箱型图上下分别为上四分位和下四分位，分别为￥40到￥70，上下界分别为￥110和￥0，最上方的圆点都是离群点。可以看到评论数中位数分布点较低。离群点的数值明显偏离其余观测值，会对分析结果产生不良影响，所以我们将价格￥120以上，评论数700以上的离群点删除，不作考虑，代码如下：

#删除价格￥120以上，评论数700以上的数据 data2=data[data['price']

【本文地址】

Python商品数据预处理与K

Python商品数据预处理与K

今日新闻

推荐新闻