Python数据分析入门笔记1——学习前的准备

Python数据分析入门笔记2——pandas数据读取

Python数据分析入门笔记3——数据预处理之缺失值

Python数据分析入门笔记4——数据预处理之重复值

Python数据分析入门笔记5——数据预处理之异常值

Python数据分析入门笔记6——数据清理案例练习

Python数据分析入门笔记7——数据集成、变换与规约

Python数据分析入门笔记8——Pandas处理日期时间类型数据

前面学过了pandas数据清理、数据集成、数据变换和数据规约相关知识，今天用一个运动员基本信息的案例来练习删除重复值、填充缺失值、确认异常值、分组与聚合、轴向旋转和降采样等操作，以达到清理数据、整合数据、减少数据量、变换数据形式的目的。

运动员信息采集01.csv 运动员信息采集02.xlsx 运动员信息采集01.csv文件部分内容如下： 运动员信息采集02.xlsx

（1）计算中国男篮、女篮运动员的平均身高与平均体重。 （2）分析中国篮球运动员的年龄分布 （3）计算中国篮球运动员的体质指数

在进行数据分析之前，必须事先对数据进行预处理。

首先读取这两个文件，由于文件中含有中文，因此读取csv文件时需要设置编码为‘gbk’。 代码如下：

首先观察两个文件中的列索引，万幸的是，两张表中的列索引完全一致，也就是属性方面是匹配的，因此，我们可以直接进入数据集成环节。 这个案例中的合并类似于两个班级表的合并，因此，主键合并可直接用merge方法，选用outer全外连接的方式，保留两张表中所有原始数据。 代码如下：

合并后的数据如下:

由于题目要求对中国篮球运动员进行分析，因此需要根据国籍筛选一下，只保留国籍为中国的运动员。 我又忘记怎么写了，先单独筛选国籍看看？ 一堆布尔值，所以，我想要的应该是all_data中，布尔值为True的那些数据。 完整代码如下：

观察输出结果可知，数据中后5列的非空值数量不等，说明可能存在缺失值、重复值等；所有列的数据类型均为Object型，因此后续需要先对部分列进行数据类型转换操作，之后才能计算要求的统计指标。 进入下一步，数据清理。

在对数据进行分析之前，我们需要先解决前面发现的数据问题，包括重复值、缺失值和异常值的检测与处理，从而为后期分析工作提供高质量的数据。

如图，执行all_data.duplicated()方法只能拿到一堆布尔值，True代表重复，False代表没重复，要想看到里面到底有哪些重复值，需要筛选all_data中检测值为True的项。

因此，检测重复值的代码如下：

找到以下五条重复值 调用drop_duplicates()方法删除重复值，ignore_index参数设置为True，删除重复值后重新设置索引，代码如下：

运行结果如图：

由于本例只需要分析中国篮球运动员，因此需要进一步筛选项目为“篮球”的数据。

运行结果部分数据如下： ①处理“出生日期”列的缺失值 单独查看“出生日期”列的数据，看是否有缺失？

发现“出生日期”这一列没有缺失值，但包含“X年X月X日”、“X年X月”、“X年”和“X”等多种类型的数据。 为保证“出生日期”一列数据的一致性，这里统一将数据修改为“X年”格式，代码如下（虽然要素过多，但研究了半小时后我顿悟了，所以不要直接放弃，加油！）：

检验出生日期格式转换结果，运行如下： 到此出生日期转换完毕。

②处理“身高”列的缺失值 “身高”一列存在多个缺失值，建议用填充缺失值——统计方法填充。由于男篮和女篮运动员体质不同，所以这里需要先以“性别”做区分，男性缺失值用男性的平均值填充，女性缺失值用女性的平均值填充。 此处要素过多，待研究。

接下来处理女篮数据

③处理“体重”列的缺失值 观察前面两次的输出结果，发现女篮运动员数据中“体重”一列存在缺失值，且该列中行索引为253的数据与其他行数据的单位不统一。

对比可知，248和250行的缺失数据已填充成功。

体重列缺失值处理完后的完整数据如下图所示：

为提高后期计算的准确性，需要对整租数据做异常值检测，这里通过箱型图和3σ原则两种方式分别检测“身高/cm”和“体重/kg”两列数据。

观察以上两个箱型图可知，女篮运动员的身高数据中存在一个小于170的值，经核实后确认该值为非异常值，可直接忽略。