为了了解目前全国新一线城市新盘的房价情况，从房价的角度探究最宜居新一线城市概况，作此分析，也仅作表层分析，为下一步机器学习预测房价做准备。

常见的新盘网站有链家，房客网，贝壳等，为了方便，选择房客网（因为能够借鉴部分代码。。。暂时找不到借鉴代码的链接，后面找到了，再补上）

需要用到的数据有：采集时间，楼盘，平均价格，总价，地址（所在区，所在县，所在详细地址）等，根据需求进行合适构造。

1.构造头参数

构造需要采集到的数据的维度：

时间维度

价格等维度

 部分价格可能会出现无的情况，采用try捕获异常

 格式化存储数据信息

 数据清洗主要包括数据去重，空值填充，异常值处理三部分：

在爬虫爬取数据过程中，由于网站数据本身会重复或爬虫本身的原因，往往会出现重复数据，针对重复数据，直接采用drop_duplicates()方法即可。

主要参数：

subset： 输入要进行去重的列名，默认为None

keep： 可选参数有三个：‘first’、 ‘last’、 False， 默认值 ‘first’。其中，

inplace：布尔值，默认为False，是否直接在原数据上删除重复项或删除重复项后返回副本。

在实际使用过程中，一般不考虑参数情况，有需要，进行合适参数书写即可。

pandas中fillna()方法，能够使用指定的方法填充NA/NaN值。

主要参数：

value：用于填充的空值的值。

method： {'backfill', 'bfill', 'pad', 'ffill', None}, default None。定义了填充空值的方法， pad / ffill表示用前面行/列的值，填充当前行/列的空值， backfill / bfill表示用后面行/列的值，填充当前行/列的空值。

axis：轴。只可以为0或者1。0或'index'，即按行删除；1或'columns'，即按列删除。

inplace：是否原地替换。布尔值，默认为False。如果为True，则在原DataFrame上进行操作，返回值为None。

limit：int，默认为空。如果method被指定，对于连续的空值，这段连续区域，最多填充前 limit 个空值（如果存在多段连续区域，每段最多填充前 limit 个空值）。如果method未被指定， 在该axis下，最多填充前 limit 个空值（不论空值连续区间是否间断）

downcast：dict，默认为空，字典中的项为，为类型向下转换规则。或者为字符串“infer”，此时会在合适的等价类型之间进行向下转换，比如float64 to int64 if possible。

针对本次数据的空值填充，在爬虫阶段已经将空值填充为“价格未定”，需要对此做出处理：

在此将“价格未定”修改为1，为了方便将其转化为数值型数据处理。

参见：https://www.cnblogs.com/tinglele527/p/11955103.html

常用的方法为盒图以及拉依达准则，盒图可以参考：https://blog.csdn.net/qq_37272891/article/details/115625658?spm=1001.2014.3001.5501

针对异常值常常采用

1.直接去除：可能会造成数据缺失。

2.平均值或模型填充：根据异常数据的情况，采用平均值或者拉格朗日插值法，异或数据符合的模型进行填充。

3.实际值填充：如果异常值多的情况下，会非常浪费时间与经理

针对本次数据的数据过程中，不需要进行过多复杂操作，因为本次数据分析需求简单，而且本次数据的异常值极大值比较奇怪，但是符合实际情况。极小值与实际不符

首先做一个简单筛选：