一、选题的背景

为什么要选择此选题？要达到的数据分析的预期目标是什么？（10 分）

通过爬取Q房二手房信息，对爬取的数据进行进一步清洗处理，分析各维度的数据，筛选对房价有显著影响的特征变量，探索上海二手房整体情况、价格情况。

二、主题式网络爬虫设计方案（10 分）

1.主题式网络爬虫名称：二手房爬虫及数据分析

2.主题式网络爬虫爬取的内容与数据特征分析：

通过request爬取Q房二手房的信息、BeautifulSoup分析网页结构获取数据，其中内容为上海二手房的房屋简介、楼层、规格、地址、房价、面积。

3.主题式网络爬虫设计方案概述：

需要分为几个步骤实现：通过获取网页资源，使用etree解析网页，定位爬取资源将数据保存到csv文件中。

三、主题页面的结构特征分析（10 分）

数据来源：https://shanghai.qfang.com/

Htmls页面解析：

通过find方法查找所需要的相关页面代码

四、网络爬虫程序设计（60 分）

数据爬取及采集：

爬取运行生成一个.csv文件

 导入库：

对数据进行清理：

数据分析与可视化：

房屋面积占比分布所做的柱状图：

 房屋规格占比所做的饼图：

房屋面积规格所做的散点图：

完整代码：

总结：

经过数据爬取与数据可视化，我们了解到，除了虹口区以外各区的二手房均价都趋于缓和阶段，规格多数为二室一厅的房屋。初步爬取分析达到预期，但相对数据对比感觉还不够全面地达到效果。通过python这门课我自己完成了网络爬虫和数据可视性，继续丰富了自己的能力。