摘 要 随着社会经济的快速发展，人们的生活水平得到了显著提高，对汽车的需求量也越来越多。为此，二手车销售数据分析也变得越来越为重要。但是在大量的二手车信息中，人们在提取自己最想要的信息时变得不那么容易。本系统通过对网络爬虫的分析，研究人人车网站数据，尝试使用Python技术进行开发，将人人车网二手车信息尽可能的爬取出来，并对结果进行检测判断，最后可视化分析出来，为用户提供精确的查询结果。基于python的二手车销售数据分析系统旨在提高数据挖掘的效率，便于科学的管理和分析二手车数据。 本文先分析基于python的二手车销售数据分析系统的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了二手车的数据爬取；对数据库的查询结果进行检测并可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对二手车数据结果进行大屏显示；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。

[关键词] 爬虫，python，大数据，关键字，二手车数据

Abstract With the rapid development of social economy, people's living standards have been significantly improved, and the demand for cars is also increasing. Therefore, the analysis of second-hand car sales data has become increasingly important. But in a large number of second-hand car information, it is not easy for people to extract the information they want most. Through the analysis of the web crawler, the system studies the data of Renrenche website, tries to use Python technology to develop, crawls out the second-hand car information of Renrenche website as much as possible, detects and judges the results, and finally analyzes them visually to provide users with accurate query results. Python-based second-hand car sales data analysis system aims to improve the efficiency of data mining and facilitate scientific management and analysis of second-hand car data. This paper first analyzes the background and significance of the second-hand car sales data analysis system based on python; Common crawler principles, acquisition strategies, information extraction and other technologies are analyzed; The system uses python to develop and MySQL database to build, realizing data crawling of used cars; Detect and visually analyze the query results of the database, manage the foreground interface of the system, analyze the crawling results, and display the used car data results on a large screen; Finally, the functions of data crawling, storage filtering, data visualization analysis, and system management are realized through testing.

[keywords] crawler, python, big data, keywords, used car data

  目  录 摘 要    I Abstract    II 1 绪论    3 1.1 课题背景    3 1.2 课题意义    3 1.3 研究内容    4 2 相关技术介绍    6 2.1 系统开发环境    6 2.2 网络爬虫概述    6 2.3 Python技术    7 2.4 MySQL数据库    8 3 系统需求分析    9 3.1 可行性分析    9 3.1.1操作可行性    9 3.1.2经济可行性    9 3.1.3技术可行性    9 3.2 功能需求分析    9 3.2.1爬虫功能需求分析    9 3.2.2数据可视化功能需求分析    11 3.3 非功能需求分析    11 4 系统设计    13 4.1 系统架构设计    13 4.2 系统功能设计    14 4.2.1数据采集功能设计    14 4.2.2数据分析功能设计    15 4.3 系统流程设计    16 4.3.1爬虫流程设计    16 4.3.2数据分析可视化流程    17 4.4 数据库设计    18 5 系统实现    20 5.1数据采集的实现    20 5.2数据库操作的实现    21 5.3系统首页的实现    21 5.4二手车数据大屏显示    22 6 系统测试    24 6.1测试目的    24 6.2功能测试    24 6.3测试总结    25 结    论    26 参 考 文 献    27 致 谢    28

  本课题所研究的基于python的二手车销售数据分析系统也广泛存在于互联网中，通过人人车网搜索引擎，我们可以获取到对应的二手车数据，然而这些方法大多比较零碎，没有进行专门的分类，甚至存在一些假冒的和带广告性质的宣传，严重影响了二手车数据的获取体验。 人人车网目前是国内比较大的专业二手车平台，拥有大量的二手车信息和销售数据。使用爬虫技术，对人人车网二手车数据进行抓取，得到海量的信息，然后对数据进行处理和分析，最终将分析的二手车数据数据可视化展现出来，可以服务大众。因此，本选题将二手车数据信息的收集置于具体的人人车网平台，从而进行研究二手车信息和销售排行。 随者全国二手车限迁政策的解除，我国二手车流通壁垒逐渐消除，二手车转籍比例逐渐提高，促进了二手车市场的快速发展。据中国汽车流通协会统计数据显示，至2019 年全国三手车转籍比例高达 27%。本文通过爬取优信二手车的销售数据利用python分析出的车辆品牌，销售价格，销售时间，汽车类型及颜色等数据通过数据可视化呈现出来，给购买者及销售者更直观的数据展示，增强购买者的购买体验及销售者的销售提升随者全国二手车限迁政策的解除，我国二手车流通壁垒逐渐消除，二手车转籍比例逐渐提高，促进了二手车市场的快速发展。据中国汽车流通协会统计数据显示，至2019 年全国三手车转籍比例高达 27%。本文通过爬取优信二手车的销售数据利用python分析出的车辆品牌，销售价格，销售时间，汽车类型及颜色等数据通过数据可视化呈现出来，给购买者及销售者更直观的数据展示，增强购买者的购买体验及销售者的销售提升。 二手车销售数据分析系统最早出现在美国，电子商务推出以来，对美国的经济造成了非常巨大的影响，带动了国内经济产值。通过搜索引擎获取二手车销售数据，进行销售分析是汽车行业必备的任务。目前大多通过分布式技术进行爬取，通过多个爬虫去互联网上收集，然后统一存储，提高爬虫的工作量。对于数据爬取还存在另外一种形式，就是通过目标网站的数据接口进行数据提取，不需要进行主动检索，只需要调用对方的API进行访问即可。但是这种形式局限性较高，只有目标网站开放API才能使用，限制较多。而通过爬虫可以无差别的进行数据收集，目前更多的进行这种主动的爬取方式。

在技术上，本文利用Python技术进行数据爬取，这种简洁快速，类库丰富的编程语言可以轻松的实现爬虫方法。先分析目标网站的网页信息，然后进行数据处理，完成抓取后进行数据存储，最后完成数据的可视化呈现。数据存储使用的是MySQL数据库，这种数据库轻巧而功能强大，可以有效的满足系统的开发。 在业务上，本系统利用用户无法在海量的人人车网中查找到有效的二手车数据，因此设计了本系统对二手车数据进行存储，然后整理二手车数据，并通过可视化的方式展现出来。在后台也可以对这些二手车数据进行整理，为用户提供更加精确的二手车数据信息。