python爬虫系列(一)

您所在的位置:网站首页 北京市公交线路查询官网下载 python爬虫系列(一)

python爬虫系列(一)

2023-12-09 03:54| 来源: 网络整理| 查看: 265

注:本文章为作者另一站点文章整理

城市公交线路及站点数据获取 城市公交列表地图解析数据采集1. 数据获取2. 数据解析 数据结果

城市公交、地铁数据反映了城市的公共交通,研究该数据可以挖掘城市的交通结构、路网规划、公交选址等。但是,这类数据往往掌握在特定部门中,很难获取。互联网地图上有大量的信息,包含公交、地铁等数据,解析其数据反馈方式,可以通过Python爬虫采集,接下来将详细介绍如何使用Python爬虫爬取城市公交线路和站点。

城市公交列表

首先,爬取研究城市的所有公交线路名称,即XX路。可以通过图吧公交、公交网、8684、本地宝等网站获取,该类网站提供了按数字和字母划分类别的公交线路名称。可以通过Python直接抓取页面采集相关公交线路列表。 在这里插入图片描述 在这里插入图片描述 但是这类站点一般只有线路和站点名称,没有站点的地理坐标。本文重点介绍的是站点坐标、线路的空间位置获取方式。

地图解析

在使用互联网地图(百度、高德)时,搜索如“11路”的时候,能够在地图上显示相应的图形位置,可以发现通过抓包,能成功找到站点和线路信息。具体抓包信息如下图所示,busline_list中详细列出了站点和线路的信息,其中有两条,是同一趟公交不同方向的数据,略有差别,需注意。 在这里插入图片描述

数据采集 1. 数据获取

主要爬取代码如下,其实也很简单,主函数如下。

def main(): df = pd.read_excel("线路名称.xlsx",) BaseUrl = "https://ditu.amap.com/service/poiInfo?query_type=TQUERY&pagesize=20&pagenum=1&qii=true&cluster_state=5&need_utd=true&utd_sceneid=1000&div=PC1000&addr_poi_merge=true&is_classify=true&" for bus in df[u"线路"]: params = { 'keywords':'11路', 'zoom': '11', 'city':'610100', 'geoobj':'107.623|33.696|109.817|34.745' } print(bus) paramMerge = urllib.parse.urlencode(params) #print(paramMerge) targetUrl = BaseUrl + paramMerge stationFile = "./busStation/" + bus + ".csv" lineFile = "./busLine/" + bus + ".csv" req = urllib.request.Request(targetUrl) res = urllib.request.urlopen(req) content = res.read() jsonData = json.loads(content) if (jsonData["data"]["message"]) and jsonData["data"]["busline_list"]: busList = jsonData["data"]["busline_list"] ##busline 列表 busListSlt = busList[0] ## busList共包含两条线,方向不同的同一趟公交,任选一趟爬取 busStations = extratStations(busListSlt) busLine = extractLine(busListSlt) writeStation(busStations, stationFile) writeLine(busLine, lineFile) sleep(random.random() * random.randint(0,7) + random.randint(0,5)) #设置随机休眠 else: continue

首先需要构建传入的参数,主要的包括路线名称,城市编码,地理范围,缩放尺度。地理范围可以通过坐标拾取器获取,参数经url编码后,发送请求,判断返回数据是否符合要求(注:可能该线路地图上停运或不存在,也可能是访问速度过快,反爬虫机制需要人工验证,博主爬取的时候碰到过,所以后面设置了随机休眠)。接下来,就是解析json数据了。代码中的extratStations和extractLine,就是提取需要的字段,怎么样,是不是很简单。最后,就是保存了,站点和路线分别存储。

2. 数据解析

根据需要提取相关信息,代码如下

def extratStations(busListSlt): ''' 获取公交站点 ''' busName = busListSlt["name"] stationSet = [] stations = busListSlt["stations"] for bs in stations: tmp = [] tmp.append(bs["station_id"]) tmp.append(busName) tmp.append(bs["name"]) cor = bs["xy_coords"].split(";") tmp.append(cor[0]) tmp.append(cor[1]) wgs84cor1 = gcj02towgs84(float(cor[0]),float(cor[1])) tmp.append(wgs84cor1[0]) tmp.append(wgs84cor1[1]) stationSet.append(tmp) return stationSet def extractLine(busListSlt): ''' 获取公交线路 ''' ## busList共包含两条线,备注名称 keyName = busListSlt["key_name"] busName = busListSlt["name"] fromName = busListSlt["front_name"] toName = busListSlt["terminal_name"] lineSet = [] Xstr = busListSlt["xs"] Ystr = busListSlt["ys"] Xset = Xstr.split(",") Yset = Ystr.split(",") length = len(Xset) for i in range(length): tmp = [] tmp.append(keyName) tmp.append(busName) tmp.append(fromName) tmp.append(toName) tmp.append(Xset[i]) tmp.append(Yset[i]) wgs84cor2 = gcj02towgs84(float(Xset[i]),float(Yset[i])) tmp.append(wgs84cor2[0]) tmp.append(wgs84cor2[1]) lineSet.append(tmp) return lineSet 数据结果

采集的公交站点和线路结果如下: 在这里插入图片描述 某一公交线路和站点经空间转换和显示如下: 在这里插入图片描述 全市公交线路和站点采集结果如图: 西安市公交地图



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3