利用Python requests库爬取高德地图全国地铁站点信息
作者：YiFoEr_Liu
requests 模块是 python 基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库,它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求,这篇文章主要介绍了利用Python requests库爬取高德地图全国地铁站点信息,需要的朋友可以参考下
requests库
一、 基本概念
1、 简介
requests 模块是 python 基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner
2、 获取
通过 pip install requests 安装 requests 库
导包：
import requests
3、 http 协议
http ，超文本传输协议，是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法，HTTP是一种基于"请求与响应"模式的、无状态的应用层协议。HTTP协议采用URL作为定位网络资源的的标识符
3.1 URL
统一资源定位符是互联网上标准资源地址。互联网上的每一个文件都有一个唯一的 URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它
URL 的一般语法格式为：
protocol://host[:port]/path/[?query]#fragment http://www.itcast.cn/index.html?name=andy&age=18#link
| 组成 | 说明 |
|---|---|
| protocol | 通信协议，常用：http、https 等 |
| host | 主机（域名） |
| port | 端口号，可选，省略时候使用方案的默认端口，如：http的默认端口为80 |
| path | 路径，由零或多个 ‘/’ 符号隔开的字符串，一般用来表示主机上的一个目录或文件地址 |
| query | 参数，以键值对的形式通过 & 来连接 |
| fragment | 片段，# 后面内容常见于链接 锚点 |
3.2 常用 http 请求方法
| 方法 | 说明 |
|---|---|
| requsts.requst() | 构造一个请求，最基本的方法，是下面方法的支撑 |
| requsts.get() | 获取网页，对应HTTP中的GET方法 |
| requsts.post() | 向网页提交信息，对应HTTP中的POST方法 |
| requsts.head() | 获取html网页的头信息，对应HTTP中的HEAD方法 |
| requsts.put() | 向html提交put方法，对应HTTP中的PUT方法 |
| requsts.patch() | 向html网页提交局部请求修改的的请求，对应HTTP中的PATCH方法 |
| requsts.delete() | 向html提交删除请求，对应HTTP中的DELETE方法 |
GET,HEAD是从服务器获取信息到本地，PUT,POST,PATCH,DELETE是从本地向服务器提交信息。通过URL和命令管理资源，操作独立无状态，网络通道及服务器成了黑盒子。
正文开始
利用Python requests库爬取高德地图全国地铁站点信息
利用Python中的requests库进行地铁站点信息的获取,同时将数据保存在本机excel中
# 首先引入所需要的包
import requests
from bs4 import BeautifulSoup
import pandas as pd
import json
# 发送 GET 请求获取网页内容
url = 'http://map.amap.com/subway/index.html'
response = requests.get(url)
# 第一步：爬取两个 div 中的城市数据（包括 ID 和拼音），生成城市集合
if response.status_code == 200:
# 解码
response_content = response.content.decode('utf-8')
# 使用 Beautiful Soup 解析网页内容
soup = BeautifulSoup(response_content, 'html.parser')
# 从这里开始，你可以使用 Beautiful Soup 对象（soup）来提取所需的信息
# 例如，查找标题
title = soup.title
# 通过Beautiful Soup来找到城市信息元素，并提取这个元素的信息
for soup_a in soup.find('div', class_='city-list fl').find_all('a'):
city_name_py = soup_a['cityname']
city_id = soup_a['id']
city_name_ch = soup_a.get_text()
city_info_list.append({'name_py': city_name_py, 'id': city_id, 'name_ch': city_name_ch})
# 获取未显示出来的城市列表
for soup_a in soup.find('div', class_='more-city-list').find_all('a'):
city_name_py = soup_a['cityname']
city_id = soup_a['id']
city_name_ch = soup_a.get_text()
city_info_list.append({'name_py': city_name_py, 'id': city_id, 'name_ch': city_name_ch})
print(city_info_list)
else:
print("无法获取网页内容")
for city_info in city_info_list:
city_id = city_info.get("id")
city_name = city_info.get("name_py")
city_name_ch = city_info.get("name_ch")
print("开始爬取城市" + city_name_ch + "的数据")
city_lines_list = []
# 第二步：遍历城市集合，构造每一个城市的 url,并下载数据
# 构造每个城市的url
url = "http://map.amap.com/service/subway?_1717380520536&srhdata=" + city_id + '_drw_' + city_name + '.json'
res = requests.get(url)
content = res.content.decode('utf-8')
# 将内容字符串转换成json对象
content_json = json.loads(content)
# 提取该城市的所有地铁线list
line_info_list = content_json.get("l")
# 第三步：开始处理每一个地铁线，提取内容到dataframe中
for line_info in line_info_list:
# 地铁线名字
line_name = line_info["kn"]
# 处理地铁线站点
df_per_zd = pd.DataFrame(line_info["st"])
df_per_zd = df_per_zd[['n', 'sl', 'poiid', 'sp', 't', 'su', 'sid']]
df_per_zd['gd经度'] = df_per_zd['sl'].apply(lambda x: x.split(',')[0])
df_per_zd['gd纬度'] = df_per_zd['sl'].apply(lambda x: x.split(',')[1])
df_per_zd.drop('sl', axis=1, inplace=True)
df_per_zd['路线名称'] = line_info['ln']
df_per_zd['城市名称'] = city_name_ch
df_per_zd.rename(columns={"n": "站点名称", "poiid": "POI编号", "sp": "拼音名称", "t": "换乘标志 1:换乘，0:不可换乘", "su": "su", "sid": "sid编号"}, inplace=True)
# 先将这条地铁线处理过的dataframe存起来，我们后面给他放到一张表里
city_lines_list.append(df_per_zd)
# 这段代码就是将地铁线数据列表聚合到一张表里，形成每个城市的地铁站数据
city_subway_data = pd.concat(city_lines_list, ignore_index=True)
# 第四步：将处理好的文件保存为xlsx
city_subway_data.to_excel(city_name_ch + '.xlsx', sheet_name='Sheet1')
到此这篇关于利用Python requests库爬取高德地图全国地铁站点信息的文章就介绍到这了,更多相关Python爬取地铁站点信息内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！