资源简介
爬取空气质量检测网的部分城市的历年每天质量数据
思路-----------------------------------------
从某城市的空气质量网页获取某市每月的链接,再爬取每个月的表格数据。连云港市:https://www.aqistudy.cn/historydata/daydata.php?city=连云港
连云港2014年5月的空气质量:https://www.aqistudy.cn/historydata/daydata.php?city=连云港&month=2014-05
遇到的问题-----------------------------------------
获取的
代码片段和文件信息
# 任务:爬取https://www.aqistudy.cn/historydata/index.php的部分城市的每日空气质量
import requests
from bs4 import BeautifulSoup
import re
import pprint
import json
import pandas as pd
from lxml import etree
from urllib.parse import urljoin
# 获取城市链接
def getcityurls():
citylist=[‘杭州市‘‘宁波市‘‘温州市‘‘嘉兴市‘‘湖州市‘‘绍兴市‘‘金华市‘‘衢州市‘‘舟山市‘‘台州市‘‘丽水市‘‘合肥市‘‘芜湖市‘‘蚌埠市‘‘淮南市‘‘马鞍山市‘‘淮北市‘‘铜陵市‘‘安庆市‘‘黄山市‘‘阜阳市‘‘宿州市‘‘滁州市‘‘六安市‘‘宣城市‘‘池州市‘‘亳州市‘]
cityurls=[]
for city in citylist:
standcity=city.replace(‘市‘‘‘)
root_url=‘https://www.aqistudy.cn/historydata/monthdata.php?city=‘+str(standcity)
print(root_url)
cityurls.append(root_url)
return cityurls
# 获取某城市的所有月份链接
def getmonthhref(cityurl):
base_url=‘https://www.aqistudy.cn/historydata/‘
- 上一篇:八字排盘PHP源码(算命 占卜)
- 下一篇:php商品展示
评论
共有 条评论