• 大小: 12KB
    文件类型: .py
    金币: 1
    下载: 0 次
    发布日期: 2021-01-09
  • 标签:

资源简介

爬取空气质量检测网的部分城市的历年每天质量数据 思路----------------------------------------- 从某城市的空气质量网页获取某市每月的链接,再爬取每个月的表格数据。连云港市:https://www.aqistudy.cn/historydata/daydata.php?city=连云港 连云港2014年5月的空气质量:https://www.aqistudy.cn/historydata/daydata.php?city=连云港&month=2014-05 遇到的问题----------------------------------------- 获取的

资源截图

代码片段和文件信息


# 任务:爬取https://www.aqistudy.cn/historydata/index.php的部分城市的每日空气质量
import requests
from  bs4 import BeautifulSoup
import re
import pprint
import json
import pandas as pd
from lxml import etree
from urllib.parse import urljoin

# 获取城市链接
def getcityurls():
    citylist=[‘杭州市‘‘宁波市‘‘温州市‘‘嘉兴市‘‘湖州市‘‘绍兴市‘‘金华市‘‘衢州市‘‘舟山市‘‘台州市‘‘丽水市‘‘合肥市‘‘芜湖市‘‘蚌埠市‘‘淮南市‘‘马鞍山市‘‘淮北市‘‘铜陵市‘‘安庆市‘‘黄山市‘‘阜阳市‘‘宿州市‘‘滁州市‘‘六安市‘‘宣城市‘‘池州市‘‘亳州市‘]
    cityurls=[]
    for city in citylist:
        standcity=city.replace(‘市‘‘‘)
        root_url=‘https://www.aqistudy.cn/historydata/monthdata.php?city=‘+str(standcity)
        print(root_url)
        cityurls.append(root_url)
    return cityurls
# 获取某城市的所有月份链接
def getmonthhref(cityurl):
    base_url=‘https://www.aqistudy.cn/historydata/‘
 

评论

共有 条评论

相关资源