• 大小: 964KB
    文件类型: .zip
    金币: 2
    下载: 1 次
    发布日期: 2021-08-28
  • 语言: Python
  • 标签: pychart  python  

资源简介

python网络爬虫爬取了2018年截至到目前为止,北上广深这四个城市的空气质量的数据,并对此做出了分析,用python画图库,实现数据的可视化

资源截图

代码片段和文件信息

import time
import requests
from bs4 import BeautifulSoup

headers = {
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/63.0.3239.132 Safari/537.36‘
}

citys = [‘beijing‘ ‘shanghai‘ ‘guangzhou‘ ‘shenzhen‘]

for i in range(len(citys)):

    time.sleep(5)

    for j in range(1 13):
        time.sleep(5)
        # 请求2018年各月份的数据页面
        url = ‘http://www.tianqihoubao.com/aqi/‘ + citys[i] + ‘-2018‘ + str(“%02d“ % j) + ‘.html‘
        # 有请求头(键值对形式表示请求头)
        response = requests.get(url=url headers=headers)
        # html字符串创建BeautifulSoup对象
        soup = BeautifulSoup(response.text ‘html.parser‘)
        tr = soup.find_all(‘tr‘)

        for k in tr[1:]:
            td = k.find_all(‘td‘)
            # 日期
            Date = td[0].get_text().strip()
            # 质量等级
            Quality_grade = td[1].get_text().strip()
            # AQI指数
            AQI = td[2].get_text().strip()
            # 当天AQI排名
            AQI_rank = td[3].get_text().strip()
            # PM2.5
            PM = td[4].get_text()
            # 数据存储
            filename = ‘air_‘ + citys[i] + ‘_2018.csv‘
            with open(filename ‘a+‘ encoding=‘utf-8-sig‘) as f:
                f.write(Date + ‘‘ + Quality_grade + ‘‘ + AQI + ‘‘ + AQI_rank + ‘‘ + PM + ‘\n‘)

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-12-21 11:23  BSGS_1\
     目录           0  2018-12-26 14:11  BSGS_1\.idea\
     文件         455  2018-12-10 18:46  BSGS_1\.idea\BSGS_1.iml
     目录           0  2018-12-10 18:46  BSGS_1\.idea\inspectionProfiles\
     文件         288  2018-12-10 18:44  BSGS_1\.idea\misc.xml
     文件         264  2018-12-10 18:44  BSGS_1\.idea\modules.xml
     文件       34807  2018-12-26 14:11  BSGS_1\.idea\workspace.xml
     文件      731303  2018-12-21 09:05  BSGS_1\2018年北上广深AQI_rank全年走势图.html
     文件      731264  2018-12-21 11:24  BSGS_1\2018年北上广深AQI全年走势图.html
     文件      731262  2018-12-10 18:56  BSGS_1\2018年北上广深PM2.5全年走势图.html
     文件      727933  2018-12-10 18:56  BSGS_1\2018年北上广深全年空气质量情况.html
     文件        9828  2018-12-10 18:48  BSGS_1\air_beijing_2018.csv
     文件        8885  2018-12-10 18:51  BSGS_1\air_guangzhou_2018.csv
     文件        9091  2018-12-10 18:49  BSGS_1\air_shanghai_2018.csv
     文件        8609  2018-12-10 18:52  BSGS_1\air_shenzhen_2018.csv
     文件        1453  2018-12-21 11:23  BSGS_1\BSGS_2018.py
     文件        1269  2018-12-10 18:35  BSGS_1\BSGS_2018_AQI_month.py
     文件        1289  2018-12-21 09:05  BSGS_1\BSGS_2018_AQI_rank_month.py
     文件        1275  2018-12-10 18:22  BSGS_1\BSGS_2018_PM2.5_month.py
     文件        1647  2018-11-26 17:06  BSGS_1\BSGS_2018_Quality_grade.py

评论

共有 条评论