资源简介
python网络爬虫爬取了2018年截至到目前为止,北上广深这四个城市的空气质量的数据,并对此做出了分析,用python画图库,实现数据的可视化

代码片段和文件信息
import time
import requests
from bs4 import BeautifulSoup
headers = {
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/63.0.3239.132 Safari/537.36‘
}
citys = [‘beijing‘ ‘shanghai‘ ‘guangzhou‘ ‘shenzhen‘]
for i in range(len(citys)):
time.sleep(5)
for j in range(1 13):
time.sleep(5)
# 请求2018年各月份的数据页面
url = ‘http://www.tianqihoubao.com/aqi/‘ + citys[i] + ‘-2018‘ + str(“%02d“ % j) + ‘.html‘
# 有请求头(键值对形式表示请求头)
response = requests.get(url=url headers=headers)
# html字符串创建BeautifulSoup对象
soup = BeautifulSoup(response.text ‘html.parser‘)
tr = soup.find_all(‘tr‘)
for k in tr[1:]:
td = k.find_all(‘td‘)
# 日期
Date = td[0].get_text().strip()
# 质量等级
Quality_grade = td[1].get_text().strip()
# AQI指数
AQI = td[2].get_text().strip()
# 当天AQI排名
AQI_rank = td[3].get_text().strip()
# PM2.5
PM = td[4].get_text()
# 数据存储
filename = ‘air_‘ + citys[i] + ‘_2018.csv‘
with open(filename ‘a+‘ encoding=‘utf-8-sig‘) as f:
f.write(Date + ‘‘ + Quality_grade + ‘‘ + AQI + ‘‘ + AQI_rank + ‘‘ + PM + ‘\n‘)
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2018-12-21 11:23 BSGS_1\
目录 0 2018-12-26 14:11 BSGS_1\.idea\
文件 455 2018-12-10 18:46 BSGS_1\.idea\BSGS_1.iml
目录 0 2018-12-10 18:46 BSGS_1\.idea\inspectionProfiles\
文件 288 2018-12-10 18:44 BSGS_1\.idea\misc.xm
文件 264 2018-12-10 18:44 BSGS_1\.idea\modules.xm
文件 34807 2018-12-26 14:11 BSGS_1\.idea\workspace.xm
文件 731303 2018-12-21 09:05 BSGS_1\2018年北上广深AQI_rank全年走势图.html
文件 731264 2018-12-21 11:24 BSGS_1\2018年北上广深AQI全年走势图.html
文件 731262 2018-12-10 18:56 BSGS_1\2018年北上广深PM2.5全年走势图.html
文件 727933 2018-12-10 18:56 BSGS_1\2018年北上广深全年空气质量情况.html
文件 9828 2018-12-10 18:48 BSGS_1\air_beijing_2018.csv
文件 8885 2018-12-10 18:51 BSGS_1\air_guangzhou_2018.csv
文件 9091 2018-12-10 18:49 BSGS_1\air_shanghai_2018.csv
文件 8609 2018-12-10 18:52 BSGS_1\air_shenzhen_2018.csv
文件 1453 2018-12-21 11:23 BSGS_1\BSGS_2018.py
文件 1269 2018-12-10 18:35 BSGS_1\BSGS_2018_AQI_month.py
文件 1289 2018-12-21 09:05 BSGS_1\BSGS_2018_AQI_rank_month.py
文件 1275 2018-12-10 18:22 BSGS_1\BSGS_2018_PM2.5_month.py
文件 1647 2018-11-26 17:06 BSGS_1\BSGS_2018_Quality_grade.py
- 上一篇:kaggle房价预测代码
- 下一篇:基于情感词典的情感倾向打分
相关资源
- 二级考试python试题12套(包括选择题和
- pywin32_python3.6_64位
- python+ selenium教程
- PycURL(Windows7/Win32)Python2.7安装包 P
- 英文原版-Scientific Computing with Python
- 7.图像风格迁移 基于深度学习 pyt
- 基于Python的学生管理系统
- A Byte of Python(简明Python教程)(第
- Python实例174946
- Python 人脸识别
- Python 人事管理系统
- 基于python-flask的个人博客系统
- 计算机视觉应用开发流程
- python 调用sftp断点续传文件
- python socket游戏
- 基于Python爬虫爬取天气预报信息
- python函数编程和讲解
- Python开发的个人博客
- 基于python的三层神经网络模型搭建
- python实现自动操作windows应用
- python人脸识别(opencv)
- python 绘图(方形、线条、圆形)
- python疫情卡UN管控
- python 连连看小游戏源码
- 基于PyQt5的视频播放器设计
- 一个简单的python爬虫
- csv文件行列转换python实现代码
- Python操作Mysql教程手册
- Python Machine Learning Case Studies
- python获取硬件信息
评论
共有 条评论