资源简介
python网络爬虫爬取了2018年截至到目前为止,北上广深这四个城市的空气质量的数据,并对此做出了分析,用python画图库,实现数据的可视化
代码片段和文件信息
import time
import requests
from bs4 import BeautifulSoup
headers = {
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/63.0.3239.132 Safari/537.36‘
}
citys = [‘beijing‘ ‘shanghai‘ ‘guangzhou‘ ‘shenzhen‘]
for i in range(len(citys)):
time.sleep(5)
for j in range(1 13):
time.sleep(5)
# 请求2018年各月份的数据页面
url = ‘http://www.tianqihoubao.com/aqi/‘ + citys[i] + ‘-2018‘ + str(“%02d“ % j) + ‘.html‘
# 有请求头(键值对形式表示请求头)
response = requests.get(url=url headers=headers)
# html字符串创建BeautifulSoup对象
soup = BeautifulSoup(response.text ‘html.parser‘)
tr = soup.find_all(‘tr‘)
for k in tr[1:]:
td = k.find_all(‘td‘)
# 日期
Date = td[0].get_text().strip()
# 质量等级
Quality_grade = td[1].get_text().strip()
# AQI指数
AQI = td[2].get_text().strip()
# 当天AQI排名
AQI_rank = td[3].get_text().strip()
# PM2.5
PM = td[4].get_text()
# 数据存储
filename = ‘air_‘ + citys[i] + ‘_2018.csv‘
with open(filename ‘a+‘ encoding=‘utf-8-sig‘) as f:
f.write(Date + ‘‘ + Quality_grade + ‘‘ + AQI + ‘‘ + AQI_rank + ‘‘ + PM + ‘\n‘)
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2018-12-21 11:23 BSGS_1\
目录 0 2018-12-26 14:11 BSGS_1\.idea\
文件 455 2018-12-10 18:46 BSGS_1\.idea\BSGS_1.iml
目录 0 2018-12-10 18:46 BSGS_1\.idea\inspectionProfiles\
文件 288 2018-12-10 18:44 BSGS_1\.idea\misc.xm
文件 264 2018-12-10 18:44 BSGS_1\.idea\modules.xm
文件 34807 2018-12-26 14:11 BSGS_1\.idea\workspace.xm
文件 731303 2018-12-21 09:05 BSGS_1\2018年北上广深AQI_rank全年走势图.html
文件 731264 2018-12-21 11:24 BSGS_1\2018年北上广深AQI全年走势图.html
文件 731262 2018-12-10 18:56 BSGS_1\2018年北上广深PM2.5全年走势图.html
文件 727933 2018-12-10 18:56 BSGS_1\2018年北上广深全年空气质量情况.html
文件 9828 2018-12-10 18:48 BSGS_1\air_beijing_2018.csv
文件 8885 2018-12-10 18:51 BSGS_1\air_guangzhou_2018.csv
文件 9091 2018-12-10 18:49 BSGS_1\air_shanghai_2018.csv
文件 8609 2018-12-10 18:52 BSGS_1\air_shenzhen_2018.csv
文件 1453 2018-12-21 11:23 BSGS_1\BSGS_2018.py
文件 1269 2018-12-10 18:35 BSGS_1\BSGS_2018_AQI_month.py
文件 1289 2018-12-21 09:05 BSGS_1\BSGS_2018_AQI_rank_month.py
文件 1275 2018-12-10 18:22 BSGS_1\BSGS_2018_PM2.5_month.py
文件 1647 2018-11-26 17:06 BSGS_1\BSGS_2018_Quality_grade.py
- 上一篇:kaggle房价预测代码
- 下一篇:基于情感词典的情感倾向打分
相关资源
- python实现SGBM图像匹配算法
- python实现灰度直方图均衡化
- scrapy_qunar_one
- Python学习全系列教程永久可用
- python简明教程.chm
- 抽奖大转盘python的图形化界面
- 双边滤波器实验报告及代码python
- python +MYSQL+HTML实现21蛋糕网上商城
- Python-直播答题助手自动检测出题搜索
- OpenCV入门教程+OpenCV官方教程中文版
- Python 串口工具源码+.exe文件
- Python开发的全栈股票系统.zip
- Python操作Excel表格并将其中部分数据写
- python书籍 PDF
- 利用python绘制散点图
- python+labview+No1.vi
- 老男孩python项目实战
- python源码制作whl文件.rar
- python3.5可用的scipy
- PYTHON3 经典50案例.pptx
- 计算机科学导论-python.pdf
- python模拟鼠标点击屏幕
- windows鼠标自动点击py脚本
- 鱼c小甲鱼零基础学python全套课后题和
- Python 练习题100道
- Practical Programming 2nd Edition
- wxPython Application Development Cookbook
- python 3.6
- Python 3.5.2 中文文档 互联网唯一CHM版本
- python3.5.2.chm官方文档
评论
共有 条评论