• 大小: 4KB
    文件类型: .py
    金币: 2
    下载: 1 次
    发布日期: 2021-06-05
  • 语言: Python
  • 标签: 网络爬虫  

资源简介

爬取百度迁徙数据,使用python语言,使用时需要输入日期,然后自动生成表格

资源截图

代码片段和文件信息

from urllib import request
from urllib import error
import re
import xlrd
import xlwt
import threading

def set_style(name height bold=False):
    style = xlwt.XFstyle()  # 初始化样式
    font = xlwt.Font()  # 为样式创建字体
    font.name = name  # ‘Times New Roman‘
    font.bold = bold
    font.color_index = 4
    font.height = height
    # borders= xlwt.Borders()
    # borders.left= 6
    # borders.right= 6
    # borders.top= 6
    # borders.bottom= 6
    style.font = font
    # style.borders = borders
    return style

f = xlwt.Workbook()
sheet2 = f.add_sheet(u‘sheet2‘ cell_overwrite_ok=True)  # 创建sheet2
row0 = [u‘迁入城市‘u‘所在城市‘u‘lyd‘u‘迁出城市‘u‘所在城市‘u‘lyd‘]
 # 生成第一行
for i in range(0 len(row0)):
    sheet2.write(0 i row0[i] set_style(‘Times New Roman‘ 200 True))

headers = {“User-agent“:“Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X metaSr 1.0“}
opener = request.build_opener()
opener.add_headers = [headers]
request.install_opener(opener)

riqi = input(“日期是:“)
#ID = [5354315317316348224161346163365]
#name = [“长春““延边““南京““无锡““徐州““常州““苏州““南通““扬州““南昌““赣州“]
ID = [48218125121150265148151266307149191208158268153267152154308309]
name = [“哈尔滨““武汉““海口““三亚““石家庄““唐山““秦皇岛““邯郸““邢台““保定““沧州““廊坊““衡水““长沙““郑州““洛阳““安阳““新乡““商丘““周口““南阳“]

for i in range(0len(ID)):
    firsturl = “http://huiyan.baidu.com/migration/api/cityrank?dt=city&id=“+str(ID[i])+“&type=move_in&date=“+str(riqi)+“&callback=jsonp“
    data = request.urlopen(firsturl).read().decode(“utf-8“)
    data = data.encode(“utf-8“).decode(“unicode_escape“)
    #对Unicode编码进行改造
    pat = ‘{“city_name“:“(.*?)““province_name“:“.*?““valu

评论

共有 条评论