资源简介
抓取国家统计局区划、城乡划分代码的简易python爬虫源码与爬取结果sql文件,本资源仅用于学习交流,不针对任何网站、软件、个人。
代码片段和文件信息
# !/usr/bin/env python3
# -*- coding: utf-8 -*-
import urllib.request
import urllib.error
import time
class HtmlDownloader(object):
def download(self url):
if url is None:
raise Exception(‘url is None‘)
print(url)
request = urllib.request.Request(url None {‘Cookie‘: ‘AD_RS_COOKIE=20083363‘
‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWeb\Kit/537.36 (KHTML like Gecko)\
Chrome/58.0.3029.110 Safari/537.36‘})
try:
with urllib.request.urlopen(request) as response:
print(response.getcode())
if response.g
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2017-05-26 16:34 CodeSpider\
目录 0 2017-05-26 16:35 CodeSpider\.idea\
文件 10 2017-05-25 19:26 CodeSpider\.idea\.name
文件 398 2017-05-25 19:26 CodeSpider\.idea\CodeSpider.iml
文件 159 2017-05-25 19:26 CodeSpider\.idea\encodings.xm
文件 689 2017-05-25 19:26 CodeSpider\.idea\misc.xm
文件 272 2017-05-25 19:26 CodeSpider\.idea\modules.xm
文件 28862 2017-05-26 16:35 CodeSpider\.idea\workspace.xm
文件 1100 2017-05-26 14:30 CodeSpider\html_downloader.py
文件 2702 2017-05-26 15:23 CodeSpider\html_parser.py
文件 1356 2017-05-26 16:34 CodeSpider\mysql_handler.py
文件 2911 2017-05-26 14:24 CodeSpider\spider_main.py
文件 0 2017-05-25 19:10 CodeSpider\__init__.py
目录 0 2017-05-26 15:23 CodeSpider\__pycache__\
文件 1210 2017-05-26 14:31 CodeSpider\__pycache__\html_downloader.cpython-35.pyc
文件 3173 2017-05-26 15:23 CodeSpider\__pycache__\html_parser.cpython-35.pyc
文件 1609 2017-05-26 11:29 CodeSpider\__pycache__\mysql_handler.cpython-35.pyc
文件 3598221 2017-05-26 16:10 code_spider.sql
相关资源
- python实现SGBM图像匹配算法
- python实现灰度直方图均衡化
- scrapy_qunar_one
- Python学习全系列教程永久可用
- python简明教程.chm
- 抽奖大转盘python的图形化界面
- 双边滤波器实验报告及代码python
- python +MYSQL+HTML实现21蛋糕网上商城
- Python-直播答题助手自动检测出题搜索
- OpenCV入门教程+OpenCV官方教程中文版
- Python 串口工具源码+.exe文件
- Python开发的全栈股票系统.zip
- Python操作Excel表格并将其中部分数据写
- python书籍 PDF
- 利用python绘制散点图
- python+labview+No1.vi
- 老男孩python项目实战
- python源码制作whl文件.rar
- python3.5可用的scipy
- PYTHON3 经典50案例.pptx
- 计算机科学导论-python.pdf
- python模拟鼠标点击屏幕
- windows鼠标自动点击py脚本
- 鱼c小甲鱼零基础学python全套课后题和
- Python 练习题100道
- Practical Programming 2nd Edition
- wxPython Application Development Cookbook
- python 3.6
- Python 3.5.2 中文文档 互联网唯一CHM版本
- python3.5.2.chm官方文档
评论
共有 条评论