从零开始学Python网络爬虫_源代码.rar

从零开始学Python网络爬虫_源代码.rar

import requests
from lxml import etree
import csv
import json

# address = ‘上海‘
# par = {‘address‘: address ‘key‘: ‘cb649a25c1f81c1451adbeca73623251‘}
# base = ‘http://restapi.amap.com/v3/geocode/geo‘
# response = requests.get（base par）
# print（response.text）

fp = open（‘C://Users/LP/Desktop/map.csv‘‘wt‘newline=‘‘encoding=‘utf-8‘）
writer = csv.writer（fp）
writer.writerow（（‘address‘‘longitude‘‘latitude‘））

headers = {
    ‘User-Agent‘:‘Mozilla/5.0 （Windows NT 6.1; WOW64） AppleWebKit/537.36 （KHTML like Gecko） Chrome/53.0.2785.143 Safari/537.36‘
}

def get_user_url（url）:
    url_part = ‘http://www.qiushibaike.com‘
    res = requests.get（urlheaders=headers）
    selector = etree.HTML（res.text）
    url_infos = selector.xpath（‘//div[@class=“article block untagged mb

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        641  2017-04-26 10:41  57999 从零开始学Python网络爬虫_源代码\.idea\misc.xml

     文件        276  2017-02-25 20:08  57999 从零开始学Python网络爬虫_源代码\.idea\modules.xml

     文件      49196  2017-05-29 16:23  57999 从零开始学Python网络爬虫_源代码\.idea\workspace.xml

     文件        497  2017-04-26 10:41  57999 从零开始学Python网络爬虫_源代码\.idea\写书代码.iml

     文件       2413  2017-04-01 15:38  57999 从零开始学Python网络爬虫_源代码\58project\channel_extract.py

     文件        152  2017-02-03 20:10  57999 从零开始学Python网络爬虫_源代码\58project\counts.py

     文件        753  2017-04-01 16:28  57999 从零开始学Python网络爬虫_源代码\58project\main.py

     文件       2060  2017-04-01 15:04  57999 从零开始学Python网络爬虫_源代码\58project\page_spider.py

     文件       2611  2017-04-01 16:31  57999 从零开始学Python网络爬虫_源代码\58project\__pycache__\channel_extract.cpython-35.pyc

     文件       1880  2017-04-01 16:31  57999 从零开始学Python网络爬虫_源代码\58project\__pycache__\page_spider.cpython-35.pyc

     文件       1596  2017-02-09 15:35  57999 从零开始学Python网络爬虫_源代码\58project\__pycache__\page_spider.cpython-36.pyc

     文件       2035  2017-03-22 17:24  57999 从零开始学Python网络爬虫_源代码\baidumap.py

     文件        947  2019-02-18 14:23  57999 从零开始学Python网络爬虫_源代码\baidu_img.py

     文件       2520  2017-03-16 16:41  57999 从零开始学Python网络爬虫_源代码\compare.py

     文件       1462  2017-04-01 09:18  57999 从零开始学Python网络爬虫_源代码\compare2.py

     文件       1261  2017-04-26 12:17  57999 从零开始学Python网络爬虫_源代码\doubanbook.py

     文件       1998  2017-03-31 14:50  57999 从零开始学Python网络爬虫_源代码\doubanmovie.py

     文件       1897  2017-03-31 08:32  57999 从零开始学Python网络爬虫_源代码\doubanmusic.py

     文件        367  2017-04-08 10:56  57999 从零开始学Python网络爬虫_源代码\douban_login.py

     文件        446  2017-04-17 09:40  57999 从零开始学Python网络爬虫_源代码\douban_selenium.py

     文件        722  2017-04-14 09:37  57999 从零开始学Python网络爬虫_源代码\doupo_xiaoshuo.py

     文件        374  2017-03-17 10:15  57999 从零开始学Python网络爬虫_源代码\flower.html

     文件       1331  2017-04-28 18:39  57999 从零开始学Python网络爬虫_源代码\ghostdriver.log

     文件       2542  2017-04-03 20:00  57999 从零开始学Python网络爬虫_源代码\jianshu_sevenday.py

     文件       1656  2017-04-01 09:37  57999 从零开始学Python网络爬虫_源代码\jianshu_shouye.py

     文件       1043  2017-04-03 19:05  57999 从零开始学Python网络爬虫_源代码\jianshu_timeline.py

     文件        378  2017-04-19 14:58  57999 从零开始学Python网络爬虫_源代码\jieba_doupo.py

     文件        396  2017-04-20 14:58  57999 从零开始学Python网络爬虫_源代码\jieba_weibo.py

     文件        983  2017-04-11 20:14  57999 从零开始学Python网络爬虫_源代码\kugou.py

     文件       4471  2017-04-04 10:39  57999 从零开始学Python网络爬虫_源代码\lagou.py

............此处省略125个文件信息