python爬虫爬取旅游信息（附源码，csv文件）

利用python爬虫技术爬取部分城市的旅游信息

#-*- coding = utf-8 -*-
#@Time : 2020/12/23 14:23
#@Author : lxy
#@File : 旅游.py
#@Software: PyCharm

import requests
import parsel
import csv


for page in range （130）:
    print（“=====================正在爬取第{}页数据==========================“.format（page））
     #1、得到数据所在的url地址
    url=“https://place.qyer.com/china/citylist-0-0-{}/“.format（str（page））

    #2、发送网络请求

    response = requests.get（url）
    datalist = response.text

    #3、数据解析（筛选数据）
    #3.1转换数据
    selector = parsel.Selector（datalist）
    #3.2解析数据
    list = selector.xpath（‘//ul[@class=“plcCitylist“]/li‘）#提取所有li标签

    for li in list:
        #城市名
        travel_place = li.xpath（‘.//h3/a/text（）‘）.get（）
        #拜访人数
        travel_people =li.xpath（‘.//p[@class=“beento“]/text（）‘）.get（）
        #热门景点
        travel_hot = li.xpath（‘.//p[@class=“pois“]/a/text（）‘）.getall（）
        travel_hot = [hot.strip（） for hot in travel_hot]
        travel_hot= ‘‘.join（travel_hot）
        #景点链接
        travel_url = li.xpath（‘.//h3/a/@href‘）.get（）
         #图片
        travel_Imgurl = li.xpath（‘./p/a/img/@src‘）.get（）

        print（travel_placetravel_peopletravel_hottravel_urltravel_Imgurl）

        #4、保存数据
        with open（‘travel.csv‘ mode=‘a‘encoding=‘utf-8‘newline=‘‘） as f:
         csv_writer = csv.writer（f）
         csv_writer.writerow（[travel_placetravel_peopletravel_hottravel_urltravel_Imgurl]）

print（“爬取完毕！“）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     文件      451566  2020-12-28 11:12  python爬虫爬取旅游信息\data.csv
     文件        1605  2020-12-29 16:16  python爬虫爬取旅游信息\旅游.py
     目录           0  2020-12-30 22:57  python爬虫爬取旅游信息\