scrapy抓取安居客数据

采用python scrapy抓取安居客数据

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

from scrapy import Item Field


class FangItem（Item）:
    # define the fields for your item here like:
    # name = scrapy.Field（）
    pass


# 音乐
class MusicItem（Item）:
    music_name = Field（）
    music_alias = Field（）
    music_singer = Field（）
    music_time = Field（）
    music_rating = Field（）
    music_votes = Field（）
    music_tags = Field（）
    music_url = Field（）


# 乐评
class MusicReviewItem（Item）:
    review_title = Field（）
    review_content = Field（）
    review_author = Field（）
    review_music = Field（）
    review_time = Field（）
    review_url = Field（）


# 电影
class MovieItem（Item）:
    movie_name = Field（）
    movie_alias = F

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-10-17 09:58  fang-ajk\
     目录           0  2017-10-17 09:58  fang-ajk\.idea\
     文件         365  2017-06-25 18:32  fang-ajk\.idea\codestyleSettings.xml
     文件         398  2017-06-25 11:43  fang-ajk\.idea\fang.iml
     目录           0  2017-10-17 09:58  fang-ajk\.idea\inspectionProfiles\
     文件         228  2017-06-25 11:41  fang-ajk\.idea\inspectionProfiles\profiles_settings.xml
     文件         222  2017-06-25 11:41  fang-ajk\.idea\misc.xml
     文件         260  2017-06-25 11:41  fang-ajk\.idea\modules.xml
     文件         225  2017-07-14 15:08  fang-ajk\.idea\sqldialects.xml
     文件       54827  2017-09-06 10:44  fang-ajk\.idea\workspace.xml
     目录           0  2017-10-17 09:58  fang-ajk\fang\
     文件        1972  2017-07-14 18:29  fang-ajk\fang\items.py
     文件        5872  2017-07-14 11:58  fang-ajk\fang\middlewares.py
     文件       10813  2017-07-18 16:13  fang-ajk\fang\pipelines.py
     文件         190  2017-06-25 18:57  fang-ajk\fang\run.py
     文件       96284  2017-07-11 17:41  fang-ajk\fang\scrapy.log
     文件        3798  2017-07-14 10:12  fang-ajk\fang\settings.py
     目录           0  2017-10-17 10:00  fang-ajk\fang\spiders\
     文件         627  2017-06-28 17:29  fang-ajk\fang\spiders\fang.py
     文件        6236  2017-06-25 16:58  fang-ajk\fang\spiders\movie.py
     文件        4900  2017-06-25 17:43  fang-ajk\fang\spiders\music.py
     文件        4021  2017-07-11 18:41  fang-ajk\fang\spiders\sh_anjuke_mobile.py
     文件         161  2017-06-25 11:27  fang-ajk\fang\spiders\__init__.py
     目录           0  2017-10-17 09:58  fang-ajk\fang\spiders\__pycache__\
     文件        5800  2017-07-13 10:23  fang-ajk\fang\spiders\__pycache__\anjuke.cpython-36.pyc
     文件        5181  2017-07-12 18:54  fang-ajk\fang\spiders\__pycache__\anjuke_pc.cpython-36.pyc
     文件         906  2017-07-12 10:33  fang-ajk\fang\spiders\__pycache__\fang.cpython-36.pyc
     文件        5024  2017-06-25 17:22  fang-ajk\fang\spiders\__pycache__\movie.cpython-36.pyc
     文件        3451  2017-07-12 10:33  fang-ajk\fang\spiders\__pycache__\music.cpython-36.pyc
     文件        3242  2017-07-12 10:33  fang-ajk\fang\spiders\__pycache__\sh_anjuke_mobile.cpython-36.pyc
     文件         128  2017-06-25 11:40  fang-ajk\fang\spiders\__pycache__\__init__.cpython-36.pyc
............此处省略8个文件信息