根据关键词使用scrapy爬取今日头条网站新闻各类信息和内容页

在今日头条上输入关键词，爬取与关键词相关的新闻各类信息和内容页。

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class ToutiaoItem（scrapy.Item）:
    # define the fields for your item here like:
    theme = scrapy.Field（）
    comments_count=scrapy.Field（）
    url=scrapy.Field（）
    content = scrapy.Field（）
    datetime=scrapy.Field（）
    announcer=scrapy.Field（）
    attitude_count = scrapy.Field（）
    repost_count = scrapy.Field（）
    attention=scrapy.Field（）
    # pass

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-08-15 12:04  SpiderTouTiao-python-master\
     文件         266  2018-08-15 12:04  SpiderTouTiao-python-master\README.md
     目录           0  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\
     目录           0  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\.idea\
     文件         532  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\.idea\TouTiao.iml
     文件         225  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\.idea\misc.xml
     文件         266  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\.idea\modules.xml
     文件       36882  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\.idea\workspace.xml
     目录           0  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\
     文件        2126  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\MySqlHelperAgain.py
     文件          42  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\Test.py
     文件           0  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\__init__.py
     目录           0  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\__pycache__\
     文件         140  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\__pycache__\__init__.cpython-35.pyc
     文件         569  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\__pycache__\items.cpython-35.pyc
     文件        1758  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\__pycache__\pipelines.cpython-35.pyc
     文件         584  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\__pycache__\settings.cpython-35.pyc
     文件        1327  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\ghostdriver.log
     文件         529  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\items.py
     文件        1905  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\middlewares.py
     文件        1862  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\pipelines.py
     文件        3265  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\settings.py
     目录           0  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\spiders\
     文件        2056  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\spiders\JinRiTouTiao.py
     文件         161  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\spiders\__init__.py
     目录           0  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\spiders\__pycache__\
     文件        2172  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\spiders\__pycache__\JinRiTouTiao.cpython-35.pyc
     文件         148  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\spiders\__pycache__\__init__.cpython-35.pyc
     文件        1327  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\spiders\ghostdriver.log
     文件        3114  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\spiders\toutiao.py
     文件          80  2018-08-15 12:04  SpiderTouTiao-python-master\TouTiao\TouTiao\startFirst.py
............此处省略2个文件信息