Python-用于爬取万方数据库文献摘要数据

该项目用于爬取万方数据库文献摘要数据，爬虫文件在万方文件夹里面，爬取数据在data1里面，目前data1里面有一份数据可供参考

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class WanfangItem（scrapy.Item）:
    # define the fields for your item here like:
    # name = scrapy.Field（）
    C_title = scrapy.Field（）#中文标题
    E_title = scrapy.Field（）#英文标题
    link = scrapy.Field（）#链接
    C_author = scrapy.Field（）#作者姓名 中文
    E_author = scrapy.Field（）#作者姓名 英文
    periodical = scrapy.Field（）#期刊名称
    abstract = scrapy.Field（）#摘要 中文
    keywords = scrapy.Field（）#关键字 中文
    time = scrapy.Field（）#出版日期
    fund = scrapy.Field（）#基金项目
    pass

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-12-05 09:46  wanfangSpider-master\
     文件        2843  2017-12-05 09:46  wanfangSpider-master\README.md
     目录           0  2017-12-05 09:46  wanfangSpider-master\data1\
     文件     4662788  2017-12-05 09:46  wanfangSpider-master\data1\d1TCM.txt
     目录           0  2017-12-05 09:46  wanfangSpider-master\wanfang\
     文件         258  2017-12-05 09:46  wanfangSpider-master\wanfang\scrapy.cfg
     目录           0  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\
     文件           0  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\__init__.py
     目录           0  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\__pycache__\
     文件         131  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\__pycache__\__init__.cpython-36.pyc
     文件         510  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\__pycache__\items.cpython-36.pyc
     文件        1001  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\__pycache__\pipelines.cpython-36.pyc
     文件        2332  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\__pycache__\settings.cpython-36.pyc
     文件         717  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\items.py
     文件        1905  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\middlewares.py
     文件         762  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\pipelines.py
     文件        5155  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\settings.py
     目录           0  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\spiders\
     文件         161  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\spiders\__init__.py
     目录           0  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\spiders\__pycache__\
     文件         139  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\spiders\__pycache__\__init__.cpython-36.pyc
     文件        3632  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\spiders\__pycache__\wanfang.cpython-36.pyc
     文件        3390  2017-12-05 09:46  wanfangSpider-master\wanfang\wanfang\spiders\wanfang.py