京东爬虫，可抓取京东商品信息和评论

用scrapy框架写的京东爬虫，可以抓取京东商品信息和评论

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy
from scrapy import Item Field


class JdSpiderItem（scrapy.Item）:
    # define the fields for your item here like:
    # name = scrapy.Field（）
    pass


class goodsItem（Item）:
    link = Field（）  # 商品链接
    ID = Field（）  # 商品ID
    name = Field（）  # 商品名字
    comment_num = Field（）  # 评论人数
    shop_name = Field（）  # 店家名字
    price = Field（）  # 价钱
    commentVersion = Field（）  # 为了得到评论的地址需要该字段
    score1count = Field（）  # 评分为1星的人数
    score2count = Field（）  # 评分为2星的人数
    score3count = Field（）  # 评分为3星的人数
    score4count = Field（）  # 评分为4星的人数
    score5count = Field（）  # 评分为5星的人数


class commentItem（Item）:
    user_name = Field（

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-07-28 11:00  jd_spider-master\
     目录           0  2017-07-28 11:00  jd_spider-master\.idea\
     目录           0  2017-07-28 11:00  jd_spider-master\.idea\inspectionProfiles\
     文件         410  2017-07-28 11:00  jd_spider-master\.idea\inspectionProfiles\Project_Default.xml
     文件         235  2017-07-28 11:00  jd_spider-master\.idea\inspectionProfiles\profiles_settings.xml
     文件         459  2017-07-28 11:00  jd_spider-master\.idea\jingdong.iml
     文件         701  2017-07-28 11:00  jd_spider-master\.idea\misc.xml
     文件         268  2017-07-28 11:00  jd_spider-master\.idea\modules.xml
     文件         180  2017-07-28 11:00  jd_spider-master\.idea\vcs.xml
     文件       36991  2017-07-28 11:00  jd_spider-master\.idea\workspace.xml
     文件        2022  2017-07-28 11:00  jd_spider-master\README.md
     文件       80936  2017-07-28 11:00  jd_spider-master\good.png
     文件       29184  2017-07-28 11:00  jd_spider-master\goods.xls
     文件        1321  2017-07-28 11:00  jd_spider-master\jd_comment.sql
     文件        1076  2017-07-28 11:00  jd_spider-master\jd_goods.sql
     目录           0  2017-07-28 11:00  jd_spider-master\jd_spider\
     文件           0  2017-07-28 11:00  jd_spider-master\jd_spider\__init__.py
     文件         138  2017-07-28 11:00  jd_spider-master\jd_spider\__init__.pyc
     文件        1759  2017-07-28 11:00  jd_spider-master\jd_spider\items.py
     文件        1581  2017-07-28 11:00  jd_spider-master\jd_spider\items.pyc
     文件        1396  2017-07-28 11:00  jd_spider-master\jd_spider\middlewares.py
     文件        2082  2017-07-28 11:00  jd_spider-master\jd_spider\middlewares.pyc
     文件        5780  2017-07-28 11:00  jd_spider-master\jd_spider\pipelines.py
     文件        5717  2017-07-28 11:00  jd_spider-master\jd_spider\pipelines.pyc
     文件        3799  2017-07-28 11:00  jd_spider-master\jd_spider\settings.py
     文件        3080  2017-07-28 11:00  jd_spider-master\jd_spider\settings.pyc
     目录           0  2017-07-28 11:00  jd_spider-master\jd_spider\spiders\
     文件         161  2017-07-28 11:00  jd_spider-master\jd_spider\spiders\__init__.py
     文件         146  2017-07-28 11:00  jd_spider-master\jd_spider\spiders\__init__.pyc
     文件        2947  2017-07-28 11:00  jd_spider-master\jd_spider\spiders\jd_comment.py
     文件        2684  2017-07-28 11:00  jd_spider-master\jd_spider\spiders\jd_comment.pyc
............此处省略4个文件信息