基于python scrapy 的双色球爬虫

本爬虫基于python scrapy框架，能够爬取2003年至今所有的双色球开奖号码，一、二等奖开奖奖金与及中奖注数。

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class LotteryItem（scrapy.Item）:
    #期
    edition = scrapy.Field（）
    #红球1
    red_1 = scrapy.Field（）
    #红球2
    red_2 = scrapy.Field（）
    #红球3
    red_3 = scrapy.Field（）
    #红球4
    red_4 = scrapy.Field（）
    #红球5
    red_5 = scrapy.Field（）
    #红球6
    red_6 = scrapy.Field（）
    #蓝球1
    blue_1 = scrapy.Field（）
    #蓝球2
    blue_2 = scrapy.Field（）
    #一等奖注数
    first_prize_times = scrapy.Field（）
    #一等奖奖金
    first_prize_bonus = scrapy.Field（）
    #二等奖注数
    second_prize_times = scrapy.Field（）
    #二等奖奖金
    second_prize_bonus = scrapy.Field（）
    #保留字段
    remark = scrapy.Field（）
    #开奖日期
    open_date = scrapy.Field（）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     文件         985  2015-12-20 11:16  说明.txt
     目录           0  2015-12-14 21:31  lottery\
     目录           0  2015-12-14 21:31  lottery\.idea\
     文件           7  2015-12-09 22:53  lottery\.idea\.name
     目录           0  2015-12-14 21:31  lottery\.idea\dictionaries\
     文件          83  2015-12-09 22:59  lottery\.idea\dictionaries\zx.xml
     文件         284  2015-12-09 22:53  lottery\.idea\lottery.iml
     文件         975  2015-12-09 22:53  lottery\.idea\misc.xml
     文件         266  2015-12-09 22:53  lottery\.idea\modules.xml
     文件         164  2015-12-09 22:53  lottery\.idea\vcs.xml
     文件       43141  2015-12-14 21:36  lottery\.idea\workspace.xml
     目录           0  2015-12-14 21:31  lottery\lottery\
     文件        1851  2015-12-13 22:58  lottery\lottery\MySQLbase.py
     文件        2927  2015-12-13 23:02  lottery\lottery\MySQLbase.pyc
     文件           0  2015-11-28 00:59  lottery\lottery\__init__.py
     文件         134  2015-12-08 23:16  lottery\lottery\__init__.pyc
     文件         896  2015-12-13 23:01  lottery\lottery\items.py
     文件         796  2015-12-13 23:02  lottery\lottery\items.pyc
     目录           0  2015-12-14 21:31  lottery\lottery\misc\
     文件           0  2014-04-28 09:19  lottery\lottery\misc\__init__.py
     文件         139  2015-12-09 00:30  lottery\lottery\misc\__init__.pyc
     文件         195  2015-12-13 22:50  lottery\lottery\misc\log.py
     文件         806  2015-12-13 22:52  lottery\lottery\misc\log.pyc
     文件         598  2015-12-08 23:55  lottery\lottery\pipelines.py
     文件        1195  2015-12-09 00:17  lottery\lottery\pipelines.pyc
     文件        3082  2015-12-09 00:12  lottery\lottery\settings.py
     文件         354  2015-12-09 00:12  lottery\lottery\settings.pyc
     文件      552043  2015-12-13 23:08  lottery\lottery\shuangseqiu.json
     目录           0  2015-12-14 21:35  lottery\lottery\spiders\
     文件        5179  2015-12-14 21:35  lottery\lottery\spiders\ShuangSeQiu.py
     文件        3850  2015-12-13 23:07  lottery\lottery\spiders\ShuangSeQiu.pyc
............此处省略3个文件信息