利用python的scrapy爬取慕课网全站课程数据存入Mysql

利用python的scrapy爬取慕课网全站课程数据存入Mysql，json，csv

# -*- coding: utf-8 -*-
#引入文件
import scrapy

class CourseItem（scrapy.Item）:
    #课程标题
    title = scrapy.Field（）
    #课程url
    url = scrapy.Field（）
    #课程标题图片
    image_url = scrapy.Field（）
    #课程描述
    introduction = scrapy.Field（）
    #学习人数
    student = scrapy.Field（）
    #课程标签
    catycray = scrapy.Field（）
    #课程难度
    degree = scrapy.Field（）
    #课程时长
    hour =scrapy.Field（）

    #课程评分
    score=scrapy.Field（）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-08-11 09:52  scrapytest\
     文件        8196  2017-08-11 09:52  scrapytest\.DS_Store
     目录           0  2017-08-11 09:53  __MACOSX\
     目录           0  2017-08-11 09:53  __MACOSX\scrapytest\
     文件         120  2017-08-11 09:52  __MACOSX\scrapytest\._.DS_Store
     目录           0  2017-08-11 09:52  scrapytest\pic\
     文件        8211  2017-08-09 11:36  scrapytest\pic\  MongoDB澶嶅埗闆嗏€斿鍒堕泦鐩戞帶.jpg
     文件        5202  2017-08-09 11:36  scrapytest\pic\ Linux杈句汉鍏绘垚璁″垝 I.jpg
     文件       10290  2017-08-09 11:36  scrapytest\pic\ MongoDB澶嶅埗闆嗏€斿鐏炬牳蹇冮€変妇.jpg
     文件        6148  2017-08-11 09:52  scrapytest\pic\.DS_Store
     目录           0  2017-08-11 09:53  __MACOSX\scrapytest\pic\
     文件         120  2017-08-11 09:52  __MACOSX\scrapytest\pic\._.DS_Store
     文件         264  2017-07-19 16:49  scrapytest\scrapy.cfg
     目录           0  2017-08-10 17:27  scrapytest\scrapytest\
     文件        8196  2017-08-10 15:53  scrapytest\scrapytest\.DS_Store
     目录           0  2017-08-11 09:53  __MACOSX\scrapytest\scrapytest\
     文件         120  2017-08-10 15:53  __MACOSX\scrapytest\scrapytest\._.DS_Store
     文件           0  2017-07-11 11:02  scrapytest\scrapytest\__init__.py
     文件         144  2017-07-26 11:27  scrapytest\scrapytest\__init__.pyc
     文件         504  2017-08-08 17:41  scrapytest\scrapytest\CourseItems.py
     文件         210  2017-08-08 17:41  __MACOSX\scrapytest\scrapytest\._CourseItems.py
     文件         638  2017-08-08 18:13  scrapytest\scrapytest\CourseItems.pyc
     文件         289  2017-07-19 16:49  scrapytest\scrapytest\items.py
     文件        1908  2017-07-19 16:49  scrapytest\scrapytest\middlewares.py
     文件        1690  2017-08-10 17:06  scrapytest\scrapytest\MyPipelines.py
     文件         210  2017-08-10 17:06  __MACOSX\scrapytest\scrapytest\._MyPipelines.py
     文件        2249  2017-08-10 17:27  scrapytest\scrapytest\MyPipelines.pyc
     文件         290  2017-07-19 16:49  scrapytest\scrapytest\pipelines.py
     文件        3623  2017-08-10 17:08  scrapytest\scrapytest\settings.py
     文件         503  2017-08-10 17:27  scrapytest\scrapytest\settings.pyc
     目录           0  2017-08-10 17:27  scrapytest\scrapytest\spiders\
............此处省略11个文件信息