资源简介

通过Python Scrapy爬取链家二手房(爬取样本为近一个月成都二手房成交数据)销售数据传到ES和MySQL程序。可用于ES或MySQL按照行政区域、户型、小区、房龄、挂牌时间等多个维度对成交价格统计分析。

资源截图

代码片段和文件信息

‘‘‘‘‘ 
Created on 2015-8-28 
 
@author: songhw 
‘‘‘  
import scrapy.cmdline  
  
if __name__ == ‘__main__‘:  
    scrapy.cmdline.execute(argv=[‘scrapy‘‘crawl‘‘article‘])  

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-09-21 17:07  tutorial\
     文件         379  2018-05-17 18:35  tutorial\.project
     文件         439  2018-05-17 18:35  tutorial\.pydevproject
     目录           0  2018-09-21 17:07  tutorial\.settings\
     文件         235  2018-05-28 13:41  tutorial\.settings\org.eclipse.core.resources.prefs
     文件       11053  2018-05-17 18:59  tutorial\quotes-1.html
     文件       13734  2018-05-17 18:59  tutorial\quotes-2.html
     文件         259  2018-05-17 18:35  tutorial\scrapy.cfg
     目录           0  2018-09-21 17:07  tutorial\tutorial\
     文件           0  2018-05-17 18:35  tutorial\tutorial\__init__.py
     目录           0  2018-09-21 17:07  tutorial\tutorial\__pycache__\
     文件         145  2018-05-17 18:41  tutorial\tutorial\__pycache__\__init__.cpython-36.pyc
     文件         323  2018-06-26 10:04  tutorial\tutorial\__pycache__\settings.cpython-36.pyc
     文件         183  2018-05-28 13:37  tutorial\tutorial\cmdline.py
     文件        1119  2018-06-05 13:54  tutorial\tutorial\items.py
     文件        3601  2018-05-17 18:35  tutorial\tutorial\middlewares.py
     文件        3660  2018-09-21 17:10  tutorial\tutorial\pipelines.py
     文件        3167  2018-06-25 13:20  tutorial\tutorial\settings.py
     文件          31  2018-06-04 15:47  tutorial\tutorial\snippet.py
     目录           0  2018-09-21 17:07  tutorial\tutorial\spiders\
     文件         161  2018-06-05 11:53  tutorial\tutorial\spiders\__init__.py
     目录           0  2018-09-21 17:07  tutorial\tutorial\spiders\__pycache__\
     文件         153  2018-06-05 11:53  tutorial\tutorial\spiders\__pycache__\__init__.cpython-36.pyc
     文件        4118  2018-05-28 13:30  tutorial\tutorial\spiders\__pycache__\quotes_spider.cpython-36.pyc
     文件        9198  2018-06-05 16:16  tutorial\tutorial\spiders\articleSpider.py
     文件        1651  2018-06-05 11:18  tutorial\tutorial\spiders\pysql.py

评论

共有 条评论