scrapy-redis 分布式爬虫demo 全站

分布式爬虫的一个demo，对186信息网站全站爬取。仅提供学习。其他责任不在本人。一小时7-8万有效

from scrapy.cmdline import execute

execute（[‘scrapy‘ ‘crawl‘ ‘master1886‘]）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件         15  2018-08-13 13:38  master1886\.git\COMMIT_EDITMSG

     文件        317  2018-08-13 13:38  master1886\.git\config

     文件         73  2018-08-13 13:38  master1886\.git\description

     文件         23  2018-08-13 13:38  master1886\.git\HEAD

     文件        478  2018-08-13 13:38  master1886\.git\hooks\applypatch-msg.sample

     文件        896  2018-08-13 13:38  master1886\.git\hooks\commit-msg.sample

     文件        189  2018-08-13 13:38  master1886\.git\hooks\post-update.sample

     文件        424  2018-08-13 13:38  master1886\.git\hooks\pre-applypatch.sample

     文件       1642  2018-08-13 13:38  master1886\.git\hooks\pre-commit.sample

     文件       1348  2018-08-13 13:38  master1886\.git\hooks\pre-push.sample

     文件       4951  2018-08-13 13:38  master1886\.git\hooks\pre-rebase.sample

     文件       1239  2018-08-13 13:38  master1886\.git\hooks\prepare-commit-msg.sample

     文件       3610  2018-08-13 13:38  master1886\.git\hooks\update.sample

     文件       1197  2018-08-13 13:38  master1886\.git\index

     文件        240  2018-08-13 13:38  master1886\.git\info\exclude

     文件        152  2018-08-13 13:38  master1886\.git\logs\HEAD

     文件        152  2018-08-13 13:38  master1886\.git\logs\refs\heads\master

     文件        134  2018-08-13 13:38  master1886\.git\logs\refs\remotes\origin\master

     文件         89  2018-08-13 13:38  master1886\.git\objects\05\9ac3ad2c5359926c254922deeedf389c08eb07

     文件        195  2018-08-13 13:38  master1886\.git\objects\1f\fb5712779bb43b12a2f30d07cf51abdf7eaf7f

     文件        126  2018-08-13 13:38  master1886\.git\objects\31\21f29bfd258c5e60f641aeb2c6f49613431bf6

     文件        352  2018-08-13 13:38  master1886\.git\objects\38\00f991c90bb904d83a586338ab6e8ee0fda806

     文件        116  2018-08-13 13:38  master1886\.git\objects\39\8d5a3c103bb69ab0a3a6fe44a14c0a904f8d73

     文件        276  2018-08-13 13:38  master1886\.git\objects\59\bfad08fc856c19a043e6cf2415971b05bd2493

     文件        336  2018-08-13 13:38  master1886\.git\objects\65\05bf01596ddf232bf1e4b94364a09f0af79ea5

     文件         68  2018-08-13 13:38  master1886\.git\objects\b0\24eac989596a35e6974abfd582ff9a160a9f03

     文件        223  2018-08-13 13:38  master1886\.git\objects\b8\964c564d794312baa47095e28524ba2a0968a9

     文件         81  2018-08-13 13:38  master1886\.git\objects\c0\1678e4424c4e5d155661869dd4006be62a33bc

     文件         57  2018-08-13 13:38  master1886\.git\objects\ca\07986d8f09c3796d12c390873123a86c9c8ab8

     文件       1746  2018-08-13 13:38  master1886\.git\objects\cc\532623037cf5808875c0aa083849209a6d34ff

............此处省略202个文件信息