• 大小: 10KB
    文件类型: .zip
    金币: 1
    下载: 0 次
    发布日期: 2021-06-06
  • 语言: 其他
  • 标签: 爬虫  

资源简介

爬虫项目完整代码

资源截图

代码片段和文件信息

# coding: u8


import redis


REDIS_HOST = ‘localhost‘
REDIS_PORT = 6379


def clear_stats():
    open(‘./bdmms.log‘ ‘w‘).write(‘‘)
    server = redis.Redis(REDIS_HOST REDIS_PORT)
    for key in [“bdmms:requests“ “bdmms:items“ “bdmms:dupefilter“]:
        server.delete(key)


if __name__ == “__main__“:
    clear_stats()

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2013-04-28 09:26  baidu-music-spider-master\
     文件         331  2013-04-28 09:26  baidu-music-spider-master\.gitignore
     文件           2  2013-04-28 09:26  baidu-music-spider-master\302count.txt
     文件         513  2013-04-28 09:26  baidu-music-spider-master\README.md
     目录           0  2013-04-28 09:26  baidu-music-spider-master\bdmms\
     文件          60  2013-04-28 09:26  baidu-music-spider-master\bdmms\__init__.py
     文件         720  2013-04-28 09:26  baidu-music-spider-master\bdmms\items.py
     文件        1872  2013-04-28 09:26  baidu-music-spider-master\bdmms\models.py
     文件        2010  2013-04-28 09:26  baidu-music-spider-master\bdmms\pipelines.py
     文件        2639  2013-04-28 09:26  baidu-music-spider-master\bdmms\rotate_useragent.py
     文件        1153  2013-04-28 09:26  baidu-music-spider-master\bdmms\settings.py
     目录           0  2013-04-28 09:26  baidu-music-spider-master\bdmms\spiders\
     文件         161  2013-04-28 09:26  baidu-music-spider-master\bdmms\spiders\__init__.py
     文件        5699  2013-04-28 09:26  baidu-music-spider-master\bdmms\spiders\bdmmspider.py
     文件         326  2013-04-28 09:26  baidu-music-spider-master\clear_stats.py
     文件         934  2013-04-28 09:26  baidu-music-spider-master\dog.py
     文件         242  2013-04-28 09:26  baidu-music-spider-master\scrapy.cfg

评论

共有 条评论