资源简介
scrapy附带安装指导
代码片段和文件信息
import glob
import six
import pytest
from twisted import version as twisted_version
def _py_files(folder):
return glob.glob(folder + “/*.py“) + glob.glob(folder + “/*/*.py“)
collect_ignore = [
# deprecated or moved modules
“scrapy/conf.py“
“scrapy/stats.py“
“scrapy/project.py“
“scrapy/utils/decorator.py“
“scrapy/statscol.py“
“scrapy/squeue.py“
“scrapy/log.py“
“scrapy/dupefilter.py“
“scrapy/command.py“
“scrapy/linkextractor.py“
“scrapy/spider.py“
# not a test but looks like a test
“scrapy/utils/testsite.py“
] + _py_files(“scrapy/contrib“) + _py_files(“scrapy/contrib_exp“)
if (twisted_version.major twisted_version.minor twisted_version.micro) >= (15 5 0):
collect_ignore += _py_files(“scrapy/xlib/tx“)
if six.PY3:
for line in open(‘tests/py3-ignores.txt‘):
file_path = line.strip()
if file_path and file_path[0] != ‘#‘:
collect_ignore.append(file_path)
@pytest.fixture()
def chdir(tmpdir):
“““Change to pytest-provided temporary directory“““
tmpdir.chdir()
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2017-08-29 14:20 scrapy-1.4\
文件 124 2017-08-29 14:20 scrapy-1.4\.bumpversion.cfg
文件 341 2017-08-29 14:20 scrapy-1.4\.coveragerc
文件 162 2017-08-29 14:20 scrapy-1.4\.gitignore
文件 1881 2017-08-29 14:20 scrapy-1.4\.travis.yml
文件 1273 2017-08-29 14:20 scrapy-1.4\AUTHORS
文件 3236 2017-08-29 14:20 scrapy-1.4\CODE_OF_CONDUCT.md
文件 300 2017-08-29 14:20 scrapy-1.4\CONTRIBUTING.md
文件 154 2017-08-29 14:20 scrapy-1.4\INSTALL
文件 1515 2017-08-29 14:20 scrapy-1.4\LICENSE
文件 366 2017-08-29 14:20 scrapy-1.4\MANIFEST.in
文件 726 2017-08-29 14:20 scrapy-1.4\Makefile.buildbot
文件 18 2017-08-29 14:20 scrapy-1.4\NEWS
文件 2239 2017-08-29 14:20 scrapy-1.4\README.rst
目录 0 2017-08-29 14:20 scrapy-1.4\artwork\
文件 369 2017-08-29 14:20 scrapy-1.4\artwork\README.rst
文件 120204 2017-08-29 14:20 scrapy-1.4\artwork\qlassik.zip
文件 52428 2017-08-29 14:20 scrapy-1.4\artwork\scrapy-blog-logo.xcf
文件 23398 2017-08-29 14:20 scrapy-1.4\artwork\scrapy-logo.jpg
文件 80 2017-08-29 14:20 scrapy-1.4\codecov.yml
文件 1095 2017-08-29 14:20 scrapy-1.4\conftest.py
目录 0 2017-08-29 14:20 scrapy-1.4\debian\
文件 136 2017-08-29 14:20 scrapy-1.4\debian\changelog
文件 2 2017-08-29 14:20 scrapy-1.4\debian\compat
文件 881 2017-08-29 14:20 scrapy-1.4\debian\control
文件 1874 2017-08-29 14:20 scrapy-1.4\debian\copyright
文件 4 2017-08-29 14:20 scrapy-1.4\debian\pyversions
文件 49 2017-08-29 14:20 scrapy-1.4\debian\rules
文件 19 2017-08-29 14:20 scrapy-1.4\debian\scrapy.docs
文件 124 2017-08-29 14:20 scrapy-1.4\debian\scrapy.install
文件 106 2017-08-29 14:20 scrapy-1.4\debian\scrapy.lintian-overrides
............此处省略561个文件信息
- 上一篇:numpy-1.11.2.zip
- 下一篇:智慧城市2.0
相关资源
- scrapy爬虫完整案例.zip
- scrapy简单的多层页面爬取程序
- scrapy官方手册中文 高清完整.pdf版
- 精通Scrapy网络爬虫(完整版)274198
- 《精通Scrapy网络爬虫》刘硕 pdf
- 精通Scrapy网络爬虫完整版
- django完整学习项目,包含集成scrapy爬
- 搜索引擎文本预处理
- 天猫商品评论区爬虫+词云分析
- scrapy ---爬取豌豆荚并分析数据
- CrawlSpider豆瓣图书爬虫
- scrapy_redis-0.6.8-py2.py3-none-any.whl
- 根据关键词使用scrapy爬取今日头条网
- 网络爬虫实现对北京租房信息的爬取
- 使用scrapy爬去伯乐在线文章
- 京东/天猫scrapy爬虫
- 使用scrapy爬取全国所有城市的天气信
- scrapy抓取知乎话题回答
- scrapy爬虫爬取csdn博客新闻列表保存到
- scrapy proxie
- scrapy爬取cnblog博客园
- 51搜学网数据爬取
- 京东爬虫,可抓取京东商品信息和评
- scrapy-redis 分布式爬虫demo 全站
- Scrapy爬虫--爬取食品抽检结果
- scrapy模拟知乎登录并获取知乎用户的
评论
共有 条评论