分布式爬虫

1.从一个给定的网址中分析其所包含的 URL 并爬取对应的网页，直到爬取完全部 不重复的网页为止。 2.支持分布式爬取，同时记录输出每一个网页的大小。 3.采用多线程结构设计，实现高性能的网络爬虫。

from workers import app

url=‘http://www.csu.edu.cn/‘

if __name__ == ‘__main__‘:
    app.send_task（‘task.thread_crawling‘ args=（url））

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-12-17 20:45  实验三\
     目录           0  2018-12-26 16:21  实验三\.idea\
     文件         201  2018-12-09 04:09  实验三\.idea\misc.xml
     文件         270  2018-12-09 04:03  实验三\.idea\modules.xml
     文件       29367  2018-12-26 16:21  实验三\.idea\workspace.xml
     文件         515  2018-12-09 04:09  实验三\.idea\实验三.iml
     文件         141  2018-12-16 16:20  实验三\exec_crawling.py
     文件        2564  2018-12-16 16:26  实验三\task.py
     目录           0  2018-12-09 05:57  实验三\venv\
     目录           0  2018-12-09 04:03  实验三\venv\Include\
     目录           0  2018-12-09 04:03  实验三\venv\Lib\
     目录           0  2018-12-09 04:05  实验三\venv\Lib\site-packages\
     目录           0  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\
     目录           0  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp-2.3.2.dist-info\
     文件           4  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp-2.3.2.dist-info\INSTALLER
     文件        2372  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp-2.3.2.dist-info\LICENSE.txt
     文件        6052  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp-2.3.2.dist-info\metaDATA
     文件        2263  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp-2.3.2.dist-info\RECORD
     文件           5  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp-2.3.2.dist-info\top_level.txt
     文件         110  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp-2.3.2.dist-info\WHEEL
     文件        4160  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\abstract_channel.py
     文件        3330  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\basic_message.py
     文件       71260  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\channel.py
     文件       25749  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\connection.py
     文件        7164  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\exceptions.py
     文件         178  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\five.py
     文件        5985  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\method_framing.py
     文件        2409  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\platform.py
     文件         348  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\protocol.py
     文件        5758  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\sasl.py
     文件       17257  2018-12-09 04:05  实验三\venv\Lib\site-packages\amqp\serialization.py
............此处省略1610个文件信息