资源简介
多线程下载网站图片
代码片段和文件信息
#python2.7 打造多线程网络爬虫
#库:threading 安装lxmlrequestsbs4(beautifulsoup 4)
# -*- coding:utf-8 -*-
import requeststhreading#多线程
from lxml import etree#解析方式
from bs4 import BeautifulSoup
#获取源码
def get_html(url):
#url=‘https://www.doutula.com/article/list/?page=1‘
headers={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.2595.400 QQBrowser/9.6.10872.400‘}
request=requests.get(url=urlheaders=headers)
response=request.content#获取源码
#print response
return response
#找到图片的超链接获取源码
#获取外页 获取超链接
def get_img_html(html):
soup=BeautifulSoup(html‘lxml‘)#解析网页方式自带html.parser
all_a=soup.find_all(‘a‘class_=‘list-group-item‘)#找到a标签
for i in all_a:#i是链接
img_html=get_html(i[‘href‘])#获取超链接源码
g
- 上一篇:爬取网站信息并写入Excel
- 下一篇:python 微信机器人 源码
相关资源
- 多线程socket编程
- python批量图片(pysnooper)
- python 整站源码
- python 爬虫(pyspider)
- python 猜成语游戏
- python 搜狗音乐
- python音乐小工具源码(tkinter)
- Python实现百度文库
- python实现 qq音乐/网易音乐/虾米/酷狗
- python无损音乐(qq音乐)
- python 抖音视频
- python网易云音乐(仅供参考学习)
- :Python实时视频采集(opencv)
- python百度图片
- 趣学Python编程_PDF电子书+带书签目录
- python大文件(爬虫大体积文件模块)
- 高德地图58租房(项目)-Python项目开
- 抖音视频无水印解析地址(亲测通过
- 树莓派多线程实时人脸检测
- sasl-0.1.3-cp27-none-win_amd64.whl
- fromTxtToFindText.py
- python-devel-2.7.5-34.el7.x86_64.rpm
- HTMLTestRunner中文版Python3.X
- python爬虫批量apk文件
- 官网python3.5.2中内置的python3.dll
- Python打造网易云音乐器
- python-wxpy.zip
- 用python写的百度语音api实现语音识别
评论
共有 条评论