• 大小: 3KB
    文件类型: .zip
    金币: 1
    下载: 0 次
    发布日期: 2021-01-10
  • 语言: Python
  • 标签: python3  、爬虫  

资源简介

python爬虫代码,用于下载网络图片到本地保存

资源截图

代码片段和文件信息

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import os
import re
import urllib
import json
import socket
import urllib.request
import urllib.parse
import urllib.error
# 设置超时
import time

timeout = 5
socket.setdefaulttimeout(timeout)


class Crawler:
    # 睡眠时长
    __time_sleep = 0.1
    __amount = 0
    __start_amount = 0
    __counter = 0
    headers = {‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0‘}

    # 获取图片url内容等
    # t 下载图片时间间隔
    def __init__(self t=0.1):
        self.time_sleep = t

    # 保存图片
    def __save_image(self rsp_data word):

        if not os.path.exists(“./“ + word):
            os.mkdir(“./“ + word)
        # 判断名字是否重复,获取图片长度
        self.__counter = len(os.listdir(‘./‘ + word)) + 1
        for image_info in rsp_data[‘img

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-11-20 06:29  BaiduImageSpider-master\
     文件           7  2017-11-20 06:29  BaiduImageSpider-master\.gitignore
     文件         535  2017-11-20 06:29  BaiduImageSpider-master\README.md
     文件        3934  2017-11-20 06:29  BaiduImageSpider-master\index.py

评论

共有 条评论