• 大小: 0.01M
    文件类型: .py
    金币: 1
    下载: 0 次
    发布日期: 2021-01-30
  • 语言: Python
  • 标签: 天气  爬虫  采集  

资源简介

爬取天气网数据 显示登陆,爬虫界面并对数据进行统计

资源截图

代码片段和文件信息

# -*- coding:utf-8 -*-
import requests
import mysql.connector
from bs4 import BeautifulSoup
import queue json
import matplotlib.pyplot as plt
import numpy as np
import time
from threading import Thread
from pyquery import PyQuery as pq
import csv
from tkinter import *
import tkinter as tk
start = ‘‘


class TianQiSpider(object):

    def __init__(self):
        self.start_url = ‘http://www.weather.com.cn/textFC/hunan.shtml‘
        self.headers = {
            ‘User-Agent‘: ‘Mozilla/5.0 (Linux; Android 8.0.0; Nexus 6P Build/OPP3.170518.006) AppleWebKit/537.36 (KHTML like Gecko) Chrome/70.0.3538.102 Mobile Safari/537.36‘
        }
        # 构建队列,供线程之间传输数据使用
        self.url_queue = queue.Queue()
        self.html_queue = queue.Queue()
        self.data_queue = qu

评论

共有 条评论