资源简介

对国内主流应用市场进行爬虫,包含了爬虫的整个程序,并且可爬虫相关app的简介

资源截图

代码片段和文件信息

# -*- coding: utf-8 -*-
“““
Created on Mon Jul 30 09:45:39 2018

@author: songbo
“““
#import sys  

#reload(sys)  
#sys.setdefaultencoding(‘utf8‘)   

import requests
from bs4 import BeautifulSoup

test_url = ‘https://www.wandoujia.com/search/2599296640655109431‘
#headers = {‘Upgrade-Insecure-Requests‘:‘1‘
#    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/58.0.3029.110 Safari/537.36‘
#    ‘Accept‘:‘text/htmlapplication/xhtml+xmlapplication/xml;q=0.9image/webp*/*;q=0.8‘
#    ‘Accept-Encoding‘:‘gzip deflate sdch br‘
#    ‘Accept-Language‘:‘zh-CNzh;q=0.8‘
#    }
def seach_content(htmlgoal):
    soup = BeautifulSoup(html‘html.parser‘)
    seach_soup=soup.find(‘div‘ attrs={‘class‘:“header“})
    se

评论

共有 条评论