资源简介
Python脚本用于获取百度搜索结果中的标题和URL。
输入:百度关键词及搜索页面数
输出:标题和URL
代码片段和文件信息
#encoding: utf-8
#采集SERP搜索结果标题
import urllib2
from bs4 import BeautifulSoup
#获取title和url
def GettitleUrl(urlres_titleres_urlbShowRes):
try:
##获取Html源码
req = urllib2.Request(url)
response= urllib2.urlopen(reqNone3)#设置超时时间
data = response.read()#.decode(‘utf-8‘‘ignore‘)
##提取搜索结果SERP的标题和链接
soup = BeautifulSoup(‘‘.join(data)‘lxml‘)
for i in soup.findAll(“h3“):
temp_title = i.a.text.encode(“utf-8“)
temp_url = i.a.get(‘href‘)
if bShowRes==1:
print temp_title
print temp_url
res_title.append(temp_title)
res_url.append(temp_url)
except:
pass
相关资源
- Python-BDD100K大规模多样化驾驶视频数据
- Instant Pygame for Python Game Development How
- Biopython Tutorial
- Think Python 2nd
- 一个小小的表白程序(python)
- Python课堂笔记(高淇400集第一季)
- 二级考试python试题12套(包括选择题和
- pywin32_python3.6_64位
- python+ selenium教程
- PycURL(Windows7/Win32)Python2.7安装包 P
- 英文原版-Scientific Computing with Python
- 7.图像风格迁移 基于深度学习 pyt
- 基于Python的学生管理系统
- A Byte of Python(简明Python教程)(第
- Python实例174946
- Python 人脸识别
- Python 人事管理系统
- 基于python-flask的个人博客系统
- 计算机视觉应用开发流程
- python 调用sftp断点续传文件
- python socket游戏
- 基于Python爬虫爬取天气预报信息
- python函数编程和讲解
- Python开发的个人博客
- 基于python的三层神经网络模型搭建
- python实现自动操作windows应用
- python人脸识别(opencv)
- python 绘图(方形、线条、圆形)
- python疫情卡UN管控
- python 连连看小游戏源码
评论
共有 条评论