资源简介
Python爬虫爬取校内论坛标题,爬取某板块一千多页的标题,并将其中关键词整理成自定义词云图
代码片段和文件信息
#encoding=utf-8
#中文词云的提取
#爬虫的模拟登录
import requests
import re
import oscodecs
from bs4 import BeautifulSoup
#requests,通过cookies实现自动登录,用fiddler抓取登录信息
cookie=‘‘‘BoardList=BoardID=Show; ASPSESSIONIDASRBTSBT=OEMCBLKCNHKEIMBINCFEBEND;\
upNum=0;aspsky=username=next%E9%A3%9E%E7%BF%94%E5%95%8A&usercookies=3&userid=461137\
&useranony=&userhidden=2&password=aecc6c796669a52f‘‘‘
header={
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 \
(KHTML like Gecko) Chrome/45.0.2454.101 Safari/537.36‘
‘Connection‘:‘keep-alive‘
‘Accept‘:‘text/htmlapplication/xhtml+xmlapplication/xml;q=0.9image/webp*/*;q=0.8‘
‘Cookie‘:cookie}
def get_title(url):
s = requests.session()
h = s.get(urlheaders=header) #直接登录
soup = BeautifulSoup(h.text‘html.parser‘)
qurl = soup.select(‘.tablebody1‘)
for i in range(8len(qurl)):
res = qurl[i].text.strip()#res 是字符串
if(len(res)>9):#去掉活跃度
res1 = res.split( )#去掉回帖数
print(res1[0])
f = codecs.open(“result.txt“‘a‘‘utf8‘)
f.write(res1[0]+‘\r\n‘)
f.close
for i in range(11000):
url = ‘http://www.cc98.org/list.asp?boardid=182&page=‘+str(i)
get_title(url) #每循环一次,得到一个list
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2017-04-16 16:15 python爬虫-词云实战\
文件 1388 2017-04-16 16:16 python爬虫-词云实战\task6-1.py
文件 1091 2017-04-16 16:16 python爬虫-词云实战\task6-2.py
文件 1137 2017-04-16 16:16 python爬虫-词云实战\task6-3.py
相关资源
- iris.csv数据集和python代码
- crowd counting test single image demo
- kNN(python实现)
- ds18x20_onewire.rar
- python生成扭曲带干扰验证码
- 基于OpenCV 3 LBPH 人脸识别 Python代码
- Python标准库源代码.zip
- 信息隐藏——Python语言幻方置乱实现
- train_loss_acc.py
- 可视化函数绘图计算器
- Bayesian Network贝叶斯网络 Python Program
- Python WSQ行情订阅演示案例.rar
- python网络爬虫爬取Boss直聘代码
- generate_train_val_test_txt.py
- 在python环境下成功实现视频分帧,并
- 传染病SEIR传播动力模型python代码
- 船舶AIS数据轨迹可视化python代码.py
- python背单词小程序
- 深度信念网络分类算法python程序.doc
- Python爬取论文标题、作者、摘要等信
- python爬虫的随机请求头+随机代理
- python实现种子填充算法.zip
- python实现有序边表算法.zip
- 纯python实现mnist手写体识别.zip
- Python爬取豆瓣图书信息并保存到本地
- 爬取汽车之家指定配置信息
- 汽车之家图片爬取
- python实现有向图单源最短路径迪杰斯
- 文件夹下所有图片的读取以及显示p
- python 实现图片像素大小设置
评论
共有 条评论