• 大小: 3KB
    文件类型: .zip
    金币: 1
    下载: 0 次
    发布日期: 2021-06-14
  • 语言: Python
  • 标签: Python  爬虫  词云  

资源简介

Python爬虫爬取校内论坛标题,爬取某板块一千多页的标题,并将其中关键词整理成自定义词云图

资源截图

代码片段和文件信息

#encoding=utf-8
#中文词云的提取
#爬虫的模拟登录
import requests
import re
import oscodecs
from bs4 import BeautifulSoup 

#requests,通过cookies实现自动登录,用fiddler抓取登录信息
cookie=‘‘‘BoardList=BoardID=Show; ASPSESSIONIDASRBTSBT=OEMCBLKCNHKEIMBINCFEBEND;\
upNum=0;aspsky=username=next%E9%A3%9E%E7%BF%94%E5%95%8A&usercookies=3&userid=461137\
&useranony=&userhidden=2&password=aecc6c796669a52f‘‘‘

header={
 ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 \
 (KHTML like Gecko) Chrome/45.0.2454.101 Safari/537.36‘
 ‘Connection‘:‘keep-alive‘
 ‘Accept‘:‘text/htmlapplication/xhtml+xmlapplication/xml;q=0.9image/webp*/*;q=0.8‘
 ‘Cookie‘:cookie}

def get_title(url):
    s = requests.session()
    h = s.get(urlheaders=header) #直接登录

    soup = BeautifulSoup(h.text‘html.parser‘)
    qurl = soup.select(‘.tablebody1‘)


    for i in range(8len(qurl)):
        res = qurl[i].text.strip()#res 是字符串
        if(len(res)>9):#去掉活跃度
            res1 = res.split( )#去掉回帖数
            print(res1[0])
            f = codecs.open(“result.txt“‘a‘‘utf8‘)
            f.write(res1[0]+‘\r\n‘)
            f.close

for i in range(11000):
    url = ‘http://www.cc98.org/list.asp?boardid=182&page=‘+str(i)
    get_title(url) #每循环一次,得到一个list


 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-04-16 16:15  python爬虫-词云实战\
     文件        1388  2017-04-16 16:16  python爬虫-词云实战\task6-1.py
     文件        1091  2017-04-16 16:16  python爬虫-词云实战\task6-2.py
     文件        1137  2017-04-16 16:16  python爬虫-词云实战\task6-3.py

评论

共有 条评论