资源简介
Python爬取小说网站
代码片段和文件信息
import requests
import pymysql
from lxml import etree
import os
# 设计模式 -- 面向对象 继承、封装
class Spider(object):
def start_request(self):
# 1. 请求网站拿到HTML源代码,抽取小说名、小说链接 创建文件夹
response = requests.get(“https://www.qidian.com/all“)
html = etree.HTML(response.text) # lxml 中的 etree 来解析 HTML
Bigtit_list = html.xpath(‘//div[@class=“book-mid-info“]/h4/a/text()‘)
Bigsrc_list = html.xpath(‘//div[@class=“book-mid-info“]/h4/a/@href‘)
for Bigtit Bigsrc in zip(Bigtit_list Bigsrc_list):
if os.path.exists(Bigtit) == False:
os.mkdir(Bigtit)
self.file_data(Bigtit Bigsrc)
def file_data(self Bigtit Bigsrc):
# 2. 请求小说拿到HTML源代码,抽取章名、章链接
response = requests.get(“http:“ + Bigsrc)
相关资源
- python爬取天气数据并制图分析
- python 爬虫爬取简历
- 基于python的django框架实现的小说网站
- 爬取豆瓣网腾讯招聘并进行可视化分
- python+flask+echarts+mysql实现中国疫情数据
- python爬取漏洞库.zip
- Python项目案例开发从入门到实战源代
- 爬取百度poi数据.py
- Python爬取豆瓣图书信息
- 爬取北上广深的全年天气质量并制图
- 豆瓣电影数据爬取和数据分析可视化
- python爬取淘宝信息并作分析
- 爬取网易云音乐.py
- Python-Boss直聘Python招聘岗位信息爬取和
- selenium爬取谷歌翻译结果
- 利用Python一键爬取一加云服务的所有
- Python爬取拉勾网数据,并数据分析
- python 爬取链家网信息
- python自定义爬虫之爬取豆瓣网和腾讯
- python3爬取网易云歌单
- Python爬取房价信息
- python爬取摩拜单车API数据并做可视化
- 爬虫(爬取加分析)
- 百度搜索批量爬取真实URL
- python简单爬取微博头条标题前N条.tx
- 爬虫爬取高德地图POI数据
- 爬取好大夫网.py
- Python从零基础到大牛项目实战:抓取
- python3.0 爬虫小说
- python爬取360搜索引擎图片,用于物体
评论
共有 条评论