资源简介
代码片段和文件信息
import requests # 网络请求模块
from bs4 import BeautifulSoup # 网页解析模块
import csv # csv文件模块
def get_html():
# 网址
url = ‘https://bj.58.com/wangjing/pinpaigongyu/pn/{page}/?minprice=2000_3000‘
# 初始化页码
page = 0
# 打开re.csv文件如果没有就创建一个,并设置写入模式
csv_file = open(‘renting.csv‘ ‘w‘ encoding=‘utf_8_sig‘ newline=‘‘)
# 创建writer对象
writer = csv.writer(csv_file dialect=‘excel‘)
# 循环所有页面
while True:
page += 1
# 抓取目标页面
response = requests.get(url.format(page=page))
response.encoding = ‘utf-8‘ # 设置编码方式
# 创建一个BeautifulSoup对象,获取页面正文
html = BeautifulSoup(response.text “html.parser“)
# 获取当前页面的房子信息
house_list = html.select(“.list > li“)
print(‘正在下载网页‘ url.format(page=page)
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
文件 51 2019-02-15 08:49 readme.txt
文件 2577408 2019-01-22 11:23 程序配置说明.doc
文件 2397696 2019-04-08 10:01 高德地图+58租房的程序使用说明.doc
文件 2749 2019-01-22 11:23 golden_map+58rental\crawl.py
文件 8813 2019-04-01 09:36 golden_map+58rental\index.html
文件 40650 2019-01-22 11:23 golden_map+58rental\renting.csv
文件 270 2019-04-04 09:40 golden_map+58rental\web.py
文件 431 2019-01-22 11:23 golden_map+58rental\.idea\golden_map+58rental.iml
文件 185 2019-01-22 11:23 golden_map+58rental\.idea\misc.xm
文件 290 2019-01-22 11:23 golden_map+58rental\.idea\modules.xm
文件 12217 2019-04-04 09:40 golden_map+58rental\.idea\workspace.xm
相关资源
- Django2 文件上传及功能支持中文名文件
- 深度学习入门:基于Python的理论与实
- 《Python3爬虫、数据清洗与可视化》
- IDA.Pro.v7.2_Hgl-Green(Python)+7.0(x86ar
- python项目开发案例集锦
- 《Python开发实战》(PDF版高清扫描版
- opencv_python官方中文教程源码修改版
- Python学习手册(第3版)-带目录完整版
- python2.7:scipy-0.19.0-win64
- Python Cookbook 第3版 中文版.pdf
-
ba
semap-1.2.1-cp37-cp37m-win_amd64.whl - 《Python源码剖析-深度探索动态语言核
- MDNETpython实现
- Python + PyQt5 + MySQL模拟QQ的聊天与娱乐
- 《Python深度学习》2018中文
- opencv3计算机视觉 python实现
- python项目web
- 目标跟踪CSK算法python实现
- Pycharm+Django+Python+MySQL开发
- Python自动化运维技术与最佳实践
- Python学习手册.mobi kindle电子书 带源码
- OpenCV 3-python语言
- Python基础教程 Beginning Python From Novic
- Selenium2 Python自动化测试实战第二版高
- 《selenium2 python 自动化测试实战第二版
- opencv_python-3.4.0+contrib-cp36-cp36m-win_amd
- 机电控制python
- scipy-1.0.0-cp36-none-win_amd64.whl
- python2.7、numpy、matplotlib在windows 64位平
- 《Python深度学习》中文版pdf+英文版
评论
共有 条评论