租房API调用

运用python代码结合高德地图App设计的租房app 包含项目代码和爬取的相关数据

from bs4 import BeautifulSoup
from urllib.parse import urljoin
import requests
import csv
import time
import random

#第一页网址
url=“http://gz.58.com/pinpaigongyu/pn/{page}/?minprice=500_5000“
#初始化页码
page=0
# 标记次数【作用：防止网络问题】
sign=0

#打开CSV格式的文件
csv_file=open（“ren.csv““w“）
#创建writer对象指定文件与分隔符
csv_writer=csv.writer（csv_filedelimiter=““）

while True:
    #页码导入
    page=page+1
    print（“[#] 解析网址:“url.format（page=page））
    response=requests.get（url.format（page=page））         #导入url请求
    html=BeautifulSoup（response.text“lxml“）            #解析url
    house_list=html.select（“.list > li“）               #CSS样式选择器
    #判断是否循环结束
    if not house_list:
        #连续三次标记都获取为空说明列表已经读取完毕
        if sign==3:
            print（“     [+]已读取完毕退出.....“）
            break
        else:
            print（“     [+]出现获取不到列表再次尝试获取...“）
            sign+=1  #进行次数标记
            # 加入随机延迟
            time.sleep（random.randint（1 3））
            continue
    #获取租房信息列表成功初始化标记
    sign = 0
    #检列表开始循环读取
    for house in house_list:
        #房屋url超链接
        house_url=urljoin（urlhouse.select（“a“）[0][“href“]）
        # print（“     [*]url:“house_url）
        # 房屋标题
        house_title=str（house.select（“h2“）[0].string）
        # print（“      [*]房屋标题:“house_title）
        # 房屋信息列表
        house_info_list=house_title.split（）

        #地址 【判断不同的情况，第二列是公寓名去第一列作为地址】
        if “公寓“ in house_info_list[1] or “青年社区“ in house_info_list[1]:
            house_location=house_info_list[0].split（“】“）[1]
            # print（“       [*]地址:“house_location）
        else:
            house_location=house_info_list[1]
            # print（“       [*]地址:“house_location）

        house_money=house.select（“.money“）[0].select（“b“）[0].string
        # print（“        [*]房租:“house_money）
        # print（“---------------------------------------------------------- \n“）
        # 写入一行数据
        csv_writer.writerow（[house_title house_location house_money house_url]）

#关闭文件
csv_file.close（）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-11-27 17:47  租房API调用\.idea\
     文件         254  2017-09-09 21:24  租房API调用\.idea\misc.xml
     文件         282  2017-09-09 21:22  租房API调用\.idea\modules.xml
     文件       17202  2017-09-10 15:21  租房API调用\.idea\workspace.xml
     文件         500  2017-09-09 21:24  租房API调用\.idea\租房API调用.iml
     文件        2470  2017-09-11 21:26  租房API调用\crawl.py
     文件        8566  2017-09-10 12:14  租房API调用\index.html
     文件       94990  2017-09-11 21:00  租房API调用\ren.csv
     文件      108647  2017-09-11 21:02  租房API调用\ren_1.csv
     文件          51  2017-09-09 23:00  租房API调用\test.py
     目录           0  2018-11-27 17:47  租房API调用\备份\
     文件        2080  2017-09-10 11:49  租房API调用\备份\crawl.py