资源简介
python网络爬虫,爬取Boss直聘网招聘信息,可输入城市和职位进行爬取,默认学历为本科可以修改
代码片段和文件信息
# -*- coding: utf-8 -*-
“““
Created on Tue Jul 23 17:12:30 2019
@author: Administrator
“““
import urllib.request
import urllib.parse
import re
import csv
import time
#https://www.zhipin.com/c101130100/d_203/?query=Java&page=1&ka=page-1
class ZhaopinSpyder:
def __init__(self):
self.baseurl = “https://www.zhipin.com/c“
self.headers = {“user-Agent“:“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML like Gecko) Chrome/14.0.835.163 Safari/535.1“}
self.name = ““
self.city = ““
#self.page = 0
# 获取页面
def getPage(selfurl):
req = urllib.request.Request(urlheaders=self.headers)
res = urllib.request.urlopen(req)
html = res.read().decode(“utf-8“)
#print(html)
self.parsePage(html)
# 解析页面
def parsePage(self html):
p = re.compile(r‘.*?tle“>(.*?).*?(.*?).*?(.*?).*?.*?target=“_blank“>(.*?)
.*?‘re.S)
rList = p.findall(html)
if bool(rList):
#print(rList)
self.writePage(rList)
# 保存数据
def writePage(selfList):
f = open(self.city+“_“+self.name+“.csv““a“newline=““encoding=“utf-8“)
write = csv.
相关资源
- Python-BDD100K大规模多样化驾驶视频数据
- Instant Pygame for Python Game Development How
- Biopython Tutorial
- Think Python 2nd
- 一个小小的表白程序(python)
- Python课堂笔记(高淇400集第一季)
- 二级考试python试题12套(包括选择题和
- pywin32_python3.6_64位
- python+ selenium教程
- PycURL(Windows7/Win32)Python2.7安装包 P
- 英文原版-Scientific Computing with Python
- 7.图像风格迁移 基于深度学习 pyt
- 基于Python的学生管理系统
- A Byte of Python(简明Python教程)(第
- Python实例174946
- Python 人脸识别
- Python 人事管理系统
- 一个多线程智能爬虫,爬取网站小说
- 基于python-flask的个人博客系统
- 计算机视觉应用开发流程
- python 调用sftp断点续传文件
- python socket游戏
- 基于Python爬虫爬取天气预报信息
- python函数编程和讲解
- 顶点小说单本书爬虫.py
- Python开发的个人博客
- 基于python的三层神经网络模型搭建
- python实现自动操作windows应用
- python人脸识别(opencv)
- python 绘图(方形、线条、圆形)
评论
共有 条评论