Python-Boss直聘Python招聘岗位信息爬取和分析

Python-Boss直聘Python招聘岗位信息爬取和分析

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class WwwZhipinComItem（scrapy.Item）:
    # define the fields for your item here like:
    # name = scrapy.Field（）

    # 职位id
    pid = scrapy.Field（）
    # 职业名称
    positionName = scrapy.Field（）
    # 求职发布者
    interviewer = scrapy.Field（）
    # 工作年限
    workYear = scrapy.Field（）
    # 工资
    salary = scrapy.Field（）
    # 城市
    city = scrapy.Field（）
    # 文凭要求
    education = scrapy.Field（）
    # 公司名称
    companyShortName = scrapy.Field（）
    # 工作领域
    industryField = scrapy.Field（）
    # 上市情况
    financeStage = scrapy.Field（）
    # 公司规模
    companySize = scrapy.Field（）
    # 发布时间
    time = scrapy.Field（）
    # 更新时间
    updated_at = scrapy.Field（）
    # 职位详情
    detail = scrapy.Field（）
    # 工作地点
    location = scrapy.Field（）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2019-02-13 13:13  Boss_zhipin_spider-master\
     文件          33  2019-02-13 13:13  Boss_zhipin_spider-master\.gitattributes
     文件         277  2019-02-13 13:13  Boss_zhipin_spider-master\.gitignore
     文件        2373  2019-02-13 13:13  Boss_zhipin_spider-master\README.md
     目录           0  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\
     文件     1400315  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\jobs_python.json
     目录           0  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\
     文件           0  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\__init__.py
     文件      307723  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\boss招聘.ipynb
     文件        1019  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\items.py
     文件        3609  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\middlewares.py
     目录           0  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\middlewares\
     文件           0  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\middlewares\__init__.py
     文件        5825  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\mongo_connect.py
     文件         533  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\pipelines.py
     文件         185  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\requirements.txt
     文件        3553  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\settings.py
     目录           0  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\spiders\
     文件         161  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\spiders\__init__.py
     文件        5910  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\spiders\boss_zhipin_spider.py
     目录           0  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\wordcloud\
     文件        1381  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\wordcloud\analysis.py
     文件       13394  2019-02-13 13:13  Boss_zhipin_spider-master\www_zhipin_com\www_zhipin_com\wordcloud\stopwords.txt