python爬虫Scrapy（一）-我爬了boss数据

Python，使用Scrapy爬取Boss直聘数据。 资源讲解地址：https://www.cnblogs.com/swarmbees/p/10011898.html

# -*- coding:utf-8 -*-

from pymongo import MongoClient

class my_connect（object）:
    def __init__（self settings）:
        try:
            self.conn = MongoClient（settings[“ip“] settings[“port“]）
        except Exception as e:
            print（e）
        self.db = self.conn[settings[“db_name“]]
        self.my_set = self.db[settings[“set_name“]]

    def insert（self dic）:
        self.my_set.insert（dic）

    def update（self dic newdic）:
        self.my_set.update（dic newdic）

    def delete（self dic）:
        self.my_set.remove（dic）

    def dbfind（self dic）:
        return self.my_set.find（dic）

    def setTableName（self name）:
        #print（u‘修改当前使用集合:{}‘.format（name））
        self.my_set = self.db[name]
‘‘‘
settings = {
    “ip“:‘127.168.0.1‘   #ip
    “port“:27017           #端口
    “db_name“ : “renlu“    #数据库名字
    “set_name“ : “test“   #集合名字
}

mongo = my_connect（settings）
‘‘‘

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-11-14 15:21  my_mongodb\
     目录           0  2018-11-16 14:24  my_mongodb\__pycache__\
     文件        1335  2018-11-16 14:24  my_mongodb\__pycache__\my_connect.cpython-36.pyc
     文件         989  2018-11-16 14:23  my_mongodb\my_connect.py
     文件         982  2018-11-14 16:41  my_mongodb\operate_mongodb.py
     目录           0  2018-11-13 17:35  www_zhipin_com\
     文件     1180419  2018-11-13 17:47  www_zhipin_com\item.json
     文件      227069  2018-11-13 17:33  www_zhipin_com\item——上海.json
     文件         271  2018-11-13 16:49  www_zhipin_com\scrapy.cfg
     目录           0  2018-11-13 16:49  www_zhipin_com\www_zhipin_com\
     文件           0  2018-11-08 15:18  www_zhipin_com\www_zhipin_com\__init__.py
     目录           0  2018-11-16 14:24  www_zhipin_com\www_zhipin_com\__pycache__\
     文件         153  2018-11-13 16:55  www_zhipin_com\www_zhipin_com\__pycache__\__init__.cpython-36.pyc
     文件         627  2018-11-16 14:08  www_zhipin_com\www_zhipin_com\__pycache__\items.cpython-36.pyc
     文件        1572  2018-11-16 14:24  www_zhipin_com\www_zhipin_com\__pycache__\pipelines.cpython-36.pyc
     文件         388  2018-11-13 17:31  www_zhipin_com\www_zhipin_com\__pycache__\settings.cpython-36.pyc
     文件        1392  2018-11-16 14:05  www_zhipin_com\www_zhipin_com\items.py
     文件        3609  2018-11-13 16:49  www_zhipin_com\www_zhipin_com\middlewares.py
     文件        2263  2018-11-16 14:23  www_zhipin_com\www_zhipin_com\pipelines.py
     文件        3183  2018-11-13 17:29  www_zhipin_com\www_zhipin_com\settings.py
     目录           0  2018-11-13 16:56  www_zhipin_com\www_zhipin_com\spiders\
     文件         161  2018-11-08 15:18  www_zhipin_com\www_zhipin_com\spiders\__init__.py
     目录           0  2018-11-16 14:40  www_zhipin_com\www_zhipin_com\spiders\__pycache__\
     文件         161  2018-11-13 16:56  www_zhipin_com\www_zhipin_com\spiders\__pycache__\__init__.cpython-36.pyc
     文件        4307  2018-11-16 14:40  www_zhipin_com\www_zhipin_com\spiders\__pycache__\zhipin.cpython-36.pyc
     文件        6381  2018-11-16 15:38  www_zhipin_com\www_zhipin_com\spiders\zhipin.py