资源简介
scrapy模拟知乎登录并获取知乎用户的信息,模拟登录时使用selenium ,数据存储在mongoDB中
代码片段和文件信息
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class LoginscrapyItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
pass
class UserItem(scrapy.Item):
“““
定义了响应报文中json的字段
“““
collection = ‘zhihuUser‘
is_followed = scrapy.Field()
avatar_url_template = scrapy.Field()
user_type = scrapy.Field()
answer_count = scrapy.Field()
is_following = scrapy.Field()
url = scrapy.Field()
type = scrapy.Field()
url_token = scrapy.Field()
id = scrapy.Field()
allow_message = scrapy.Field()
articles_count = scrapy.Field()
is_blocking = scrapy.Field()
name = scrapy.Field()
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2019-04-27 09:30 loginScrapy\
目录 0 2019-04-27 10:02 loginScrapy\.idea\
目录 0 2019-04-25 16:41 loginScrapy\.idea\inspectionProfiles\
文件 228 2019-04-25 16:41 loginScrapy\.idea\inspectionProfiles\profiles_settings.xm
文件 398 2019-04-25 16:41 loginScrapy\.idea\loginScrapy.iml
文件 258 2019-04-26 17:12 loginScrapy\.idea\misc.xm
文件 274 2019-04-25 16:41 loginScrapy\.idea\modules.xm
文件 39070 2019-04-27 10:02 loginScrapy\.idea\workspace.xm
目录 0 2019-04-26 22:42 loginScrapy\log\
文件 145784 2019-04-26 22:47 loginScrapy\log\scrapy_2019_4_26.log
目录 0 2019-04-27 10:02 loginScrapy\loginScrapy\
文件 0 2019-01-29 08:32 loginScrapy\loginScrapy\__init__.py
目录 0 2019-04-26 22:42 loginScrapy\loginScrapy\__pycache__\
文件 147 2019-04-25 16:41 loginScrapy\loginScrapy\__pycache__\__init__.cpython-36.pyc
文件 1018 2019-04-26 16:35 loginScrapy\loginScrapy\__pycache__\items.cpython-36.pyc
文件 7853 2019-04-26 19:48 loginScrapy\loginScrapy\__pycache__\middlewares.cpython-36.pyc
文件 1650 2019-04-26 19:07 loginScrapy\loginScrapy\__pycache__\pipelines.cpython-36.pyc
文件 940 2019-04-26 22:42 loginScrapy\loginScrapy\__pycache__\settings.cpython-36.pyc
文件 1066 2019-04-26 16:34 loginScrapy\loginScrapy\items.py
文件 10508 2019-04-27 10:02 loginScrapy\loginScrapy\middlewares.py
文件 1084 2019-04-26 19:07 loginScrapy\loginScrapy\pipelines.py
文件 3865 2019-04-26 22:41 loginScrapy\loginScrapy\settings.py
目录 0 2019-04-26 21:23 loginScrapy\loginScrapy\spiders\
文件 161 2019-01-29 08:32 loginScrapy\loginScrapy\spiders\__init__.py
目录 0 2019-04-26 21:24 loginScrapy\loginScrapy\spiders\__pycache__\
文件 155 2019-04-25 16:41 loginScrapy\loginScrapy\spiders\__pycache__\__init__.cpython-36.pyc
文件 1997 2019-04-25 17:45 loginScrapy\loginScrapy\spiders\__pycache__\renren.cpython-36.pyc
文件 1576 2019-04-25 18:11 loginScrapy\loginScrapy\spiders\__pycache__\renren1.cpython-36.pyc
文件 1404 2019-04-25 17:49 loginScrapy\loginScrapy\spiders\__pycache__\zhihu.cpython-36.pyc
文件 1671 2019-04-25 19:41 loginScrapy\loginScrapy\spiders\__pycache__\zhihu1.cpython-36.pyc
文件 2962 2019-04-26 21:24 loginScrapy\loginScrapy\spiders\__pycache__\zhihu2.cpython-36.pyc
............此处省略7个文件信息
相关资源
- 易语言:139邮箱登录器每天免费发短
- 基于vue的移动端的商城,很全,购物
- QT设计图标登录及三个游戏设计潜艇游
- Android登录界面源码delphi xe10
- hbuilder 源码 HBuilder登入注册界面.rar
- CSS+DIV模仿小米登录页面
- 简单三层架构图书管理实现(增删改
- springboot+oauth2单点登录.rar
- IOS Storyboard使用-模拟登录、注册、混
- 仿知乎问答社区小程序
- 远程视频监控用户登录验证CGI
- scrapy爬取cnblog博客园
- Delphi开发的大华摄像头二次开发Demo,
- io流模拟实现银行登录,注册,存取转
- 知乎答题王前端
- 迪文DGUSIIos密码登录与改写设计
- layui下的登录页首页
- 微信小程序登录demo
- Spring Cloud 集成OAuth2实现身份认证和单
- 163邮箱批量登录维护工具v1.0简体中文
- Spring MVC入门(登录)
-
if
rame+Cookie实现简单的单点登录 - 三层架构登录web
- 51搜学网数据爬取
- DNF登陆器DELPHI源码
- Admin管理员登录界面
- ssm登录注册发送邮件
- 安卓登录系统
- XP.W7登录密码查看器
- 个人博客系统用户登录,文章发表及
评论
共有 条评论