资源简介
使用python爬虫技术爬取知网的标题和摘要信息。使用了多线程,爬取的数据存储在mysql数据库中。
代码片段和文件信息
# -*- coding: utf-8 -*-
import pymysql
class MySqlDemo():
def __init__(self):
pass
def saveData(selftitleabstractclass1class2FCSC):
# 创建连接
try:
conn = pymysql.connect(host=‘localhost‘ port=3306 user=‘root‘ passwd=‘123456‘ db=‘huarui‘ charset=‘utf8‘ )
# 创建游标
cursor = conn.cursor()
sql = “insert into zw_data(titleabstractclass1class2FCSC) values(%s %s %s %s %s %s)“ # 注意是%s不是s%
result = cursor.execute(sql [titleabstractclass1class2FCSC]) # 列表格式数据
print(result)
conn.commit();
except Exception as e:
conn.rollback()
print(“数据库方面错误“)
print(e);
finally:
# 关闭游标
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
文件 11 2018-10-25 17:15 SeleiumDemo\.idea\.name
文件 159 2018-10-25 17:15 SeleiumDemo\.idea\encodings.xm
文件 687 2018-10-26 19:30 SeleiumDemo\.idea\misc.xm
文件 274 2018-10-25 17:15 SeleiumDemo\.idea\modules.xm
文件 459 2018-10-25 17:17 SeleiumDemo\.idea\SeleiumDemo.iml
文件 42315 2018-12-08 20:44 SeleiumDemo\.idea\workspace.xm
文件 29287 2018-11-10 12:21 SeleiumDemo\ghostdriver.log
文件 2583 2018-10-28 20:36 SeleiumDemo\SaveData.py
文件 6577 2018-12-08 20:35 SeleiumDemo\Spider.py
文件 3302 2018-12-08 20:29 SeleiumDemo\ThreadDemo.py
文件 2687 2018-10-29 18:49 SeleiumDemo\ZW.py
文件 2318 2018-10-28 21:07 SeleiumDemo\__pycache__\SaveData.cpython-35.pyc
文件 4125 2018-10-29 19:10 SeleiumDemo\__pycache__\Spider.cpython-35.pyc
文件 1574 2018-10-29 18:50 SeleiumDemo\__pycache__\ZW.cpython-35.pyc
目录 0 2018-12-08 20:44 SeleiumDemo\.idea
目录 0 2018-10-29 19:10 SeleiumDemo\__pycache__
目录 0 2018-12-08 20:35 SeleiumDemo
----------- --------- ---------- ----- ----
96358 17
相关资源
- 煎蛋网图片爬虫
- 网易云音乐爬虫(亲测通过)
- 分布式scrapy-redis爬虫!糗事百科
- 用Python写网络爬虫.pdf(共35页)
- python爬虫-scrapy框架
- python 爬虫爬取京东代码
- 《用python写网络爬虫》pdf
- python爬虫爬取当当网
- 登陆需要密码以及图片验证的网站 如
- Nodejs实现的一个磁力链接爬虫
- PYTHON爬虫示例21345
- python 爬虫(pyspider)
- python3爬虫采集淘宝商品数据
- python 爬取豌豆荚APP的爬虫
- python 淘宝爬虫抓取天猫数据
-
python 微博爬虫 (lxm
l) - python微博爬虫(scrapy)
- 最简单爬虫
- python 天气网爬虫(爬取天气预报)
- Python网络爬虫与信息提取-北京理工大
- 《用python写网络爬虫》随书源码
- python大文件(爬虫大体积文件模块)
- python 爬虫入门级(BeautifulSoup爬取最好
- 爬虫爬取携程机票信息
- QQ空间爬虫QQSpider源码
- python爬虫(爬取新浪微博数据)
- python爬取豆瓣影评
- 《Python网络爬虫实战(胡松涛编著)
- python爬虫百度图片(将网络图片采集
- python千锋教育视频爬虫
评论
共有 条评论