• 大小: 17KB
    文件类型: .rar
    金币: 1
    下载: 0 次
    发布日期: 2021-01-06
  • 语言: Python
  • 标签: 知网  爬虫  python  

资源简介

使用python爬虫技术爬取知网的标题和摘要信息。使用了多线程,爬取的数据存储在mysql数据库中。

资源截图

代码片段和文件信息

# -*- coding: utf-8 -*-
import pymysql
class MySqlDemo():
    def __init__(self):
        pass
    def saveData(selftitleabstractclass1class2FCSC):
        # 创建连接
        try:
            conn = pymysql.connect(host=‘localhost‘ port=3306 user=‘root‘ passwd=‘123456‘ db=‘huarui‘ charset=‘utf8‘ )
            # 创建游标
            cursor = conn.cursor()

            sql = “insert into zw_data(titleabstractclass1class2FCSC) values(%s %s %s %s %s %s)“  # 注意是%s不是s%
            result = cursor.execute(sql [titleabstractclass1class2FCSC])  # 列表格式数据
            print(result)
            conn.commit();
        except Exception as e:
            conn.rollback()
            print(“数据库方面错误“)
            print(e);
        finally:
            # 关闭游标
        

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件         11  2018-10-25 17:15  SeleiumDemo\.idea\.name

     文件        159  2018-10-25 17:15  SeleiumDemo\.idea\encodings.xml

     文件        687  2018-10-26 19:30  SeleiumDemo\.idea\misc.xml

     文件        274  2018-10-25 17:15  SeleiumDemo\.idea\modules.xml

     文件        459  2018-10-25 17:17  SeleiumDemo\.idea\SeleiumDemo.iml

     文件      42315  2018-12-08 20:44  SeleiumDemo\.idea\workspace.xml

     文件      29287  2018-11-10 12:21  SeleiumDemo\ghostdriver.log

     文件       2583  2018-10-28 20:36  SeleiumDemo\SaveData.py

     文件       6577  2018-12-08 20:35  SeleiumDemo\Spider.py

     文件       3302  2018-12-08 20:29  SeleiumDemo\ThreadDemo.py

     文件       2687  2018-10-29 18:49  SeleiumDemo\ZW.py

     文件       2318  2018-10-28 21:07  SeleiumDemo\__pycache__\SaveData.cpython-35.pyc

     文件       4125  2018-10-29 19:10  SeleiumDemo\__pycache__\Spider.cpython-35.pyc

     文件       1574  2018-10-29 18:50  SeleiumDemo\__pycache__\ZW.cpython-35.pyc

     目录          0  2018-12-08 20:44  SeleiumDemo\.idea

     目录          0  2018-10-29 19:10  SeleiumDemo\__pycache__

     目录          0  2018-12-08 20:35  SeleiumDemo

----------- ---------  ---------- -----  ----

                96358                    17


评论

共有 条评论