天眼查数据抓取

天眼查公司数据抓取 自动登陆 跳转抓取 翻页 写入数据库

import pymysql
import time
def rongzi（table）:
    # 时间 轮次 估值 金额 比例 投资方 新闻来源
    conn = pymysql.connect（host=‘localhost‘ user=‘root‘ passwd=‘root‘ db=‘luhao35‘ port=3306 charset=‘utf8‘）
    cur = conn.cursor（）  # 获取一个游标
    print（table）


    for i in table:
        sql = “INSERT INTO cmf_ent_rongzi （entident_uid rongzi_timerongzi_luncirongzi_guzhirongzi_jinerongzi_bilirongzi_touzifangrongzi_laiyuan） VALUES （ ‘%s‘ ‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘）“
        try:
            cur.execute（sql % i）
            conn.commit（）
        except:
            conn.rollback（）
    cur.close（）  # 关闭游标
    conn.close（）  # 释放数据库资源

def touzi（table）:
    # 时间 轮次 金额 投资方 产品 地区 行业 业务
    conn = pymysql.connect（host=‘localhost‘ user=‘root‘ passwd=‘root‘ db=‘luhao35‘ port=3306 charset=‘utf8‘）
    cur = conn.cursor（）  # 获取一个游标
    print（table）


    for i in table:
        sql = “INSERT INTO cmf_ent_touzi （entident_uid touzi_timetouzi_luncitouzi_jinetouzi_touzifangtouzi_chanpintouzi_diqutouzi_hangyetouzi_yewu） VALUES （ ‘%s‘ ‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘）“
        try:
            cur.execute（sql % i）
            conn.commit（）
        except:
            conn.rollback（）
    cur.close（）  # 关闭游标
    conn.close（）  # 释放数据库资源

def branch（table）:
    # 名称 职位 公司名称  entuid
    conn = pymysql.connect（host=‘localhost‘ user=‘root‘ passwd=‘root‘ db=‘luhao35‘ port=3306 charset=‘utf8‘）
    cur = conn.cursor（）  # 获取一个游标
    print（table）
    for i in table:
        sql = “INSERT INTO cmf_ent_branch （entident_uid branch_namebranch_farenbranch_statusbranch_time） VALUES （ ‘%s‘ ‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘）“
        try:
            cur.execute（sql % i）
            conn.commit（）
        except:
            conn.rollback（）
    cur.close（）  # 关闭游标
    conn.close（）  # 释放数据库资源

def tminfo（table）:
    # 名称 职位 公司名称  entuid
    conn = pymysql.connect（host=‘localhost‘ user=‘root‘ passwd=‘root‘ db=‘luhao35‘ port=3306 charset=‘utf8‘）
    cur = conn.cursor（）  # 获取一个游标
    print（table）
    for i in table:
        sql = “INSERT INTO cmf_ent_knowledge （entident_uid k_timek_logok_namek_regnok_typek_liucheng） VALUES （ ‘%s‘ ‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘）“
        try:
            cur.execute（sql % i）
            conn.commit（）
        except:
            conn.rollback（）
    cur.close（）  # 关闭游标
    conn.close（）  # 释放数据库资源

def staff（table）:
    # 名称 职位 公司名称  entuid
    conn = pymysql.connect（host=‘localhost‘ user=‘root‘ passwd=‘root‘ db=‘luhao35‘ port=3306 charset=‘utf8‘）
    cur = conn.cursor（）  # 获取一个游标
    print（table）
    for i in table:
        sql = “INSERT INTO cmf_person （ent_uid name roleentNameentUid） VALUES （ ‘%s‘ ‘%s‘‘%s‘‘%s‘‘%s‘）“
        try:
            cur.execute（sql % i）
            conn.commit（）
        except:
            conn.rollback（）
    cur.close（）  # 关闭游标
    conn.close（）  # 释放数据库资源

#
def change（table）:
    # 名称 职位 

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     文件       13228  2018-03-14 15:06  tian.py
     文件        7903  2018-03-14 16:52  conn_mysql.py