weiboSpider.zip

weiboSpider.zip

import time
import xlrd
import xlwt
from xlutils.copy import copy
from selenium import webdriver
from selenium.webdriver.common.keys import Keys


# 定义一个滚动函数
def Transfer_Clicks（browser）:
    try:
        browser.execute_script（“window.scrollBy（0document.body.scrollHeight）“ ““）
    except:
        pass
    return “Transfer successfully \n“


def isPresent（）:
    temp = 1
    try:
        elems = driver.find_elements_by_css_selector（
            ‘div.line-around.layout-box.mod-pagination > a:nth-child（2） > div > select > option‘）
    except:
        temp = 0
    return temp


def write_excel_xls（path sheet_name value）:
    index = len（value）  # 获取需要写入数据的行数
    workbook = xlwt.Workbook（）  # 新建一个工作簿
    sheet = workbook.add_sheet（sheet_name）  # 在工作簿中新建一个表格
    for i in range（0 index）:
        for j in range（0 len（value[i]））:
            sheet.write（i j value[i][j]）  # 像表格中写入数据（对应的行和列）
    workbook.save（path）  # 保存工作簿
    print（“xls格式表格写入数据成功！“）


def write_excel_xls_append（path value）:
    index = len（value）  # 获取需要写入数据的行数
    workbook = xlrd.open_workbook（path）  # 打开工作簿
    sheets = workbook.sheet_names（）  # 获取工作簿中的所有表格
    worksheet = workbook.sheet_by_name（sheets[0]）  # 获取工作簿中所有表格中的的第一个表格
    rows_old = worksheet.nrows  # 获取表格中已存在的数据的行数
    new_workbook = copy（workbook）  # 将xlrd对象拷贝转化为xlwt对象
    new_worksheet = new_workbook.get_sheet（0）  # 获取转化后工作簿中的第一个表格
    for i in range（0 index）:
        for j in range（0 len（value[i]））:
            new_worksheet.write（i + rows_old j value[i][j]）  # 追加写入数据，注意是从i+rows_old行开始写入
    new_workbook.save（path）  # 保存工作簿
    print（“xls格式表格【追加】写入数据成功！“）


def read_excel_xls（path）:
    workbook = xlrd.open_workbook（path）  # 打开工作簿
    sheets = workbook.sheet_names（）  # 获取工作簿中的所有表格
    worksheet = workbook.sheet_by_name（sheets[0]）  # 获取工作簿中所有表格中的的第一个表格
    for i in range（0 worksheet.nrows）:
        for j in range（0 worksheet.ncols）:
            print（worksheet.cell_value（i j） “\t“ end=““）  # 逐行逐列读取数据
        print（）


def spider（username password driver book_name_xls sheet_name_xls keywords maxWeibo）:

    #driver.set_window_size（1400 800）
    driver.get（“https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=https%3A%2F%2Fm.weibo.cn%2F“）
    time.sleep（3）
    # 登陆
    elem = driver.find_element_by_xpath（“//*[@id=‘loginName‘]“）;
    elem.send_keys（username）
    elem = driver.find_element_by_xpath（“//*[@id=‘loginPassword‘]“）;
    elem.send_keys（password）
    elem = driver.find_element_by_xpath（“//*[@id=‘loginAction‘]“）;
    elem.send_keys（Keys.ENTER）

    # 判断页面是否加载出
    while 1:  # 循环条件为1必定成立
        result = isPresent（）
        print（‘判断页面1成功 0失败  结果是=%d‘ % result）
        if result == 1:
            elems = driver.find_elements_by_css_selector（
                ‘div.line-around.layout-box.mod-pagination > a:nth-child（2） > div > select > option‘）
            # return elems #如果封装函数，返回页面
            bre

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2019-12-15 09:59  weiboSpider\
     文件       14412  2019-07-01 18:43  weiboSpider\README.md
     目录           0  2019-12-15 09:50  weiboSpider\driver\
     文件     8393728  2019-07-12 09:30  weiboSpider\driver\chromedriver.exe
     文件        2671  2019-07-23 17:19  weiboSpider\driver\excelSave.py
     文件       10235  2019-07-23 17:19  weiboSpider\driver\weiboTest.py
     目录           0  2019-12-15 10:00  weiboSpider\locationPic\
     文件          42  2019-07-01 18:43  weiboSpider\requirements.txt
     文件        8012  2019-12-15 09:52  weiboSpider\searchKeyword.py
     文件         724  2019-07-25 15:22  weiboSpider\test.py
     文件       18446  2019-07-30 16:32  weiboSpider\updateWeiboUser.py
     目录           0  2019-12-15 10:00  weiboSpider\weibo\
     文件       12303  2019-12-15 09:54  weiboSpider\weiboLocation.py
     文件      108544  2019-12-15 09:59  weiboSpider\weiboLocation.xls
     文件       10184  2019-12-15 09:53  weiboSpider\weiboSuperWords.py
     文件       19088  2019-10-04 19:12  weiboSpider\weiboUser.py
     文件          27  2019-12-15 09:59  weiboSpider\weiboUsers.csv