python新浪微博爬虫

python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫python新浪微博爬虫

# coding=utf-8

“““  
Created on 2016-04-24 @author: Eastmount

功能: 爬取新浪微博用户的信息及微博评论
网址：http://weibo.cn/ 数据量更小 相对http://weibo.com/

“““    

import time            
import re            
import os    
import sys  
import codecs  
import shutil
import urllib 
from selenium import webdriver        
from selenium.webdriver.common.keys import Keys        
import selenium.webdriver.support.ui as ui        
from selenium.webdriver.common.action_chains import ActionChains



#先调用无界面浏览器PhantomJS或Firefox    
#driver = webdriver.PhantomJS（executable_path=“G:\phantomjs-1.9.1-windows\phantomjs.exe“）    
driver = webdriver.Firefox（）
wait = ui.WebDriverWait（driver10）


#全局变量 文件操作读写信息
inforead = codecs.open（“SinaWeibo_List_best_1.txt“ ‘r‘ ‘utf-8‘）
infofile = codecs.open（“SinaWeibo_Info_best_1.txt“ ‘a‘ ‘utf-8‘）


#********************************************************************************
#                            第一步: 登陆weibo.cn 
#        该方法针对weibo.cn有效（明文形式传输数据） weibo.com见学弟设置POST和Header方法
#                LoginWeibo（username password） 参数用户名 密码
#********************************************************************************

def LoginWeibo（username password）:
    try:
        #输入用户名/密码登录
        print u‘准备登陆Weibo.cn网站...‘
        driver.get（“http://login.sina.com.cn/“）
        elem_user = driver.find_element_by_name（“username“）
        elem_user.send_keys（username） #用户名
        elem_pwd = driver.find_element_by_name（“password“）
        elem_pwd.send_keys（password）  #密码
        #elem_rem = driver.find_element_by_name（“safe_login“）
        #elem_rem.click（）             #安全登录

        #重点: 暂停时间输入验证码（http://login.weibo.cn/login/ 手机端需要）
        time.sleep（20）
        
        #elem_sub = driver.find_element_by_xpath（“//input[@class=‘smb_btn‘]“）
        #elem_sub.click（）              #点击登陆 因无name属性
        elem_pwd.send_keys（Keys.RETURN）
        time.sleep（2）
        
        #获取Coockie 推荐资料：http://www.cnblogs.com/fnng/p/3269450.html
        print driver.current_url
        print driver.get_cookies（）  #获得cookie信息 dict存储
        print u‘输出Cookie键值对信息:‘
        for cookie in driver.get_cookies（）: 
            #print cookie
            for key in cookie:
                print key cookie[key]
                    
        #driver.get_cookies（）类型list 仅包含一个元素cookie类型dict
        print u‘登陆成功...‘
        
        
    except Exceptione:      
        print “Error: “e
    finally:    
        print u‘End LoginWeibo!\n\n‘


#********************************************************************************
#                  第二步: 访问个人页面http://weibo.cn/5824697471并获取信息
#                                VisitPersonPage（）
#        编码常见错误 UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters 
#********************************************************************************

def VisitPersonPage（user_id）:

    try:
        global infofile       #全局文件变量
        url = “http:/

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件      13386  2016-04-24 20:55  [源码] 爬取移动端微博信息 （强推）\2016-04-23\20160423_SinaWeibo_Num_Best.txt

     文件       1595  2016-04-24 20:55  [源码] 爬取移动端微博信息 （强推）\2016-04-23\Megry_Result_Best.py

     文件     237289  2016-04-24 20:52  [源码] 爬取移动端微博信息 （强推）\2016-04-23\SinaWeibo_Info_best_1.txt

     文件        189  2016-04-24 20:46  [源码] 爬取移动端微博信息 （强推）\2016-04-23\SinaWeibo_List_best_1.txt

     文件      12115  2016-04-24 20:54  [源码] 爬取移动端微博信息 （强推）\2016-04-23\spider_selenium_sina_content.py

     文件        840  2016-04-24 21:02  运行配置过程.txt

     文件       5628  2016-04-24 20:31  [源码] 爬取客户端微博信息\SinaWeibo_Info_best_1.txt

     文件         27  2016-04-24 03:45  [源码] 爬取客户端微博信息\SinaWeibo_List_best_1.txt

     文件       8119  2016-04-24 20:31  [源码] 爬取客户端微博信息\weibo_spider2.py

     文件      17680  2016-04-24 21:18  [源码] 爬取移动端个人信息 关注id和粉丝id （速度慢）\SinaWeibo_Info_1.txt

     文件         50  2016-04-24 21:17  [源码] 爬取移动端个人信息 关注id和粉丝id （速度慢）\SinaWeibo_List_1.txt

     文件      14884  2016-04-24 21:19  [源码] 爬取移动端个人信息 关注id和粉丝id （速度慢）\spider_selenium_sina_info_other_userid_all.py

     目录          0  2016-04-24 20:55  [源码] 爬取移动端微博信息 （强推）\2016-04-23

     目录          0  2016-04-24 20:46  [源码] 爬取移动端微博信息 （强推）

     目录          0  2016-04-24 20:42  [源码] 爬取客户端微博信息

     目录          0  2016-04-24 21:18  [源码] 爬取移动端个人信息 关注id和粉丝id （速度慢）

----------- ---------  ---------- -----  ----

               311802                    16