Python 爬虫

基于Python的爬虫程序，可以用来爬自己想要的资料，也可以用来学习代码编写。

#-*-coding:utf-8-*- 
#大夏天

import os
import uuid
import urllib2
import cookielib

‘‘‘获取文件后缀名‘‘‘
def get_file_extension（file）:  
    return os.path.splitext（file）[1]  

‘‘‘創建文件目录，并返回该目录‘‘‘
def mkdir（path）:
    # 去除左右两边的空格
    path=path.strip（）
    # 去除尾部 \符号
    path=path.rstrip（“\\“）

    if not os.path.exists（path）:
        os.makedirs（path）
        
    return path

‘‘‘自动生成一个唯一的字符串，固定长度为36‘‘‘
def unique_str（）:
    return str（uuid.uuid1（））

‘‘‘
抓取网页文件内容，保存到内存

@url 欲抓取文件 ，path+filename
‘‘‘
def get_file（url）:
    try:
        cj=cookielib.LWPCookieJar（）
        opener=urllib2.build_opener（urllib2.HTTPCookieProcessor（cj））
        urllib2.install_opener（opener）
        
        req=urllib2.Request（url）
        operate=opener.open（req）
        data=ope

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-05-10 00:11  Download\
     文件        1734  2016-10-30 23:07  Download\getFile.py
     文件        1537  2016-10-30 23:07  Download\getImage.py
     文件        1711  2016-10-30 23:08  Download\getImageByTag.py
     文件        2178  2016-10-30 23:08  Download\getImageFromJson.py
     文件          82  2016-10-30 23:03  Download\说明.txt
     目录           0  2018-05-10 00:11  Mail\
     文件        1773  2016-10-30 23:33  Mail\sendFile.py
     文件        1131  2016-10-30 23:33  Mail\sendHtml.py
     文件        1619  2016-10-30 23:33  Mail\sendImage.py
     文件         965  2016-10-30 23:33  Mail\sendText1.py
     文件        1109  2016-10-30 23:34  Mail\sendText2.py
     文件         831  2016-10-30 23:34  Mail\sendText3.py
     文件       78673  2016-07-26 16:23  Mail\test.png
     文件          98  2016-10-30 23:02  Mail\说明.txt
     目录           0  2018-05-10 00:11  Spider\
     文件        2617  2016-10-30 23:34  Spider\getHtmlandSend.py
     文件        1316  2016-10-30 23:06  Spider\getMobile.py
     文件        1440  2016-10-30 23:07  Spider\getMovie.py
     文件        1363  2016-10-30 23:06  Spider\getWeather.py
     文件           0  2016-10-14 19:52  Spider\mobiles.txt
     文件           0  2016-10-13 09:02  Spider\movies.txt
     文件        2639  2016-10-30 23:06  Spider\sendHtml.py
     文件         175  2016-10-12 22:27  Spider\weather.txt
     文件          85  2016-10-30 23:05  Spider\说明.txt
     文件          84  2016-10-30 22:59  说明.txt