python 整站源码

python 整站下载源码

#coding: utf-8
from urllib import request
from htmlparser import UrlParser
import os.path
import re
# regular expression
re_word = re.compile（‘（\w+）‘）
re_dataname = re.compile（‘（\w+）\.（\w+）‘）

class DataBean:
    url = ‘‘
    raw_data = None
    data = None
    encoding = None
    content_type = None # html jpg gif css
    headers = None
    def reset（self）:
        self.url = ‘‘
        self.raw_data = None
        self.data = None
        self.encoding = None
        self.content_type = None # html jpg gif css
        self.headers = None
    def set（self resp）:
        self.reset（）
        self.headers = resp.getheaders（）
        temp = resp.getheader（‘Content-Type‘）.strip（）
        self.raw_data = resp.read（）
        if ‘text/‘ in temp:
            temp = t

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件       7388  2014-10-04 20:59  downloader.py

     文件       3080  2014-10-03 19:30  htmlparser.py

----------- ---------  ---------- -----  ----

                10468                    2