imooc.rar

imooc.rar

from urllib import request
from urllib.parse import quote
import string
class HtmlDownLoader:
    ‘下载页面内容‘
    def downloade（selfnew_url）:
        if（new_url is None）:
            return None
        #解决请求路径中含义中文或特殊字符
        url_ = quote（new_url safe=string.printable）;
        response = request.urlopen（url_）
        if（response.getcode（）!=200）:
            return None #请求失败
        html = response.read（）
        return html.decode（“utf8“）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        459  2017-06-04 16:46  imooc\.idea\imooc.iml

     文件        228  2017-06-04 16:45  imooc\.idea\inspectionProfiles\profiles_settings.xml

     文件        223  2017-06-04 16:45  imooc\.idea\misc.xml

     文件        262  2017-06-04 16:45  imooc\.idea\modules.xml

     文件       7819  2017-06-04 16:51  imooc\.idea\workspace.xml

     文件        516  2017-06-04 23:32  imooc\baike_spider\html_downloader.py

     文件        824  2017-06-04 23:56  imooc\baike_spider\html_output.py

     文件       1796  2017-06-05 00:01  imooc\baike_spider\html_parser.py

     文件       1208  2017-06-05 00:00  imooc\baike_spider\output.html

     文件       1383  2017-06-05 00:00  imooc\baike_spider\spider_main.py

     文件       1074  2017-06-05 00:00  imooc\baike_spider\url_manager.py

     文件          0  2017-06-04 21:05  imooc\baike_spider\__init__.py

     文件        744  2017-06-04 23:36  imooc\baike_spider\__pycache__\html_downloader.cpython-36.pyc

     文件       1085  2017-06-04 23:57  imooc\baike_spider\__pycache__\html_output.cpython-36.pyc

     文件       1321  2017-06-05 00:01  imooc\baike_spider\__pycache__\html_parser.cpython-36.pyc

     文件       1193  2017-06-05 00:00  imooc\baike_spider\__pycache__\url_manager.cpython-36.pyc

     文件        137  2017-06-04 23:00  imooc\baike_spider\__pycache__\__init__.cpython-36.pyc

     文件       1336  2017-06-04 20:39  imooc\test\test_bs.py

     文件       1125  2017-06-04 19:48  imooc\test\test_urllib2.py

     文件          0  2017-06-04 16:46  imooc\test\__init__.py

     目录          0  2017-06-04 16:45  imooc\.idea\inspectionProfiles

     目录          0  2017-06-05 00:01  imooc\baike_spider\__pycache__

     目录          0  2017-06-04 16:51  imooc\.idea

     目录          0  2017-06-05 00:01  imooc\baike_spider

     目录          0  2017-06-04 20:39  imooc\test

     目录          0  2017-06-04 21:05  imooc

----------- ---------  ---------- -----  ----

                22733                    26