Python简单网页爬虫

利用Python实现了网页爬虫简单示例，包括下载图片、下载题目和获取大学排名3个例子，用到的库有bs4库和requests库

from urllib import request
import re
response=request.urlopen（‘http://www.wmpic.me/meinv‘） #图片网址
html=response.read（）.decode（‘utf-8‘）
urlList=re.findall（re.compile（r‘src=“（.*?）“ class=‘）html）
for ulist in urlList:
    fileName=ulist.split（‘/‘）[-1]
    pathName=‘F:\\‘+fileName  #下载路径
    fid=open（pathName‘wb‘）
    fid.write（request.urlopen（ulist）.read（））
    print（‘正在下载‘+fileName）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-01-05 10:09  Python简单网页爬虫示例\
     目录           0  2018-01-05 10:06  Python简单网页爬虫示例\下载图片\
     文件         420  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载图片.py
     目录           0  2018-01-05 10:06  Python简单网页爬虫示例\下载图片\下载的图片\
     文件       15643  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1514963646_GShwmQzi_215x185.jpg
     文件       11285  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1514963735_ieZqnZJe_215x185.jpg
     文件       18371  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1514964652_ywlhjuTH_215x185.jpg
     文件       14991  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1514965138_sPAtQTfq_215x185.jpg
     文件       15519  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1514965313_GTBzWRxf_215x185.jpg
     文件       21313  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1514965957_RPcOioMc_215x185.jpg
     文件       19778  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1514966118_zLdxyCWS_215x185.jpg
     文件       10941  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1514966233_yKCRWLFC_215x185.jpg
     文件       14070  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1514966367_RYhZBgFc_215x185.jpg
     文件       15741  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1514966757_CyVsDYCT_215x185.jpg
     文件       15331  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1515032354_dpiExwNX_215x185.jpg
     文件       14569  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1515032491_HXNGJXjW_215x185.jpg
     文件       14488  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1515032587_feAvpOBW_215x185.jpg
     文件       15482  2018-01-05 09:59  Python简单网页爬虫示例\下载图片\下载的图片\1515032776_iyflhpFQ_215x185.jpg
     目录           0  2018-01-05 10:06  Python简单网页爬虫示例\下载题目\
     文件       49080  2018-01-05 09:54  Python简单网页爬虫示例\下载题目\PATest.txt
     文件         457  2018-01-05 10:02  Python简单网页爬虫示例\下载题目\下载题目.py
     目录           0  2018-01-05 10:09  Python简单网页爬虫示例\大学排名\
     文件         977  2018-01-05 10:03  Python简单网页爬虫示例\大学排名\大学排名.py
     文件      174867  2018-01-05 10:09  Python简单网页爬虫示例\大学排名\大学排名运行结果.jpg