python 网络爬虫

# encoding utf-8
# Function:acquire the link on the web page



import urllib.request
import re




r = re.compile（r‘href=“（http://www\.cnpythoner\.com.+?）“‘）#正则



def get_urls_and_save_from_contents（url）:       #打开当前页面，筛选符合条件的网址
        try:
                req = urllib.request.Request（url）
                req.add_header（‘User-Agent‘‘Mozilla/5.0 （Windows NT 10.0） AppleWebKit/537.36 （KHTML like Gecko） Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586‘）
                response = urllib.request.urlopen（req）
                contents = response.read（）.decode（‘utf-8‘）
                g = []