python 百度贴吧 爬虫

# -*- coding:utf-8 -*-
import urllib.request urllib.parse urllib.error
import re
import os
 
#处理页面标签类
class Tool:
    #去除img标签7位长空格
    removeImg = re.compile（‘| {7}|‘）
    #删除超链接标签
    removeAddr = re.compile（‘|‘）
    #把换行的标签换为\n
    replaceLine = re.compile（‘|
|
|
‘）
    #将表格制表替换为\t
    replaceTD= re.compile（‘‘）
    #把段落开头换为\n加空两格
    replacePara = re.compile（‘‘）
    #将换行符或双换行符替换为\n
    replaceBR = re.compile（‘

|
‘）
    replaceKG = re.compile（‘ ‘）
    #将其余标签剔除
    removeExtraTag = re.compile（‘<.*?>‘）
    def replace（selfx）:
        x = re.sub（self.removeImg““x）
        x = re.sub（self.removeAddr““x）
        x = re.sub（self.replaceLine“\n“x）
        x = re.sub（self.replaceTD“\t“x）