python 爬取链家网信息

python3爬取链家网新房信息，然后解析入库，该资源仅用于学习研究所用，代码比较简单，还望轻喷，想免费分析，无奈CSDN强制要求资源分。所以大家不要怪我啊！

DBName = “test“  # 数据库名称
DBUrl = “localhost“
DBUser = “root“
DBPassword = “wuyou“
TableName = “proxy“  # 表
Column1 = “ip_port“  # 列1

TestTimeOut = 20  # 检测IP可用性设置的超时，
                  # 对IP质量要求不高，就把值设的高一点儿。这样可用IP就会增多
MaxThreads = 64  # 最大线程数，依据电脑性能修改，性能好的电脑可以设置高一点
                 # 最好设置为2的n次方，别问我为什么，我也不知道，这是玄学

TestUrl = “https://bj.fang.lianjia.com/loupan/pg32“  # 用以检测的网站

# 头部代理S
UserAgents = [
    “Mozilla/5.0 （Macintosh; Intel Mac OS X 10_9_3） AppleWebKit/537.36 （KHTML like Gecko） Chrome/35.0.1916.47 Safari/537.36“
    “Mozilla/5.0 （Windows NT 10.0; Win64; x64） AppleWebKit/537.36 （KHTML like Gecko） Chrome/51.0.2704.103 Safari/537.36“
    “Mozilla/5.0 （Windows NT 10.0; WOW64） AppleWebKit/537.36 （KHTML like Gecko） Chrome/57.0.2987.133 Safari/537.36“
    “Mozilla/4.0 （compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727）“
    “Mozilla/4.0 （compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506）“
    “Mozilla/4.0 （compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727）“
    “Mozilla/5.0 （Windows; U; MSIE 9.0; Windows NT 9.0; en-US）“
    “Mozilla/5.0 （compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0）“
    “Mozilla/5.0 （compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322）“
    “Mozilla/4.0 （compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30）“
    “Mozilla/5.0 （Windows; U; Windows NT 5.1; zh-CN） AppleWebKit/523.15 （KHTML like Gecko Safari/419.3） Arora/0.3 （Change: 287 c9dfb30）“
    “Mozilla/5.0 （X11; U; Linux; en-US） AppleWebKit/527+ （KHTML like Gecko Safari/419.3） Arora/0.6“
    “Mozilla/5.0 （Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre） Gecko/20070215 K-Ninja/2.1.1“
    “Mozilla/5.0 （Windows; U; Windows NT 5.1; zh-CN; rv:1.9） Gecko/20080705 Firefox/3.0 Kapiko/3.0“
    “Mozilla/5.0 （X11; Linux i686; U;） Gecko/20070322 Kazehakase/0.4.5“
    “Mozilla/5.0 （X11; U; Linux i686; en-US; rv:1.9.0.8） Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6“
    “Mozilla/5.0 （Windows NT 6.1; WOW64） AppleWebKit/535.11 （KHTML like Gecko） Chrome/17.0.963.56 Safari/535.11“
    “Mozilla/5.0 （Macintosh; Intel Mac OS X 10_7_3） AppleWebKit/535.20 （KHTML like Gecko） Chrome/19.0.1036.7 Safari/535.20“
    “Opera/9.80 （Macintosh; Intel Mac OS X 10.6.8; U; fr） Presto/2.9.168 Version/11.52“
    “Mozilla/5.0 （Windows; U; Windows NT 5.2） Gecko/2008070208 Firefox/3.0.1“
    “Mozilla/5.0 （Windows; U; Windows NT 5.1） Gecko/20070309 Firefox/2.0.0.3“
    “Mozilla/5.0 （Windows; U; Windows NT 5.1） Gecko/20070803 Firefox/1.5.0.12“
    “Opera/9.27 （Windows NT 5.2; U; zh-cn）“
    “Mozilla/5.0 （Windows; U; Windows NT 5.2） AppleWebKit/5

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件       5757  2017-12-09 15:20  LianJia\code\Config.py

     文件        717  2017-12-10 21:15  LianJia\code\DBUtils.py

     文件        992  2017-12-10 21:25  LianJia\code\Main.py

     文件       6271  2017-12-10 21:34  LianJia\code\Spider.py

     文件        101  2017-12-10 21:25  LianJia\Readme.txt

     文件       2968  2017-12-10 21:26  LianJia\sql\city.sql

     文件        952  2017-12-10 21:27  LianJia\sql\lianjia.sql

     目录          0  2017-12-10 21:26  LianJia\code

     目录          0  2017-12-10 21:27  LianJia\sql

     目录          0  2017-12-10 21:26  LianJia

----------- ---------  ---------- -----  ----

                17758                    10