Spider-Meituan-Merchant.py

# coding: utf-8
# In[8]:

import requests
from bs4 import BeautifulSoup
import json
import time
import random
import multiprocessing
from urllib.parse import urljoin
#s = requests.Session（）

user_agents = [
    “Mozilla/5.0 （Linux; Android 4.2.1; AMOI N828 Build/JOP40D） AppleWebKit/537.36 （KHTML like Gecko） Chrome/29.0.1547.59 Mobile Safari/537.36“
    “Mozilla/5.0 （Android; Mobile; rv:23.0） Gecko/23.0 Firefox/23.0“
    “Mozilla/5.0 （Linux; U; Android 4.2.1; zh-cn; AMOI N828 Build/JOP40D） AppleWebKit/534.30 （KHTML like Gecko） Version/4.0 Mobile Safari/534.30 SogouMSE/1.2.1“
    “Mozilla/5.0 （Linux; U; Android 4.2.1; zh-cn; AMOI N828 Build/JOP40D） AppleWebKit/533.1 （KHTML like Gecko）Version/4.0 MQQBrowser/4.4 Mobile Safari/533.1“
    “Mozilla/5.0 （Linux; U; Android 4.1.1; zh-cn; MI 2SC Build/JRO03L） AppleWebKit/534.30 （KHTML like Gecko） Version/4.0 Mobile Safari/534.30 V1_AND_SQ_4.5.0_5_YYB_D“
    “Mozilla/5.0 （Linux; U; Android 4.1.1; zh-cn; MI 2SC Build/JRO03L） AppleWebKit/534.30 （KHTML like Gecko） Version/4.0 Mobile Safari/534.30 MicroMessenger/5.0.3.1.355“
    “Mozilla/5.0 （Linux; Android 4.2.1; AMOI N828 Build/JOP40D） AppleWebKit/537.36 （KHTML like Gecko） Chrome/28.0.1500.64 Mobile Safari/537.36“
    “Mozilla/5.0 （Linux; U; Android 4.2.1; zh-cn; AMOI N828 Build/JOP40D） AppleWebKit/534.30 （KHTML like Gecko） Version/4.0 Mobile Safari/534.30“
    “Mozilla/5.0 （X11; Linux x86_64） AppleWebKit/534.24 （KHTML like Gecko） Chrome/11.0.696.34 Safari/534.24; 360browser（securitypaysecurityinstalled）“
    “Mozilla/5.0 （Linux; U; Android 4.2.2; zh-cn; Galaxy Nexus Build/JDQ39） AppleWebKit/534.30 （KHTML like Gecko） Version/5.0 Mb2345Browser/4.0 Mobile Safari/534.30“
    “Mozilla/5.0 （Linux; U; Android 4.2.1; zh-cn; AMOI N828 Build/JOP40D） AppleWebKit/534.30 （KHTML like Gecko） Version/4.0 Mobile Safari/534.30 Maxthon“
    “Mozilla/5.0 （Linux; U; Android 4.2.1; zh-CN; AMOI N828 Build/JOP40D） AppleWebKit/534.31 （KHTML like Gecko） UCBrowser/9.2.4.329 U3/0.8.0 Mobile Safari/534.31“
    “Mozilla/5.0 （Linux; U; Android 4.2.1; zh-cn; AMOI N828 Build/JOP40D） AppleWebKit/533.1 （KHTML like Gecko） Version/4.0 Mobile Safari/533.1 parameters/{scr=640_360cm=1ql=limei=860824011035534bm=1eng=adrmini17mdm=1mdl=AMOI N828ps=1} tiantian（securitypay） tiantian（tenpay）“
    “Mozilla/5.0 （Linux; U; Android 4.2.1; zh-cn; AMOI N828 Build/JOP40D） AppleWebKit/534.30 （KHTML like Gecko） Version/4.0 Mobile Safari/534.30“
    “Mozilla/5.0 （Linux; U; Android 4.2.1; zh-cn; AMOI N828 Build/JOP40D） AppleWebKit/534.30 （KHTML like Gecko） Version/4.0 Mobile Safari/534.30 APC/3.4.1“
    “Mozilla/5.0 （iPhone; CPU iPhone OS 6_1_3 like Mac OS X） AppleWebKit/536.26 （KHTML like Gecko） Version/6.0 Mobile/10B329 Safari/8536.25“
    “UCWEB/2.0 （iOS; U; iPh OS 6_1_3; zh-CN; iPh31） U2/1.0.0 UCBrowser/9.0.1.284 U2/1.0.0 Mobile“
    “Mozilla/5.0 （iPhone; CPU iPhone OS 7_0_4 like Mac OS X） AppleWebKit/537.51.1 （KHTML like Gecko） Version/7.0 Mobile/11B554a Safari/9537.5