资源简介
天猫商品评论爬虫,可以根据商品的id将对应商品的评论全部爬取下来
代码片段和文件信息
# coding:utf-8
import requests
import json
import csv
import sys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
def getCommodityComments(url):
if url[url.find(‘id=‘)+14] != ‘&‘:
id = url[url.find(‘id=‘)+3:url.find(‘id=‘)+15]
else:
id = url[url.find(‘id=‘)+3:url.find(‘id=‘)+14]
url = ‘https://rate.taobao.com/feedRateList.htm?auctionNumId=‘+id+‘¤tPageNum=1‘
res = requests.get(url)
jc = json.loads(res.text.strip().strip(‘()‘))
max = jc[‘total‘]
users = []
comments = []
count = 0
page = 1
print(str(max))
c = open(“tmall_MIJIA222.csv“ “wb“)
c.write(‘\xEF\xBB\xBF‘) # 这里是重点地方********重点内容**
writer = csv.writer(c)
while count res = requests.get(url[:-1]+str(page))
page = page + 1
jc = json.loads(res.text.strip().strip(‘()‘))
jc = jc[‘comment
- 上一篇:股票爬取python
- 下一篇:treePlotter
相关资源
- 图虫网爬虫python实现
- 爬虫源码:分页爬取,mysql数据库连接
- 利用Python爬虫抓取网页上的图片含异
- python爬虫抓取百度贴吧中邮箱地址
- Python爬虫库requests获取响应内容、响应
- Python爬虫爬取51Job职位数据
- 利用python爬虫爬取王者荣耀数据.py
- Python爬虫爬取豆瓣电影
- python爬虫样例
- Python爬虫代码
- python爬虫 破解js加密有道词典案列的
- python爬虫之豆瓣电影使用requests、lx
- 最好中国大学近几年排名及python爬虫
- python爬虫爬取企业详细信息
- 新浪微博爬虫代码+结果
- python爬虫淘宝图片
- python爬虫爬取企查查公司工商信息
- 一加云服务照片批量导出 Python爬虫
- Python爬虫抓取Ebay页面
- python爬取豆瓣每个账户对电影的评分
- 使用python对淘宝商品信息数据进行爬
- python爬虫Scrapy(一)-我爬了boss数据
- 豆瓣电影信息Python爬虫存入MongoDB.一分
- Python爬虫文件:爬取图片的程序.py
- 基于Python爬虫的股票信息爬取保存到
- Python爬虫每日抓取必应壁纸
- Python爬虫源码—爬取猫途鹰官方旅游
- python爬取百度搜索新闻,并自动生成
- python爬虫数据可视化分析大作业.zip
- python爬虫--爬取youtobe红人信息
评论
共有 条评论