淘宝商品数据爬虫

这个工具是爬淘宝商品排名的，例如按价格排序，然后把搜索出来的所有商品保存成一个json文件，代码里面有json转sql的工具类，可以直接保存所以已经排名的商品信息到数据库。已经验证过，非常不错。希望帮到有需要的朋友。

#-*- coding: UTF-8 -*-
import json

data = []
with open（‘taobao/taobao.json‘） as f:
    for line in f:
        data.append（json.loads（line））

#print json.dumps（data ensure_ascii=False）

str = “\r\n“
for item in data:
    #print json.dumps（item）
    str = str + “insert into taobao（namecatalogworkLocationrecruitNumberdetaillinkpublishTime） values “
    str = str + “（‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘）;\r\n“ % （item[‘name‘]item[‘catalog‘]item[‘workLocation‘]item[‘recruitNumber‘]item[‘detaillink‘]item[‘publishTime‘]）

import codecs
file_object = codecs.open（‘taobao.sql‘ ‘w‘ “utf-8“）
file_object.write（str）
file_object.close（）
print “success“

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        654  2016-01-19 15:38  taobao - priceok\json2sql.py

     文件         31  2016-01-19 15:37  taobao - priceok\README.md

     文件        254  2016-01-19 15:31  taobao - priceok\taobao\scrapy.cfg

     文件        980  2016-01-20 15:21  taobao - priceok\taobao\taobao\downloadwebkit.py

     文件       1267  2016-01-20 15:21  taobao - priceok\taobao\taobao\downloadwebkit.pyc

     文件        402  2016-01-20 00:00  taobao - priceok\taobao\taobao\items.py

     文件        635  2016-01-20 15:13  taobao - priceok\taobao\taobao\items.pyc

     文件        195  2014-04-27 18:19  taobao - priceok\taobao\taobao\misc\log.py

     文件        826  2016-01-20 14:24  taobao - priceok\taobao\taobao\misc\log.pyc

     文件          0  2014-04-27 18:19  taobao - priceok\taobao\taobao\misc\__init__.py

     文件        144  2016-01-20 14:24  taobao - priceok\taobao\taobao\misc\__init__.pyc

     文件        587  2016-01-19 15:34  taobao - priceok\taobao\taobao\pipelines.py

     文件       1230  2016-01-20 15:13  taobao - priceok\taobao\taobao\pipelines.pyc

     文件        756  2016-01-20 10:34  taobao - priceok\taobao\taobao\settings.py

     文件        590  2016-01-20 15:13  taobao - priceok\taobao\taobao\settings.pyc

     文件       2189  2016-01-20 21:51  taobao - priceok\taobao\taobao\spiders\taobao_spider.py

     文件       2568  2016-01-20 21:51  taobao - priceok\taobao\taobao\spiders\taobao_spider.pyc

     文件        161  2014-04-27 18:19  taobao - priceok\taobao\taobao\spiders\__init__.py

     文件        147  2016-01-20 15:13  taobao - priceok\taobao\taobao\spiders\__init__.pyc

     文件          0  2014-04-27 18:19  taobao - priceok\taobao\taobao\__init__.py

     文件        139  2016-01-20 15:13  taobao - priceok\taobao\taobao\__init__.pyc

     文件       1012  2016-01-20 21:51  taobao - priceok\taobao\taobao.json

     文件     567043  2016-01-20 21:51  taobao - priceok\taobao\taobaohtml.json

     目录          0  2016-01-20 21:54  taobao - priceok\taobao\taobao\misc

     目录          0  2016-01-20 21:54  taobao - priceok\taobao\taobao\spiders

     目录          0  2016-01-20 21:54  taobao - priceok\taobao\taobao

     目录          0  2016-01-20 21:54  taobao - priceok\taobao

     目录          0  2016-01-20 21:54  taobao - priceok

----------- ---------  ---------- -----  ----

               581810                    28

............此处省略1个文件信息