WebCollector+Selenium+Phantomjs

爬虫简介： WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。 爬虫内核： WebCollector致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup，可进行精准的网页解析。2.x版本中集成了selenium，可以处理javascript生成的数据。

/*
 * Copyright （C） 2015 zhao
 *
 * This program is free software; you can redistribute it and/or
 * modify it under the terms of the GNU General Public License
 * as published by the Free Software Foundation; either version 2
 * of the License or （at your option） any later version.
 *
 * This program is distributed in the hope that it will be useful
 * but WITHOUT ANY WARRANTY; without even the implied warranty of
 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 * GNU General Public License for more details.
 *
 * You should have received a copy of the GNU General Public License
 * along with this program; if not write to the Free Software
 * Foundation Inc. 59 Temple Place - Suite 330 Boston MA  02111-1307 USA.
 */
package com.zhao.crawler;

im

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2015-10-27 18:41  WebCollectorDemo\
     文件         712  2015-10-23 18:36  WebCollectorDemo\.classpath
     目录           0  2015-10-20 11:28  WebCollectorDemo\.myeclipse\
     文件         321  2015-10-23 18:36  WebCollectorDemo\.mymetadata
     文件        1719  2015-10-20 11:28  WebCollectorDemo\.project
     目录           0  2015-10-27 18:41  WebCollectorDemo\.settings\
     文件         500  2015-10-20 11:28  WebCollectorDemo\.settings\.jsdtscope
     文件          87  2015-10-20 11:28  WebCollectorDemo\.settings\com.genuitec.eclipse.j2eedt.core.prefs
     文件         149  2015-10-23 10:34  WebCollectorDemo\.settings\org.eclipse.core.resources.prefs
     文件         461  2015-10-20 11:28  WebCollectorDemo\.settings\org.eclipse.jdt.core.prefs
     文件        6022  2015-10-20 18:29  WebCollectorDemo\.settings\org.eclipse.jdt.ui.prefs
     文件         121  2015-10-20 11:28  WebCollectorDemo\.settings\org.eclipse.m2e.core.prefs
     文件         585  2015-10-23 18:36  WebCollectorDemo\.settings\org.eclipse.wst.common.component
     文件         252  2015-10-20 11:28  WebCollectorDemo\.settings\org.eclipse.wst.common.project.facet.core.xml
     文件          49  2015-10-20 11:28  WebCollectorDemo\.settings\org.eclipse.wst.jsdt.ui.superType.container
     文件           6  2015-10-20 11:28  WebCollectorDemo\.settings\org.eclipse.wst.jsdt.ui.superType.name
     文件       46403  2015-10-27 18:37  WebCollectorDemo\phantomjsdriver.log
     文件        2442  2015-10-23 12:04  WebCollectorDemo\pom.xml
     目录           0  2015-10-27 18:41  WebCollectorDemo\src\
     目录           0  2015-10-27 18:41  WebCollectorDemo\src\main\
     目录           0  2015-10-27 18:41  WebCollectorDemo\src\main\java\
     目录           0  2015-10-20 11:55  WebCollectorDemo\src\main\java\com\
     目录           0  2015-10-20 11:55  WebCollectorDemo\src\main\java\com\zhao\
     目录           0  2015-10-27 18:41  WebCollectorDemo\src\main\java\com\zhao\crawler\
     目录           0  2015-10-27 18:41  WebCollectorDemo\src\main\java\com\zhao\crawler\demo\
     文件        3078  2015-10-27 18:04  WebCollectorDemo\src\main\java\com\zhao\crawler\demo\DemoJSCrawler.java
     文件        4841  2015-10-27 13:41  WebCollectorDemo\src\main\java\com\zhao\crawler\demo\TutorialCrawler2.java
     文件        3532  2015-10-21 13:31  WebCollectorDemo\src\main\java\com\zhao\crawler\ECCrawler.java
     文件        1835  2015-10-23 17:48  WebCollectorDemo\src\main\java\com\zhao\crawler\Goods.java
     文件        1174  2015-10-23 16:52  WebCollectorDemo\src\main\java\com\zhao\crawler\GoodsList.java
     目录           0  2015-10-27 18:41  WebCollectorDemo\src\main\java\com\zhao\crawler\jd\
............此处省略53个文件信息