java利用json规则抓取网页内容源码爬虫

java根据json规则抓取网页内容，方便页面变动的维护，可以根据需要自定义规则或源码，json规则与jquery相似

package action;

import java.util.List;
import java.util.Map;

import util.JsonJsoupUtil2;

/**
 * 说明：抓取百度新闻和新浪新闻的例子（微博数据的抓取需要处理后才行）
 * @author 旋律
 * 2017 8 25
 */
public class WeiboMain {

	/**
	 * 例子：根据json规则抓取微博动态
	 * @author 旋律
	 * 2017 8 25
	 */
	public static void main（String[] args） {
		JsonJsoupUtil2 json2= new JsonJsoupUtil2（）;
		String url = “http://news.baidu.com/ns?word=网络&ie=utf-8&bt=0&et=0&tn=news&from=news&cl=2&rn=20&ct=0&clk=sortbytime“;
		System.out.println（“百度新闻开始抓取:“）;
		List> listMap = json2.getHTMLListMap（url“json/baidu2.json“）;
		if（listMap!=null && listMap.size（）>0）{
			for （Map map : listMap） {
				System.out.println（map.toString（））;
			}
		}
		url =  “http://search.sina.com.cn/?q=网络&c=news&from=channe

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-08-25 11:41  Jsoup-json\
     文件         748  2017-08-25 10:56  Jsoup-json\.classpath
     文件         386  2017-08-25 10:54  Jsoup-json\.project
     目录           0  2017-08-25 11:41  Jsoup-json\.settings\
     文件          57  2017-08-25 10:55  Jsoup-json\.settings\org.eclipse.core.resources.prefs
     文件         598  2017-08-25 10:54  Jsoup-json\.settings\org.eclipse.jdt.core.prefs
     目录           0  2017-08-25 11:41  Jsoup-json\bin\
     目录           0  2017-08-25 11:41  Jsoup-json\bin\action\
     文件        1872  2017-08-25 11:41  Jsoup-json\bin\action\WeiboMain.class
     目录           0  2017-08-25 11:41  Jsoup-json\bin\json\
     文件         676  2017-08-25 11:25  Jsoup-json\bin\json\baidu2.json
     文件        3020  2017-08-25 11:29  Jsoup-json\bin\json\json规则说明
     文件         622  2017-08-25 11:28  Jsoup-json\bin\json\sina2.json
     文件         762  2017-08-24 15:39  Jsoup-json\bin\json\weibo2.json
     目录           0  2017-08-25 11:41  Jsoup-json\bin\util\
     文件       14355  2017-08-25 11:40  Jsoup-json\bin\util\JsonJsoupUtil2.class
     目录           0  2017-08-25 11:41  Jsoup-json\jar\
     文件       45944  2017-08-25 10:56  Jsoup-json\jar\json-20090211.jar
     文件      159123  2017-08-25 10:56  Jsoup-json\jar\json-lib-2.4-jdk15.jar
     文件       94360  2017-08-25 10:56  Jsoup-json\jar\json.jar
     文件       82421  2017-08-25 10:56  Jsoup-json\jar\json4s-ast_2.11-3.2.11.jar
     文件      589462  2017-08-25 10:56  Jsoup-json\jar\json4s-core_2.11-3.2.11.jar
     文件       40341  2017-08-25 10:56  Jsoup-json\jar\json4s-jackson_2.11-3.2.11.jar
     文件      355356  2017-08-25 10:56  Jsoup-json\jar\jsoup-1.10.3.jar
     目录           0  2017-08-25 11:41  Jsoup-json\src\
     目录           0  2017-08-25 11:41  Jsoup-json\src\action\
     文件        1199  2017-08-25 11:41  Jsoup-json\src\action\WeiboMain.java
     目录           0  2017-08-25 11:41  Jsoup-json\src\json\
     文件         676  2017-08-25 11:25  Jsoup-json\src\json\baidu2.json
     文件        3020  2017-08-25 11:29  Jsoup-json\src\json\json规则说明
     文件         622  2017-08-25 11:28  Jsoup-json\src\json\sina2.json
............此处省略3个文件信息