Java爬虫案例

一个简单的java爬虫

/**
 * hzdd Software Inc.
 * Copyright （c） 2015 All Rights Reserved.
 *

 *
Author: 廖永光

 *
Date: 2016年8月24日

 *

 */
package com.cn;

import java.io.DataOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;

import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;

/**
 *                       
 * @Filename: DownLoad.java
 * @Description: 
 * @Version: 1.0
 * @Author: 廖永光
 * @Email: 964793210@qq.com
 *
Date: 2016年8月24日<

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2016-08-24 18:46  crawler\
     文件         670  2016-08-24 18:46  crawler\.classpath
     文件         383  2016-08-24 18:36  crawler\.project
     目录           0  2016-08-24 18:36  crawler\.settings\
     文件         598  2016-08-24 18:36  crawler\.settings\org.eclipse.jdt.core.prefs
     目录           0  2016-08-24 18:46  crawler\bin\
     目录           0  2016-08-24 18:46  crawler\bin\com\
     目录           0  2016-08-24 18:46  crawler\bin\com\cn\
     文件        4162  2016-08-24 18:46  crawler\bin\com\cn\DownLoad.class
     文件         821  2016-08-24 18:46  crawler\bin\com\cn\HtmlParserTool$1.class
     文件        2711  2016-08-24 18:46  crawler\bin\com\cn\HtmlParserTool.class
     文件         149  2016-08-24 18:46  crawler\bin\com\cn\linkFilter.class
     文件         741  2016-08-24 18:50  crawler\bin\com\cn\MyCrawler$1.class
     文件        1931  2016-08-24 18:50  crawler\bin\com\cn\MyCrawler.class
     文件        1056  2016-08-24 18:46  crawler\bin\com\cn\Queue.class
     文件        1532  2016-08-24 18:46  crawler\bin\com\cn\SetQueue.class
     目录           0  2016-08-24 18:40  crawler\src\
     目录           0  2016-08-24 18:40  crawler\src\com\
     目录           0  2016-08-24 18:37  crawler\src\com\cn\
     文件        3825  2016-08-24 18:40  crawler\src\com\cn\DownLoad.java
     文件        2583  2016-08-24 18:40  crawler\src\com\cn\HtmlParserTool.java
     文件         466  2016-08-24 18:40  crawler\src\com\cn\linkFilter.java
     文件        2100  2016-08-24 18:50  crawler\src\com\cn\MyCrawler.java
     文件        1274  2016-08-24 18:40  crawler\src\com\cn\Queue.java
     文件        1825  2016-08-24 18:40  crawler\src\com\cn\SetQueue.java
     目录           0  2016-08-24 18:49  crawler\temp\
     文件       99715  2016-08-24 18:58  crawler\temp\www.csdn.net_.html
     文件        3164  2016-08-24 18:58  crawler\temp\www.csdn.net_app.html
     文件       37004  2016-08-24 18:58  crawler\temp\www.csdn.net_article_2012-11-16_2811946.html
     文件        6887  2016-08-24 18:58  crawler\temp\www.csdn.net_company_about.html.html
     文件        4089  2016-08-24 18:58  crawler\temp\www.csdn.net_company_account.html.html
............此处省略36个文件信息