自己动手写网络爬虫PDF+源码.zip

自己动手写网络爬虫PDF+源码.zip

import java.io.DataOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;

import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;

public class DownLoadFile {
	/**
	 * 根据 url 和网页类型生成需要保存的网页的文件名 去除掉 url 中非文件名字符
	 */
	public  String getFileNameByUrl（String urlString contentType）
	{
		//remove http://
		url=url.substring（7）;
		//text/html类型
		if（contentType.indexOf（“html“）!=-1）
		{
			url= url.replaceAll（“[\\?/:*|<>\“]“ “_“）+“.html“;
			return url;
		}
		//如application/pdf类型
		else
		{
          return url.replaceAll（“[\\?/:*|<>\“]“ “_“）+“.“+
          contentType.substring（contentType.lastIndexOf（“/“）+1）;
		}	
	}

	/**
	 * 保存网页字节数组到本地文件 filePath 为要保存的文件的相对地址
	 */
	private void saveToLocal（byte[] data String filePath） {
		try {
			DataOutputStream out = new DataOutputStream（new FileOutputStream（
					new File（filePath）））;
			for （int i = 0; i < data.length; i++）
				out.write（data[i]）;
			out.flush（）;
			out.close（）;
		} catch （IOException e） {
			e.printStackTrace（）;
		}
	}

	/* 下载 url 指向的网页 */
	public String downloadFile（String url） {
		String filePath = null;
		/* 1.生成 HttpClinet 对象并设置参数 */
		HttpClient httpClient = new HttpClient（）;
		// 设置 Http 连接超时 5s
		httpClient.getHttpConnectionManager（）.getParams（）.setConnectionTimeout（
				5000）;

		/* 2.生成 GetMethod 对象并设置参数 */
		GetMethod getMethod = new GetMethod（url）;
		// 设置 get 请求超时 5s
		getMethod.getParams（）.setParameter（HttpMethodParams.SO_TIMEOUT 5000）;
		// 设置请求重试处理
		getMethod.getParams（）.setParameter（HttpMethodParams.RETRY_HANDLER
				new DefaultHttpMethodRetryHandler（））;

		/* 3.执行 HTTP GET 请求 */
		try {
			int statusCode = httpClient.executeMethod（getMethod）;
			// 判断访问的状态码
			if （statusCode != HttpStatus.SC_OK） {
				System.err.println（“Method failed: “
						+ getMethod.getStatusLine（））;
				filePath = null;
			}

			/* 4.处理 HTTP 响应内容 */
			byte[] responseBody = getMethod.getResponseBody（）;// 读取为字节数组
			// 根据网页 url 生成保存时的文件名
			filePath = “temp\\“
					+ getFileNameByUrl（url getMethod.getResponseHeader（
							“Content-Type“）.getValue（））;
			saveToLocal（responseBody filePath）;
		} catch （HttpException e） {
			// 发生致命的异常，可能是协议不对或者返回的内容有问题
			System.out.println（“Please check your provided http address!“）;
			e.printStackTrace（）;
		} catch （IOException e） {
			// 发生网络异常
			e.printStackTrace（）;
		} finally {
			// 释放连接
			getMethod.releaseConnection（）;
		}
		return filePath;
	}
}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2014-11-04 15:25  自己动手写网络爬虫PDF+源码\
     文件         963  2012-02-23 22:08  自己动手写网络爬虫PDF+源码\VC驿站.txt
     文件         120  2009-10-15 21:58  自己动手写网络爬虫PDF+源码\VC驿站.url
     文件         338  2014-10-12 12:42  自己动手写网络爬虫PDF+源码\Vip会员.txt
     文件         127  2014-10-12 12:38  自己动手写网络爬虫PDF+源码\Vip课程目录.url
     文件         131  2012-04-19 23:30  自己动手写网络爬虫PDF+源码\原创作品投稿.url
     目录           0  2014-11-04 15:24  自己动手写网络爬虫PDF+源码\完整版源码共10章\
     目录           0  2014-03-19 10:17  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap01\
     文件        2984  2010-06-28 07:30  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap01\DownLoadFile.java
     文件        1975  2010-06-28 07:30  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap01\HtmlParserTool.java
     文件          77  2010-06-28 07:30  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap01\linkFilter.java
     文件        1157  2010-06-28 07:30  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap01\linkQueue.java
     文件        1488  2010-06-28 07:30  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap01\MyCrawler.java
     文件         562  2010-06-28 07:30  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap01\Queue.java
     文件          79  2010-06-28 13:40  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap01\readme.txt
     文件        2672  2010-06-28 07:30  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap01\RetrivePage.java
     文件        3080  2010-06-28 07:30  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap01\Url.java
     目录           0  2014-03-19 10:17  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap02\
     文件        1292  2010-06-28 13:34  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap02\ConsistentHash.java
     文件         535  2010-06-28 13:35  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap02\DataReadByURL.java
     文件          71  2010-06-28 13:42  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap02\readme.txt
     文件        4292  2010-06-28 13:35  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap02\WordCount.java
     目录           0  2014-03-19 10:17  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap03\
     目录           0  2014-03-19 10:17  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap03\ip\
     文件         586  2010-06-28 07:32  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap03\IP.java
     文件         359  2010-06-28 07:33  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap03\ip\IPEntry.java
     文件         799  2010-06-28 07:33  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap03\ip\IPLocation.java
     文件       16557  2010-06-28 07:34  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap03\ip\IPSeeker.java
     文件         337  2010-06-28 07:34  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap03\ip\IPTest.java
     文件         449  2010-06-28 07:34  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap03\ip\LogFactory.java
     文件         156  2010-06-28 07:34  自己动手写网络爬虫PDF+源码\完整版源码共10章\Chap03\ip\Message.java
............此处省略2241个文件信息