C#写的蜘蛛程序（小偷程序）

C#写的蜘蛛程序也叫小偷程序

"蜘蛛"（Spider）是Internet上一种很有用的程序，搜索引擎利用蜘蛛程序将Web页面收集到数据库，企业利用蜘蛛程序监视竞争对手的网站并跟踪变动，个人用户用蜘蛛程序下载Web页面以便脱机使用，开发者利用蜘蛛程序扫描自己的Web检查无效的链接……对于不同的用户，蜘蛛程序有不同的用途。那么，蜘蛛程序到底是怎样工作的呢？
蜘蛛是一种半自动的程序，就象现实当中的蜘蛛在它的Web（蜘蛛网）上旅行一样，蜘蛛程序也按照类似的方式在Web链接织成的网上旅行。蜘蛛程序之所以是半自动的，是因为它总是需要一个初始链接（出发点），但此后的运行情况就要由它自己决定了，蜘蛛程序会扫描起始页面包含的链接，然后访问这些链接指向的页面，再分析和追踪那些页面包含的链接。从理论上看，最终蜘蛛程序会访问到Internet上的每一个页面，因为Internet上几乎每一个页面总是被其他或多或少的页面引用。

using System.Reflection;
using System.Runtime.CompilerServices;

//
// General Information about an assembly is controlled through the following 
// set of attributes. Change these attribute values to modify the information
// associated with an assembly.
//
[assembly: Assemblytitle（““）]
[assembly: AssemblyDescription（““）]
[assembly: AssemblyConfiguration（““）]
[assembly: AssemblyCompany（““）]
[assembly: AssemblyProduct（““）]
[assembly: AssemblyCopyright（““）]
[assembly: AssemblyTrademark（““）]
[assembly: AssemblyCulture（““）]		

//
// Version information for an assembly consists of the following four values:
//
//      Major Version
//      Minor Version 
//      Build Number
//      Revision
//
// You can specify all the values or you can default the Revision and Build

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件       1078  2003-05-04 06:05  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\App.ico

     文件       2426  2003-05-04 06:05  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\AssemblyInfo.cs

     文件       2464  2008-03-11 11:57  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\Attribute.cs

     文件       3469  2008-03-11 11:57  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\AttributeList.cs

     文件       7998  2008-03-11 12:05  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\DocumentWorker.cs

     文件       2590  2008-03-11 11:57  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\Done.cs

     文件       5008  2008-03-11 12:16  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\Parse.cs

     文件       2715  2008-03-11 11:57  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\ParseHTML.cs

     文件       5723  2008-03-11 11:57  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.cs

     文件       4932  2008-03-11 11:58  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.csproj

     文件       2081  2008-03-11 10:56  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.csproj.user

     文件      32768  2008-03-11 12:20  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.exe

     文件        895  2008-03-11 10:56  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.sln

    ..A..H.     23040  2008-03-11 12:22  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.suo

     文件      13789  2008-03-11 12:20  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\SpiderForm.cs

     文件       5814  2008-03-11 12:16  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\SpiderForm.resx

     文件      28627  2015-09-06 11:20  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\1\index.html

     文件      46189  2015-09-06 11:20  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\10\index.html

     文件      43298  2015-09-06 11:20  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\142\index.html

     文件       7401  2015-09-06 11:21  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\146\8244.htm

     文件      41778  2015-09-06 11:21  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\146\index.html

     文件      41889  2015-09-06 11:20  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\152\index.html

     文件      42885  2015-09-06 11:20  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\153\index.html

     文件      42054  2015-09-06 11:20  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\154\index.html

     文件      43448  2015-09-06 11:21  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\157\index.html

     文件      42419  2015-09-06 11:21  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\158\index.html

     文件      19119  2015-09-06 11:21  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\16\1206.htm

     文件       8800  2015-09-06 11:21  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\16\682.htm

     文件      43117  2015-09-06 11:20  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\16\index.html

     文件      18267  2015-09-06 11:21  C#写的蜘蛛程序也叫小偷程序\CSharpSpider\temp\160\8241.htm

............此处省略173个文件信息