自写C#蜘蛛爬虫源代码

Visual studio 2013 NET 4.5 编译 源代码 有注释 和说明 自己写的用于交流 也可以下载整个站点

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Diagnostics;
using System.Drawing;
using System.Text;
using System.Text.Regularexpressions;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;
using w_Net;

namespace Spider
{
    public partial class FormSpider : Form
    {
        #region 主窗口 全局定义
        //设置唯一的网址抓取分析规则参数
        wOnly onlySet = new wOnly（） { wOnlySetDowload = new n_SetDowload（） };
        //定义下载主线程
        wMainThread _MainThread;
        //定义系统状态类
        private PerformanceCounter m_cpuCounter;
        private PerformanceCounter m_ramCounter;
        #endregion
        public FormSpider（）
        {
            InitializeComponent（）;
            //界面下面的状态
            m_cpuCounter = new PerformanceCounter（）;
            m_cpuCounter.CategoryName = “Processor“;
            m_cpuCounter.CounterName = “% Processor Time“;
            m_cpuCounter.InstanceName = “_Total“;
            m_ramCounter = new PerformanceCounter（“Memory“ “Available MBytes“）;
        }
        //定义委托UprichTextBox1 这个委托主要是为了配合Invoke
        //这个委托的参数是和SetTxt函数一致因为这个委托会指向这个函数
        public delegate void UprichTextBox1（string str）;
        public void Do（object sender MainThraedEventArgs e）
        {
            //更新richTextBox1数据 先要判断用什么方式更新
            if （this.richTextBox1.InvokeRequired）
            {
                //把委托 mi 指向函数 SetTxt
                UprichTextBox1 mi = new UprichTextBox1（SetTxt）;
                // Invoke 方式更新确保不发生线程冲突
                this.richTextBox1.Invoke（mi new object[] { e.AddRichText }）;
            }
            else
                SetTxt（e.AddRichText）;
        }
        public void SetTxt（string str）
        {
            if （this.richTextBox1.Lines.Length > 200）
            {
                //如果richTextBox1大于200行
                this.richTextBox1.Text = this.richTextBox1.Text.Remove（200）;
            }
            this.richTextBox1.AppendText（str + “\n“）;
        }
        private void button1_Click（object sender EventArgs e）
        {
            onlySet.wMainUrl = n_URI.wUrlHttp（this.textBox1.Text.Trim（））;
            if （string.IsNullOrWhiteSpace（onlySet.wMainUrl））
            {
                this.textBox1.Text = “http://“;
                return;
            }
            if （onlySet.wMainUrl.EndsWith（“/“））
                onlySet.wMainUrl = onlySet.wMainUrl.Substring（0 onlySet.wMainUrl.Length - 1）;
            this.textBox1.Text = onlySet.wMainUrl;
            try
            {
                Uri uri = new Uri（onlySet.wMainUrl）;
                this.webBrowser1.Navigate（uri）;//打开网址wUrlString
                this.textBox2.Text = uri.Host + “;“;
            }
            catch
            {
                MessageBox.Show（“打开网页出错“）;
                return;
            }
            
        }

        private void FormSpider_ResizeEnd（object sender EventAr

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2015-05-23 23:51  Robot\
     文件        1456  2015-05-23 22:38  Robot\Robot.sln
     文件       68096  2015-05-23 23:38  Robot\Robot.v12.suo
     目录           0  2015-05-23 23:07  Robot\Spider\
     文件         187  2015-05-23 02:41  Robot\Spider\App.config
     目录           0  2015-05-23 02:42  Robot\Spider\bin\
     目录           0  2015-05-23 23:52  Robot\Spider\bin\Debug\
     目录           0  2015-05-23 23:52  Robot\Spider\bin\Release\
     文件       23168  2015-05-23 23:50  Robot\Spider\bin\Release\Spider.vshost.exe
     文件        9889  2015-05-23 23:07  Robot\Spider\MainForm.cs
     文件       33824  2015-05-23 22:58  Robot\Spider\MainForm.Designer.cs
     文件        6385  2015-05-23 22:58  Robot\Spider\MainForm.resx
     目录           0  2015-05-23 23:50  Robot\Spider\obj\
     目录           0  2015-05-23 23:52  Robot\Spider\obj\Debug\
     目录           0  2015-05-23 23:52  Robot\Spider\obj\Release\
     文件         523  2015-05-23 02:42  Robot\Spider\Program.cs
     目录           0  2015-05-23 02:41  Robot\Spider\Properties\
     文件        1336  2015-05-23 02:41  Robot\Spider\Properties\AssemblyInfo.cs
     文件        2864  2015-05-23 02:41  Robot\Spider\Properties\Resources.Designer.cs
     文件        5612  2015-05-23 02:41  Robot\Spider\Properties\Resources.resx
     文件        1093  2015-05-23 02:41  Robot\Spider\Properties\Settings.Designer.cs
     文件         249  2015-05-23 02:41  Robot\Spider\Properties\Settings.settings
     文件        4169  2015-05-23 22:38  Robot\Spider\Spider.csproj
     文件        8210  2015-05-23 23:06  Robot\Spider\wDowloadUrl.cs
     文件        2968  2015-05-23 22:39  Robot\Spider\wEditUrl.cs
     文件        3536  2015-05-23 22:39  Robot\Spider\wMainThread.cs
     文件        6850  2015-05-23 21:02  Robot\Spider\wOnly.cs
     目录           0  2015-05-23 21:56  Robot\w_Net\
     目录           0  2015-05-21 20:18  Robot\w_Net\bin\
     目录           0  2015-05-23 23:50  Robot\w_Net\bin\Debug\
     目录           0  2015-05-23 23:52  Robot\w_Net\bin\Release\
............此处省略16个文件信息