• 大小: 182KB
    文件类型: .rar
    金币: 1
    下载: 0 次
    发布日期: 2021-06-02
  • 语言: C#
  • 标签: C#/爬虫  

资源简介

C#语言的爬虫,检索你指定的网站的所需要的信息。。。

资源截图

代码片段和文件信息

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Net;
using System.Text.Regularexpressions;
using System.Threading;
using System.IO;
using System.Collections;
using System.xml;
using System.IO.Compression;
using HtmlAgilityPack;

namespace DataCollecting
{
    public partial class richTextBox1 : Form
    {
        public richTextBox1()
        {
            InitializeComponent();
        }
        //private WebDownloader m_wd = new WebDownloader();
        List list = new List();
        private void button1_Click(object sender EventArgs e)
        {
            string url = GetHttpWebRequest(this.txtUrl.Text.Trim());
            txtHttp.Text = url;
        }
        /// 
        /// 抓取网页内容
        /// 

        /// 
        /// 
        //private string GetHttpWebRequest(string url)
        //{
        //    Uri uri = new Uri(url);
        //    WebRequest webReq = WebRequest.Create(uri);
        //   // WebResponse webRes = webReq.GetResponse();
        //    HttpWebRequest myReq = (HttpWebRequest)webReq;
        //    myReq.UserAgent = “User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705“;
        //    myReq.Accept = “*/*“;
        //    myReq.KeepAlive = true;
        //    myReq.Headers.Add(“Accept-Language“ “zh-cnen-us;q=0.5“);
        //    HttpWebResponse result = (HttpWebResponse)myReq.GetResponse();
        //    Stream receviceStream = result.GetResponseStream();
        //    StreamReader readerOfStream = new StreamReader(receviceStream System.Text.Encoding.GetEncoding(“utf-8“));
        //    string strHTML = readerOfStream.ReadToEnd();
        //    readerOfStream.Close();
        //    receviceStream.Close();
        //    result.Close();
        //    return strHTML;
        //}
        /*
         当异常发生事后,WebException 中不仅有 StatusCode 标志着 HTTP 的错误代码,
         * 而且它的 Response 属性还包含由服务器发送的 WebResponse
         */
        //private string GetHttpWebRequest(string url)
        //{
        //    Uri uri = new Uri(url);
        //    WebRequest webReq = WebRequest.Create(uri);
        //    // WebResponse webRes = webReq.GetResponse();
        //    HttpWebRequest myReq = (HttpWebRequest)webReq;
        //    myReq.UserAgent = “User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705“;
        //    myReq.Accept = “*/*“;
        //    myReq.KeepAlive = true;
        //    myReq.Headers.Add(“Accept-Language“ “zh-cnen-us;q=0.5“);
        //    //HttpWebResponse result = (HttpWebResponse)myReq.GetResponse();
        //    HttpWebResponse result;
        //    try
        //    {
        //        result = (HttpWebResponse)myReq.GetResponse();
        //    }
        //    catch (Web

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        187  2016-05-10 16:05  C#爬虫\DataCollecting\App.config

     文件      92160  2016-07-23 17:26  C#爬虫\DataCollecting\bin\Debug\DataCollecting.exe

     文件        187  2016-05-10 16:05  C#爬虫\DataCollecting\bin\Debug\DataCollecting.exe.config

     文件      67072  2016-07-23 17:26  C#爬虫\DataCollecting\bin\Debug\DataCollecting.pdb

     文件      24224  2016-07-23 17:27  C#爬虫\DataCollecting\bin\Debug\DataCollecting.vshost.exe

     文件        187  2016-05-10 16:05  C#爬虫\DataCollecting\bin\Debug\DataCollecting.vshost.exe.config

     文件     135168  2014-11-20 19:42  C#爬虫\DataCollecting\bin\Debug\HtmlAgilityPack.dll

     文件      17625  2016-05-21 17:33  C#爬虫\DataCollecting\bin\Debug\Hyperlinks.xml

     文件       4726  2016-07-23 17:26  C#爬虫\DataCollecting\DataCollecting.csproj

     文件      14732  2016-07-23 17:26  C#爬虫\DataCollecting\Form1.cs

     文件       4875  2016-05-27 15:49  C#爬虫\DataCollecting\Form1.Designer.cs

     文件      16071  2016-05-27 15:49  C#爬虫\DataCollecting\Form1.resx

     文件       2814  2016-07-23 17:27  C#爬虫\DataCollecting\obj\Debug\DataCollecting.csproj.FileListAbsolute.txt

     文件        977  2016-07-23 13:51  C#爬虫\DataCollecting\obj\Debug\DataCollecting.csproj.GenerateResource.Cache

     文件      10711  2016-07-23 13:49  C#爬虫\DataCollecting\obj\Debug\DataCollecting.csprojResolveAssemblyReference.cache

     文件      92160  2016-07-23 17:26  C#爬虫\DataCollecting\obj\Debug\DataCollecting.exe

     文件      67072  2016-07-23 17:26  C#爬虫\DataCollecting\obj\Debug\DataCollecting.pdb

     文件        180  2016-07-23 17:26  C#爬虫\DataCollecting\obj\Debug\DataCollecting.Properties.Resources.resources

     文件       9855  2016-07-23 17:26  C#爬虫\DataCollecting\obj\Debug\DataCollecting.richTextBox1.resources

     文件        865  2016-07-23 13:49  C#爬虫\DataCollecting\obj\Debug\DesignTimeResolveAssemblyReferences.cache

     文件       7948  2016-07-23 17:26  C#爬虫\DataCollecting\obj\Debug\DesignTimeResolveAssemblyReferencesInput.cache

     文件          0  2016-05-10 16:05  C#爬虫\DataCollecting\obj\Debug\TemporaryGeneratedFile_036C0B5B-1481-4323-8D20-8F5ADCB23D92.cs

     文件          0  2016-05-10 16:05  C#爬虫\DataCollecting\obj\Debug\TemporaryGeneratedFile_5937a670-0e60-4077-877b-f7221da3dda1.cs

     文件          0  2016-05-10 16:05  C#爬虫\DataCollecting\obj\Debug\TemporaryGeneratedFile_E7A71F73-0F8D-4B9B-B56E-8E70B10BC5D3.cs

     文件        533  2016-05-12 14:51  C#爬虫\DataCollecting\Program.cs

     文件       1366  2016-05-10 16:05  C#爬虫\DataCollecting\Properties\AssemblyInfo.cs

     文件       2880  2016-05-10 16:05  C#爬虫\DataCollecting\Properties\Resources.Designer.cs

     文件       5612  2016-05-10 16:05  C#爬虫\DataCollecting\Properties\Resources.resx

     文件       1101  2016-05-10 16:05  C#爬虫\DataCollecting\Properties\Settings.Designer.cs

     文件        249  2016-05-10 16:05  C#爬虫\DataCollecting\Properties\Settings.settings

............此处省略18个文件信息

评论

共有 条评论

相关资源