• 大小: 59KB
    文件类型: .rar
    金币: 1
    下载: 0 次
    发布日期: 2021-05-12
  • 语言: 其他
  • 标签: c#开发  vs2013工具  

资源简介

支持爬取图片,一个完整的爬虫示例,希望可以帮到大家

资源截图

代码片段和文件信息

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.Web;
using System.Net;
using System.IO;
using System.Text.Regularexpressions;
using System.Threading;

namespace wp
{

    public delegate void GetHttpTextDelegate(object baseUrll);
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
            
        }
        Dictionary unload = new Dictionary();
        Dictionary loaded = new Dictionary();
        List imageUrl = new List();
        private Thread th;
        string baseUrl = string.Empty;
        /// 
        /// 开 始
        /// 

        /// 
        /// 
        private void btnBegin_Click(object sender EventArgs e)
        {
            if(string.IsNullOrEmpty(txtUrl.Text))
            {
                return;
            }
            if(th!=null&&th.ThreadState==ThreadState.Suspended)
            {
                try
                {
                    if (baseUrl == txtUrl.Text.Trim())
                        th.Resume();
                    else
                        th.Abort();
                    btnBegin.Enabled = false;
                    btnStop.Enabled = true;
                }
                catch (Exception)
                {
                }

                return;
            }
            loaded = new Dictionary();
            unload = new Dictionary();
            //unload.Add(“http://news.sina.com.cn/“ 0);
            //string  baseUrl = “news.sina.com.cn“;
            unload.Add(“http://“ + txtUrl.Text.Trim() 0);
            baseUrl = txtUrl.Text.Trim();
            th = new Thread(new ParameterizedThreadStart(GetHttpInfo));
            th.Start(baseUrl);
            btnBegin.Enabled = false;
            btnStop.Enabled = true;
        }

        private void GetHttpInfo(object baseUrl)
        {
            //GetHttpTextDelegate gt = new GetHttpTextDelegate(GetHttpText);
            //this.Invoke(gtnew object[]{baseUrl});
            GetHttpText(baseUrl);
        }


        private void GetHttpText(object baseUrl)
        {
            while (true)
            {
                if(unload==null||unload.Keys.Count<=0)
                {
                    return;
                }
                string url = unload.First().Key;
                int depth = unload.First().Value;
                loaded.Add(url depth);
                unload.Remove(url);

                ////创建http请求  获取http参数
                HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
                ////请求方式
                req.Method

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        187  2017-05-03 14:09  PC\PC\App.config

     文件      15360  2017-05-03 14:15  PC\PC\bin\Debug\PC.exe

     文件        187  2017-05-03 14:09  PC\PC\bin\Debug\PC.exe.config

     文件      30208  2017-05-03 14:15  PC\PC\bin\Debug\PC.pdb

     文件      24224  2017-05-03 14:16  PC\PC\bin\Debug\PC.vshost.exe

     文件        187  2017-05-03 14:09  PC\PC\bin\Debug\PC.vshost.exe.config

     文件        490  2010-03-17 22:39  PC\PC\bin\Debug\PC.vshost.exe.manifest

     文件      10016  2017-05-03 14:15  PC\PC\Form1.cs

     文件       6761  2017-05-03 14:09  PC\PC\Form1.Designer.cs

     文件       5817  2017-05-03 14:09  PC\PC\Form1.resx

     文件       1453  2017-05-03 14:09  PC\PC\obj\Debug\DesignTimeResolveAssemblyReferences.cache

     文件       7684  2017-05-03 14:09  PC\PC\obj\Debug\DesignTimeResolveAssemblyReferencesInput.cache

     文件        456  2017-05-03 14:16  PC\PC\obj\Debug\PC.csproj.FileListAbsolute.txt

     文件        977  2017-05-03 14:09  PC\PC\obj\Debug\PC.csproj.GenerateResource.Cache

     文件       2211  2017-05-03 14:09  PC\PC\obj\Debug\PC.csprojResolveAssemblyReference.cache

     文件      15360  2017-05-03 14:15  PC\PC\obj\Debug\PC.exe

     文件      30208  2017-05-03 14:15  PC\PC\obj\Debug\PC.pdb

     文件        180  2017-05-03 14:09  PC\PC\obj\Debug\PC.Properties.Resources.resources

     文件          0  2017-05-03 14:09  PC\PC\obj\Debug\TemporaryGeneratedFile_036C0B5B-1481-4323-8D20-8F5ADCB23D92.cs

     文件          0  2017-05-03 14:09  PC\PC\obj\Debug\TemporaryGeneratedFile_5937a670-0e60-4077-877b-f7221da3dda1.cs

     文件          0  2017-05-03 14:09  PC\PC\obj\Debug\TemporaryGeneratedFile_E7A71F73-0F8D-4B9B-B56E-8E70B10BC5D3.cs

     文件       5125  2017-05-03 14:09  PC\PC\PC.csproj

     文件        528  2017-05-03 14:09  PC\PC\Program.cs

     文件       1346  2017-05-03 14:09  PC\PC\Properties\AssemblyInfo.cs

     文件       2856  2017-05-03 14:09  PC\PC\Properties\Resources.Designer.cs

     文件       5612  2017-05-03 14:09  PC\PC\Properties\Resources.resx

     文件       1089  2017-05-03 14:09  PC\PC\Properties\Settings.Designer.cs

     文件        249  2017-05-03 14:09  PC\PC\Properties\Settings.settings

     文件       3784  2017-05-03 14:09  PC\PC\wp.csproj

     文件        975  2017-05-03 14:08  PC\PC.sln

............此处省略12个文件信息

评论

共有 条评论