使用webBrowser采集网页数据

使用webBrowser采集网页数据，对一些需要登录，或有验证的，可以在webBrowser控件中手动登录或验证后，在开始批量采集

/**  版本信息模板在安装目录下，可自行修改。
* sys_Price.cs
*
* 功 能： N/A
* 类 名： sys_Price
*
* Ver    变更日期             负责人  变更内容
* ───────────────────────────────────
* V0.01  2016/10/28 17:27:14   N/A    初版
*
* Copyright （c） 2012 Maticsoft Corporation. All rights reserved.
*┌──────────────────────────────────┐
*│　此技术信息为本公司机密信息，未经本公司书面同意禁止向第三方披露．　│
*│　版权所有：动软卓越（北京）科技有限公司　　　　　　　　　　　　　　│
*└──────────────────────────────────┘
*/
using System;
using System.Data;
using System.Collections.Generic;
using NGJ.Common;
using NGJ.Model;
namespace NGJ.BLL
{
	/// 

	/// sys_Price
	/// 

	public partial class sys_Price
	{
		private readonly NGJ.DAL.sys_Price dal=new NGJ.DAL.sys_Price（）;
		public sys_Price（）
		{}
		#region  BasicMethod

		/// 

		/// 得到最大ID
		/// 

		public int GetMaxId（）
		{
			return dal.GetMaxId（）;
		}

		/// 

		/// 是否存在该记录
		/// 

		public bool Exists（int ID）
		{
			return dal.Exists（ID）;
		}

		/// 

		/// 增加一条数据
		/// 

		public int  Add（NGJ.Model.sys_Price model）
		{
			return dal.Add（model）;
		}

		/// 

		/// 更新一条数据
		/// 

		public bool Update（NGJ.Model.sys_Price model）
		{
			return dal.Update（model）;
		}

		/// 

		/// 删除一条数据
		/// 

		public bool Delete（int ID）
		{
			
			return dal.Delete（ID）;
		}
		/// 

		/// 删除一条数据
		/// 

		public bool DeleteList（string IDlist ）
		{
			return dal.DeleteList（IDlist ）;
		}

		/// 

		/// 得到一个对象实体
		/// 

		public NGJ.Model.sys_Price GetModel（int ID）
		{
			
			return dal.GetModel（ID）;
		}

		/// 

		/// 得到一个对象实体，从缓存中
		/// 

		public NGJ.Model.sys_Price GetModelByCache（int ID）
		{
			
			string CacheKey = “sys_PriceModel-“ + ID;
			object objModel = NGJ.Common.DataCache.GetCache（CacheKey）;
			if （objModel == null）
			{
				try
				{
					objModel = dal.GetModel（ID）;
					if （objModel != null）
					{
						int ModelCache = NGJ.Common.ConfigHelper.GetConfigInt（“ModelCache“）;
						NGJ.Common.DataCache.SetCache（CacheKey objModel DateTime.Now.AddMinutes（ModelCache） TimeSpan.Zero）;
					}
				}
				catch{}
			}
			return （NGJ.Model.sys_Price）objModel;
		}

		/// 

		/// 获得数据列表
		/// 

		public DataSet GetList（string strWhere）
		{
			return dal.GetList（strWhere）;
		}
		/// 

		/// 获得前几行数据
		/// 

		public DataSet GetList（int Topstring strWherestring filedOrder）
		{
			return dal.GetList（TopstrWherefiledOrder）;
		}
		/// 

		/// 获得数据列表
		/// 

		public List GetModelList（string strWhere）
		{
			DataSet ds = dal.GetList（strWhere）;
			return DataTableToList（ds.Tables[0]）;
		}
		/// 

		/// 获得数据列表
		/// 

		public List DataTableToList（DataTable dt）
		{
			List modelList = new List（

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        315  2016-10-31 11:35  ProWebBrowserCaiJi\ProWebBrowserCaiJi\app.config

     文件     178688  2016-10-21 10:00  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\Aliyun.MNS.dll

     文件     769536  2016-10-21 10:00  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\Aliyun.MNS.pdb

     文件     172032  2015-08-04 19:29  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\Aliyun.OSS.dll

     文件      15360  2013-03-20 11:32  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\COM.Excel.dll

     文件     145920  2016-10-28 15:29  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\CSRedis.dll

     文件     517632  2016-10-28 15:29  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\CSRedis.pdb

     文件    1089536  2013-03-20 11:32  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\Excel.dll

     文件     102400  2013-03-20 11:32  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\IBatisNet.Common.dll

     文件     249856  2013-03-20 11:33  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\IBatisNet.DataMapper.dll

     文件     288768  2016-03-31 17:29  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\log4net.dll

     文件     369152  2013-03-20 11:33  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\MySql.Data.dll

     文件     439296  2015-03-26 09:22  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\Newtonsoft.Json.dll

     文件     180224  2016-10-28 15:29  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\NGJ.Common.dll

     文件     368128  2016-10-28 15:29  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\NGJ.Common.pdb

     文件      65536  2016-10-21 10:00  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\NGJ.DBUtility.dll

     文件     169472  2016-10-21 10:00  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\NGJ.DBUtility.pdb

     文件      45056  2013-03-20 11:33  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\OpenSmtp.dll

     文件      32256  2016-10-31 11:39  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\ProWebBrowserCaiJi.exe

     文件        315  2016-10-31 11:35  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\ProWebBrowserCaiJi.exe.config

     文件      73216  2016-10-31 11:39  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\ProWebBrowserCaiJi.pdb

     文件      11600  2016-10-31 11:37  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\ProWebBrowserCaiJi.vshost.exe

     文件        315  2016-10-31 11:35  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\ProWebBrowserCaiJi.vshost.exe.config

     文件        490  2016-07-16 19:44  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\ProWebBrowserCaiJi.vshost.exe.manifest

     文件      66048  2015-12-28 18:12  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\Senparc.Weixin.dll

     文件     480256  2015-12-28 18:12  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\Senparc.Weixin.MP.dll

     文件     847872  2013-03-20 11:33  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\System.Data.SQLite.dll

     文件      15872  2016-10-28 15:29  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\WeiPay.dll

     文件      42496  2016-10-28 15:29  ProWebBrowserCaiJi\ProWebBrowserCaiJi\bin\Debug\WeiPay.pdb

     文件       5610  2016-10-31 11:33  ProWebBrowserCaiJi\ProWebBrowserCaiJi\BLL_sys_Price.cs

............此处省略39个文件信息