新闻自动采集系统

强大的新闻采集系统，对目标网站进行信息自动抓取，支持HTML页面内各种数据的采集，如文本信息，URL，数字，日期，图片等。 用户对每类信息自定义来源与分类 可以下载图片与各类文件，如PDF，Flash等 支持用户名与密码自动登录 支持命令行格式，可以Windows任务计划器配合，定期抽取目标网站 支持记录唯一索引，避免相同信息重复入库 支持智能替换功能，可以将内容中嵌入的所有的无关部分如广告去除 支持多页面文章内容自动抽取与合并 支持下一页自动浏览功能 数据直接进入数据库而不是文件中，因此与利用这些数据的网站程序或者桌面

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
using System.Threading;
using System.xml;

namespace 个性系列_智能新闻自动采集系统
{
    public partial class Main : Form
    {
        Thread ThreadGetNews;
        public Main（）
        {
            InitializeComponent（）;
        }
        private void Main_Load（object sender EventArgs e）
        {
            BindGrid（）;
            if （IsAutoGet（））
            {
                GetNews（）;
            }
        }
        bool IsAutoGet（）
        {
            xmlDocument xml = new xmlDocument（）;
            xml.Load（“RssNews.xml“）;
            string autoGet = ““;
            xmlNode Node = xml.SelectSingleNode（“RssNews/Config“）;
            if （Node != null）
            {
                autoGet = Node[“IsAutoGet“].InnerText;
                if （autoGet == “True“）
                {
                    程序启动就开始获取ToolStripMenuItem.Checked = true;
                    return true;
                }
            }
            return false;
        }
        void SetGetNewsBtn（string Enable）
        {
            if （Enable == “false“）
            {
                停止获取新闻ToolStripMenuItem.Enabled = true;
                开始获取新闻ToolStripMenuItem.Enabled = false;
            }
            else
            {
                停止获取新闻ToolStripMenuItem.Enabled = false;
                开始获取新闻ToolStripMenuItem.Enabled = true;
            }
        }
        void GetNews（）
        {
            treeView1.Nodes.Clear（）;
            ThreadGetNews = new Thread（new ThreadStart（BeginGetNews））;
            ThreadGetNews.Start（）;
        }
        void AddTreeNode（TreeNode Node1 TreeNode Node2）
        {
            Node1.Nodes.Add（Node2）;
            //Node1.ExpandAll（）;
        }
        void SetStateText（string a）
        {
            txtState.Text = a;
        }
        void AddRootTreeNode（TreeNode Node1 TreeNode Node2）
        {
            treeView1.Nodes.Add（Node1）;
        }
        delegate void A（string a）;
        delegate void B（TreeNode Node1 TreeNode Node2）;
        void BeginGetNews（）
        {
            object o = new object（）;
            lock （o）
            {
                try
                {
                    int NewsCount = 0;
                    int Rsscount = 0;
                    A detSetGetNewsBtn = new A（SetGetNewsBtn）;
                    A detSetStateText = new A（SetStateText）;
                    B detAddRootTreeNode = new B（AddRootTreeNode）;
                    B detAddTreeNode = new B（AddTreeNode）;
                    this.Invoke（detSetGetNewsBtn “false“）;
                    List rssList = News.GetRssList（）;
                    foreach （RssModel rss in rssList）
                    {
                        this.Invoke（detSetStateText “正在获取:“ + rss.NewsName）;
         

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件     284672  2007-04-14 10:39  NewsDig使用说明书.doc

    ..A..H.     24064  2006-10-14 15:30  NewsDig 原代码\个性系列-智能新闻自动采集系统.suo

     文件       1018  2006-07-28 22:05  NewsDig 原代码\个性系列-智能新闻自动采集系统.sln

     文件      86358  2006-07-29 02:29  NewsDig 原代码\个性系列-智能新闻自动采集系统\Favorites.ico

     文件       4007  2006-07-29 02:29  NewsDig 原代码\个性系列-智能新闻自动采集系统\个性系列-智能新闻自动采集系统.csproj

     文件      14393  2006-09-07 14:01  NewsDig 原代码\个性系列-智能新闻自动采集系统\News.cs

     文件       1603  2006-08-12 16:50  NewsDig 原代码\个性系列-智能新闻自动采集系统\NewsModel.cs

     文件        168  2006-07-28 22:42  NewsDig 原代码\个性系列-智能新闻自动采集系统\个性系列-智能新闻自动采集系统.csproj.user

     文件       6492  2006-08-12 16:54  NewsDig 原代码\个性系列-智能新闻自动采集系统\Rss.cs

     文件        978  2006-07-29 01:00  NewsDig 原代码\个性系列-智能新闻自动采集系统\NewsConfig.cs

     文件       2049  2006-08-12 09:38  NewsDig 原代码\个性系列-智能新闻自动采集系统\RssModel.cs

     文件        501  2006-07-28 22:05  NewsDig 原代码\个性系列-智能新闻自动采集系统\Program.cs

     文件      34734  2006-09-07 14:07  NewsDig 原代码\个性系列-智能新闻自动采集系统\Main.Designer.cs

     文件     143675  2006-09-07 14:07  NewsDig 原代码\个性系列-智能新闻自动采集系统\Main.resx

     文件      18986  2006-09-07 14:07  NewsDig 原代码\个性系列-智能新闻自动采集系统\Main.cs

     文件        585  2006-10-14 15:12  NewsDig 原代码\个性系列-智能新闻自动采集系统\obj\个性系列-智能新闻自动采集系统.csproj.FileList.txt

     文件      91803  2006-09-07 14:07  NewsDig 原代码\个性系列-智能新闻自动采集系统\obj\Debug\个性系列_智能新闻自动采集系统.Main.resources

     文件        180  2006-07-28 22:13  NewsDig 原代码\个性系列-智能新闻自动采集系统\obj\Debug\个性系列_智能新闻自动采集系统.Properties.Resources.resources

     文件      91648  2006-09-07 14:07  NewsDig 原代码\个性系列-智能新闻自动采集系统\obj\Debug\个性系列-智能新闻自动采集系统.pdb

     文件     233472  2006-09-07 14:07  NewsDig 原代码\个性系列-智能新闻自动采集系统\obj\Debug\个性系列-智能新闻自动采集系统.exe

     文件        841  2006-09-07 14:07  NewsDig 原代码\个性系列-智能新闻自动采集系统\obj\Debug\个性系列-智能新闻自动采集系统.csproj.GenerateResource.Cache

     目录          0  2006-11-06 20:19  NewsDig 原代码\个性系列-智能新闻自动采集系统\obj\Debug\Refactor

     目录          0  2006-11-06 20:19  NewsDig 原代码\个性系列-智能新闻自动采集系统\obj\Debug\TempPE

     目录          0  2006-11-06 20:19  NewsDig 原代码\个性系列-智能新闻自动采集系统\obj\Debug

     目录          0  2006-11-06 20:19  NewsDig 原代码\个性系列-智能新闻自动采集系统\obj

     文件       5632  2005-12-08 14:51  NewsDig 原代码\个性系列-智能新闻自动采集系统\bin\Debug\个性系列-智能新闻自动采集系统.vshost.exe

     文件     233472  2006-09-07 14:07  NewsDig 原代码\个性系列-智能新闻自动采集系统\bin\Debug\个性系列-智能新闻自动采集系统.exe

     文件      91648  2006-09-07 14:07  NewsDig 原代码\个性系列-智能新闻自动采集系统\bin\Debug\个性系列-智能新闻自动采集系统.pdb

     文件       6935  2006-10-13 21:35  NewsDig 原代码\个性系列-智能新闻自动采集系统\bin\Debug\RssNews.xml

     文件     786432  2006-08-20 19:27  NewsDig 原代码\个性系列-智能新闻自动采集系统\bin\Debug\qw_News_log.LDF

............此处省略18个文件信息