scrapy简单的多层页面爬取程序

恩..简单的scrapy简单的多层页面爬取程序，适用于初学者想尝试多层页面爬取又没有代码看的人，明天大概会写一篇博客分享大概的流程吧，到时候会有部分关键源码

using System;
using System.Collections.Generic;
using System.Data;
using System.Data.OleDb;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;

namespace Crawler
{
    public class AddControl
    {
        //public static string Path = Environment.CurrentDirectory + @“\Miss.xlsx“;
        private string xmlPath = Environment.CurrentDirectory + @“\Miss.xml“;

        /// 

        /// 将一个DataGridView填充数据，再返回给Form1
        /// 

        /// 
        /// 
        /// 
        public DataGridView AddDataView（）
        {
            DataGridView dataview = new DataGridView（）;
            xmlToDataGridView（xmlPath dataview）;
            return dataview;
        }
        /// 

        /// 加载xml数据以便detagridveiw使用
        /// 

        /// xml数据的 DataTable
        public DataTable AddDataView2（string xmlPath1 string rootNode）
        {
            using （xmlControl xmlcon = new xmlControl（xmlPath1 rootNode））
            {
                DataTable dt = xmlcon.xmlToDataTable（）;
                return dt;
            }
        }

        /// 

        /// 读取xml数据返回中间dt
        /// 

        /// xml文件路径
        /// 
        public DataTable xmlToDataGridView（string filePath DataGridView dgv）
        {
            xmlControl xmlcon = new xmlControl（xmlPath “task_table“）;
            DataTable dt = xmlcon.xmlToDataTable（）;
            return dt;
            //xmlControl xmlcon = new xmlControl（filePath “task_table“）;
            //DataTable dt = xmlcon.xmlToDataTable（）;
            //dgv.DataSource = dt.DefaultView;
        }

        /// 

        /// 新任务信息插入xml文件
        /// 

        /// 
        /// 数据数组
        public void InsertIntoxml（string filePath string[] datas string rootNode）
        {
            using （xmlControl xmlcon = new xmlControl（filePath rootNode））
            {
                xmlcon.xmlAddData（datas）;
                xmlcon.xmlSave（）;
            }
        }

        /// 

        /// 更新xml中任务数据
        /// 

        /// 
        /// riptname“>任务脚本名称
        /// 节点
        /// 
        public void UpdataIntoxml（string filePath string scriptname string nodename string data）
        {
            using （xmlControl xmlcon = new xmlControl（filePath “task_table“））
            {
                xmlcon.xmlUpdate（scriptname nodename data）;
                xmlcon.xmlSave（）;
            }
        }

        /// 

        /// 删除xml中任务信息
        /// 

        /// 
        /// 


 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        623  2018-06-18 12:03  爬虫new\爬虫\1117\.git\config

     文件         73  2018-06-18 12:03  爬虫new\爬虫\1117\.git\description

     文件         23  2018-06-18 12:03  爬虫new\爬虫\1117\.git\HEAD

     文件        177  2018-06-18 12:03  爬虫new\爬虫\1117\.git\hooks\README.sample

     文件       9624  2018-06-18 12:04  爬虫new\爬虫\1117\.git\index

     文件        113  2018-06-18 12:03  爬虫new\爬虫\1117\.git\info\exclude

     文件        350  2018-06-18 12:04  爬虫new\爬虫\1117\.git\logs\HEAD

     文件        350  2018-06-18 12:04  爬虫new\爬虫\1117\.git\logs\refs\heads\master

     文件        150  2018-06-18 12:04  爬虫new\爬虫\1117\.git\ms-persist.xml

     文件       4027  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\05\1470aa4cf4308e0ebe417a4c6792048bc8442a

     文件        200  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\08\9517cb4f7ca5f77e198d3351114fa08179aa51

     文件     193061  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\0c\7b2bbd3e29c2e860fda0171ad5a8f2837f38ba

     文件         89  2018-06-18 12:03  爬虫new\爬虫\1117\.git\objects\0d\76fe4328089e5b63a9c4190badacfc35ef2624

     文件        708  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\0d\e95e8a782f1aafbbbf1495b8da8d7a4f22f8d4

     文件        743  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\14\5768d5613fa11ded3eae68abb7f9aafc5a8674

     文件     146455  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\14\dc54351c2c4b37124a411a874f8902df74c9d2

     文件        702  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\15\a3ae4c999f9589e9d2bd3a1dbbdcf7cb74c6f4

     文件        621  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\16\a23c48c05d1f5b329528692bbb0167725a7f8f

     文件       1340  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\18\cd147d4befa1f7d11cee6ba3a1c18ebc27e064

     文件       3563  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\1a\a208564a9982b154f8fea97ac9c1ea32a223a2

     文件       1665  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\1a\f7de150c99c12dd67a509fe57c10d63e4eeb04

     文件        707  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\1b\004cdbd351cbbafb959e1a7a695a40ac85ee9f

     文件       1548  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\1c\83b2a5cf27e8c188136a839c1082b06d12a827

     文件       1863  2018-06-18 12:03  爬虫new\爬虫\1117\.git\objects\1c\9a181a44b4f9a105f0dc71a40ad0284ab6a7c4

     文件        614  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\1d\7539c284d1422194a70c22501c5d5407eff782

     文件     391678  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\1d\7cac7baa66cab3d8a59033d300ac96aa222867

     文件        751  2018-06-18 12:03  爬虫new\爬虫\1117\.git\objects\1f\f0c423042b46cb1d617b81efb715defbe8054d

     文件       2100  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\20\313f1e15b749ed7836243310d0a11d68619962

     文件     132393  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\20\403180d0572f4798eddf65e9dbcca96a777462

     文件       3952  2018-06-18 12:04  爬虫new\爬虫\1117\.git\objects\24\c78c6f5f3cffa1a30cae17bf2380cb5a38944d

............此处省略506个文件信息