• 大小: 3.88MB
    文件类型: .zip
    金币: 2
    下载: 0 次
    发布日期: 2024-01-30
  • 语言: 其他
  • 标签: C#  .net  

资源简介

VS2013使用盘古分词先对用户输入的句子进行分割,在进行词语的查询的使用软件

资源截图

代码片段和文件信息

using System.Collections;
using System.IO;

using Lucene.Net.Analysis;

namespace NSharp.SearchEngine.Lucene.Analysis.Cjk
{
    /**/
    /**
 * Filters CJKTokenizer with StopFilter.
 *
 * @author Che Dong
 */
    public class CJKAnalyzer : Analyzer
    {
        //~ Static fields/initializers ---------------------------------------------

        /**/
        /**
     * An array containing some common English words that are not usually
     * useful for searching and some double-byte interpunctions.
     */
        public static string[] STOP_WORDS = {
                                                 “a“ “and“ “are“ “as“ “at“ “be“
                                                 “but“ “by“ “for“ “if“ “in“
                                                 “into“ “is“ “it“ “no“ “not“
                                                 “of“ “on“ “or“ “s“ “such“ “t“
                                                 “that“ “the“ “their“ “then“
                                                 “there“ “these“ “they“ “this“
                                                 “to“ “was“ “will“ “with“ ““
                                                 “www“
                                             };

        //~ Instance fields --------------------------------------------------------

        /**/
        /**
     * stop word list
     */
        private Hashtable stopTable;

        //~ Constructors -----------------------------------------------------------

        /**/
        /**
     * Builds an analyzer which removes words in {@link #STOP_WORDS}.
     */
        public CJKAnalyzer()
        {
            stopTable = StopFilter.MakeStopSet(STOP_WORDS);
        }

        /**/
        /**
     * Builds an analyzer which removes words in the provided array.
     *
     * @param stopWords stop word array
     */
        public CJKAnalyzer(string[] stopWords)
        {
            stopTable = StopFilter.MakeStopSet(stopWords);
        }

        //~ Methods ----------------------------------------------------------------

        /**/
        /**
     * get token stream from input
     *
     * @param fieldName lucene field name
     * @param reader    input reader
     * @return TokenStream
     */
        public override TokenStream TokenStream(string fieldName TextReader reader)
        {
            TokenStream ts = new CJKTokenizer(reader);
            return new StopFilter(ts stopTable);
            //return new StopFilter(new CJKTokenizer(reader) stopTable);
        }
    }
}


 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2016-10-16 21:30  盘古分词\
     目录           0  2016-11-04 20:09  盘古分词\盘古分词\
     文件        1005  2016-10-16 21:30  盘古分词\盘古分词.sln
     文件       65536  2016-11-15 23:28  盘古分词\盘古分词.v12.suo
     文件         321  2016-10-19 15:04  盘古分词\盘古分词\App.config
     目录           0  2016-10-17 18:05  盘古分词\盘古分词\bin\
     目录           0  2016-10-17 21:59  盘古分词\盘古分词\bin\Debug\
     目录           0  2016-10-16 21:46  盘古分词\盘古分词\bin\Debug\Dict\
     文件        1001  2016-10-16 21:33  盘古分词\盘古分词\bin\Debug\Dict\ChsDoubleName1.txt
     文件        1011  2016-10-16 21:33  盘古分词\盘古分词\bin\Debug\Dict\ChsDoubleName2.txt
     文件        1006  2016-10-16 21:33  盘古分词\盘古分词\bin\Debug\Dict\ChsSingleName.txt
     文件     3642500  2016-10-16 21:33  盘古分词\盘古分词\bin\Debug\Dict\Dict.dct
     文件         251  2016-10-16 21:33  盘古分词\盘古分词\bin\Debug\Dict\Stopword.txt
     文件       75361  2016-10-16 21:33  盘古分词\盘古分词\bin\Debug\Dict\Synonym.txt
     文件         215  2016-10-16 21:33  盘古分词\盘古分词\bin\Debug\Dict\Wildcard.txt
     文件      856064  2012-09-18 14:51  盘古分词\盘古分词\bin\Debug\Lucene.Net.dll
     文件       78336  2012-09-18 15:30  盘古分词\盘古分词\bin\Debug\PanGu.dll
     文件        6144  2012-09-18 15:30  盘古分词\盘古分词\bin\Debug\PanGu.Lucene.Analyzer.dll
     文件       20992  2016-10-19 16:15  盘古分词\盘古分词\bin\Debug\盘古分词.exe
     文件         321  2016-10-19 15:04  盘古分词\盘古分词\bin\Debug\盘古分词.exe.config
     文件       52736  2016-10-19 16:15  盘古分词\盘古分词\bin\Debug\盘古分词.pdb
     文件       24224  2016-11-15 23:08  盘古分词\盘古分词\bin\Debug\盘古分词.vshost.exe
     文件         321  2016-10-19 15:04  盘古分词\盘古分词\bin\Debug\盘古分词.vshost.exe.config
     文件         490  2013-03-18 17:00  盘古分词\盘古分词\bin\Debug\盘古分词.vshost.exe.manifest
     目录           0  2016-10-17 18:05  盘古分词\盘古分词\bin\Release\
     文件        2643  2016-10-16 21:37  盘古分词\盘古分词\CJKAnalyzer.cs
     文件        9541  2016-10-16 21:37  盘古分词\盘古分词\CJKTokenizer.cs
     目录           0  2016-10-16 21:33  盘古分词\盘古分词\Dict\
     文件        1001  2016-10-16 21:33  盘古分词\盘古分词\Dict\ChsDoubleName1.txt
     文件        1011  2016-10-16 21:33  盘古分词\盘古分词\Dict\ChsDoubleName2.txt
     文件        1006  2016-10-16 21:33  盘古分词\盘古分词\Dict\ChsSingleName.txt
............此处省略42个文件信息

评论

共有 条评论