自己动手制作主题搜素引擎

自己动手制作主题搜索引擎，包含数据抓取和搜索，数据抓取采用启发式爬虫，搜索利用正常思路

package com.huaban.analysis.jieba;

import java.util.regex.Pattern;


public class CharacterUtil {
    public static Pattern reSkip = Pattern.compile（“（\\d+\\.\\d+|[a-zA-Z0-9]+）“）;
    private static final char[] connectors = new char[] { ‘+‘ ‘#‘ ‘&‘ ‘.‘ ‘_‘ ‘-‘ };


    public static boolean isChineseLetter（char ch） {
        if （ch >= 0x4E00 && ch <= 0x9FA5）
            return true;
        return false;
    }


    public static boolean isEnglishLetter（char ch） {
        if （（ch >= 0x0041 && ch <= 0x005A） || （ch >= 0x0061 && ch <= 0x007A））
            return true;
        return false;
    }


    public static boolean isDigit（char ch） {
        if （ch >= 0x0030 && ch <= 0x0039）
            return true;
        return false;
    }


    public static boolean isConnector（char ch） {
        for （char connector : connectors）
            if （ch == connector）
                return true;
        return false;
    }


    public static boolean ccFind（char ch） {
        if （isChineseLetter（ch））
            return true;
        if （isEnglishLetter（ch））
            return true;
        if （isDigit（ch））
            return true;
        if （isConnector（ch））
            return true;
        return false;
    }


    /**
     * 全角 to 半角大写 to 小写
     * 
     * @param input
     *            输入字符
     * @return 转换后的字符
     */
    public static char regularize（char input） {
        if （input == 12288） {
            return 32;
        }
        else if （input > 65280 && input < 65375） {
            return （char） （input - 65248）;
        }
        else if （input >= ‘A‘ && input <= ‘Z‘） {
            return （input += 32）;
        }
        return input;
    }

}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2016-05-21 00:52  search\
     文件         454  2016-05-20 20:30  search\.classpath
     文件         382  2016-05-14 16:51  search\.project
     目录           0  2016-05-14 16:51  search\.settings\
     文件         598  2016-05-14 16:51  search\.settings\org.eclipse.jdt.core.prefs
     目录           0  2016-05-21 00:44  search\bin\
     目录           0  2016-05-20 20:30  search\bin\com\
     目录           0  2016-05-20 20:30  search\bin\com\huaban\
     目录           0  2016-05-20 20:30  search\bin\com\huaban\analysis\
     目录           0  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\
     文件        1546  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\CharacterUtil.class
     文件        5503  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\DictSegment.class
     文件        1703  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\Hit.class
     文件        1226  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\Jiebasegmenter$SegMode.class
     文件        8447  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\Jiebasegmenter.class
     文件         467  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\Node.class
     文件        1104  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\Pair.class
     文件         842  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\SegToken.class
     目录           0  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\viterbi\
     文件        9018  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\viterbi\FinalSeg.class
     文件        7621  2016-05-20 20:30  search\bin\com\huaban\analysis\jieba\WordDictionary.class
     文件     5071839  2016-05-20 20:30  search\bin\dict.txt
     目录           0  2016-05-21 00:44  search\bin\iktest\
     文件         407  2016-05-20 20:30  search\bin\iktest\dict1.txt
     文件        1081  2016-05-20 20:30  search\bin\iktest\IKtest.class
     文件      391274  2016-05-20 20:30  search\bin\iktest\mydict.txt
     文件        5877  2016-05-21 00:44  search\bin\iktest\SAA.class
     文件        7859  2016-05-21 00:37  search\bin\iktest\Search.class
     文件        2973  2016-05-20 20:34  search\bin\iktest\stopwords.txt
     文件       35530  2016-05-20 20:30  search\bin\jieba.java.code.style.xml
     目录           0  2016-05-20 20:30  search\bin\main\
............此处省略56个文件信息