Spark大数据中文分词统计Java工程源码

参考网络资源使用IKAnalyzer分词组件，实现了纯Java语言、MapReduce模式及Spark 框架三种方式对唐诗宋词等国学经典进行中文分词统计排序的功能，你可以轻松发现唐诗宋词中最常用的词是那几个。

/**JavaWordCount
 * 
 * com.magicstudio.spark
 *
 * FileUtil.java
 *
 * dumbbellyang at 2016年8月7日 下午8:29:57
 *
 * Mail:yangdanbo@163.com Weixin:dumbbellyang
 *
 * Copyright 2016 MagicStudio.All Rights Reserved
 */
package com.magicstudio.spark;

import java.io.File;

public class FileUtil {
	// 验证字符串是否为正确路径名的正则表达式  
	private static String matches = “[A-Za-z]:\\\\[^:?\“><*]*“;  
	// 通过 sPath.matches（matches） 方法的返回值判断是否正确  
	// sPath 为路径字符串  
	
	public static boolean createFolder（String folder）{
		return new File（folder）.mkdirs（）;
	}
    /**
     * 删除单个文件
     * @param   sPath    被删除文件的文件名
     * @return 单个文件删除成功返回true，否则返回false
     */
    public static boolean deleteFile（String sPath） {
        boolean flag = false;
        File file = new File（sPath）;
        // 路径为文件且不为空则进行删除
        if （file.isFile（） && file.exists（）） {
            file.delete（）;
            flag = true;
        }
        return flag;
    }
    
    /**
     * 删除目录（文件夹）以及目录下的文件
     * @param   sPath 被删除目录的文件路径
     * @return  目录删除成功返回true，否则返回false
     */
    public static boolean deleteDirectory（String sPath） {
        //如果sPath不以文件分隔符结尾，自动添加文件分隔符
        if （!sPath.endsWith（File.separator）） {
            sPath = sPath + File.separator;
        }
        File dirFile = new File（sPath）;
        //如果dir对应的文件不存在，或者不是一个目录，则退出
        if （!dirFile.exists（） || !dirFile.isDirectory（）） {
            return false;
        }
        boolean flag = true;
        //删除文件夹下的所有文件（包括子目录）
        File[] files = dirFile.listFiles（）;
        for （int i = 0; i < files.length; i++） {
            //删除子文件
            if （files[i].isFile（）） {
                flag = deleteFile（files[i].getAbsolutePath（））;
                if （!flag） break;
            } //删除子目录
            else {
                flag = deleteDirectory（files[i].getAbsolutePath（））;
                if （!flag） break;
            }
        }
        if （!flag） return false;
        //删除当前目录
        if （dirFile.delete（）） {
            return true;
        } else {
            return false;
        }
    }
    
    /**
     *  根据路径删除指定的目录或文件，无论存在与否
     *@param sPath  要删除的目录或文件
     *@return 删除成功返回 true，否则返回 false。
     */
    public static boolean deleteFolder（String sPath） {
        boolean flag = false;
        File file = new File（sPath）;
        // 判断目录或文件是否存在
        if （!file.exists（）） {  // 不存在返回 false
            return flag;
        } else {
            // 判断是否为文件
            if （file.isFile（）） {  // 为文件时调用删除文件方法
                return deleteFile（sPath）;
            } else {  // 为目录时调用删除目录方法
                return deleteDirectory（sPath）;
            }
        }
    }
    
    public static void main（String[] args） {

        //HandleFileClass hfc = new HandleFileClass（）;
        String path = “D:\\Abc\\123\\Ab1“;
        boolean result = createFolder（path）;
        System.out.println（result）;
        path = “D:\\Abc\\124“;