基于Hbase的海量视频存储简单模拟

以hadoop、hbase为基础，hdfs存储文件，hbase存储相应索引，使用分词技术，实现视频的存储及索引，这是一个简单的web项目，欢迎交流学习：770838433

package com.util;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;

public class HdsfAPI {

	/** 上传文件到HDFS上去 */

	private static void uploadToHdfs（）{
		String localSrc = “/usr/test/image/1.jpg“;
		String dst = “hdfs://localhost:9000/input/image/1.jpg“;
		try {
			InputStream in = new BufferedInputStream（new FileInputStream（localSrc））;
			Configuration conf = new Configuration（）;
			FileSystem fs = FileSystem.get（URI.create（dst） conf）;
			OutputStream out = fs.create（new Path（dst） new Progressable（） {
				public void progress（） {
					System.out.print（“.“）;
				}
			}）;
			IOUtils.copyBytes（in out 4096 true）;
		} catch （FileNotFoundException e） {
			e.printStackTrace（）;
		} catch （IOException e） {
			e.printStackTrace（）;
		}
	}

	/** 从HDFS上读取文件到本地*/
	private static void readFromHdfs（） throws FileNotFoundException
			IOException {
		String dst = “hdfs://localhost:9000/input/image/1.jpg“;
		Configuration conf = new Configuration（）;
		FileSystem fs = FileSystem.get（URI.create（dst） conf）;
		FSDataInputStream hdfsInStream = fs.open（new Path（dst））;
		OutputStream out = new FileOutputStream（“/usr/test/image/1.jpg“）;
		byte[] ioBuffer = new byte[1024];
		int readLen = hdfsInStream.read（ioBuffer）;
		while （-1 != readLen） {
			out.write（ioBuffer 0 readLen）;
			readLen = hdfsInStream.read（ioBuffer）;
		}
		out.close（）;
		hdfsInStream.close（）;
		fs.close（）;
	}

	

	/*private static void appendToHdfs（） throws FileNotFoundException
			IOException {
		String dst = “hdfs://localhost:9000/input/uploadToHdfs.txt“;
		Configuration conf = new Configuration（）;
		FileSystem fs = FileSystem.get（URI.create（dst） conf）;
		FSDataOutputStream out = fs.append（new Path（dst））;
		int readLen = “huangyicong append this file !“.getBytes（）.length;
		while （-1 != readLen） {
			out.write（“huangyicong append this file !“.getBytes（） 0 readLen）;
		}
		out.close（）;
		fs.close（）;
	}*/

	/** 从HDFS上删除文件 */
	private static void deleteFromHdfs（） throws FileNotFoundException
			IOException {
		String dst = “hdfs://localhost:9000/user/root“;
		Configuration conf = new Configuration（）;
		FileSystem fs = FileSystem.get（URI.create（dst） conf）;
		fs.deleteOnExit（new Path（dst））;
		fs.close（）;
	}

	/** 遍历HDFS上的文件和目录 */
	private static void getDirectoryFromHdfs（） throws FileNotFoundException
			IOException {
		String dst = “hdfs://localhost:9000/input/image“;
		Configuration conf = new Configuration（）;
		FileSystem fs = FileSystem.get（URI.create（dst） conf）;
		File

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2015-05-09 21:25  HbaseVideo\
     文件        1075  2015-05-06 12:52  HbaseVideo\.classpath
     文件        1007  2015-05-06 12:10  HbaseVideo\.project
     目录           0  2015-05-09 21:19  HbaseVideo\.settings\
     文件         491  2015-05-06 12:10  HbaseVideo\.settings\.jsdtscope
     文件         357  2015-05-06 12:10  HbaseVideo\.settings\org.eclipse.jdt.core.prefs
     文件         475  2015-05-06 12:10  HbaseVideo\.settings\org.eclipse.wst.common.component
     文件         335  2015-05-06 12:10  HbaseVideo\.settings\org.eclipse.wst.common.project.facet.core.xml
     文件          49  2015-05-06 12:10  HbaseVideo\.settings\org.eclipse.wst.jsdt.ui.superType.container
     文件           6  2015-05-06 12:10  HbaseVideo\.settings\org.eclipse.wst.jsdt.ui.superType.name
     文件         498  2015-05-09 21:38  HbaseVideo\README.txt
     目录           0  2015-05-09 21:19  HbaseVideo\src\
     目录           0  2015-05-09 21:19  HbaseVideo\src\com\
     目录           0  2015-05-09 21:19  HbaseVideo\src\com\util\
     目录           0  2015-05-09 21:19  HbaseVideo\src\com\util\analyseWords\
     文件        1067  2015-05-07 01:50  HbaseVideo\src\com\util\analyseWords\AnalyseWords.java
     目录           0  2015-05-09 21:19  HbaseVideo\src\com\util\commonUtil\
     文件        2098  2015-05-08 19:07  HbaseVideo\src\com\util\commonUtil\CommonUtil.java
     目录           0  2015-05-09 21:19  HbaseVideo\src\com\util\ffmpegUtil\
     文件        1813  2015-05-04 23:59  HbaseVideo\src\com\util\ffmpegUtil\FfmpegUtil.java
     目录           0  2015-05-09 21:19  HbaseVideo\src\com\util\HbaseUtil\
     文件        2532  2015-05-05 20:07  HbaseVideo\src\com\util\HbaseUtil\HbaseUtil.java
     文件        3620  2015-05-06 13:09  HbaseVideo\src\com\util\HdsfAPI.java
     目录           0  2015-05-09 21:19  HbaseVideo\src\com\util\similarityUtil\
     文件        1647  2012-08-05 15:09  HbaseVideo\src\com\util\similarityUtil\SimilarityUtil.java
     文件        4163  2015-05-08 18:40  HbaseVideo\src\com\util\TestHbase.java
     目录           0  2015-05-09 21:19  HbaseVideo\src\com\util\videoUtil\
     文件        3406  2015-05-09 01:06  HbaseVideo\src\com\util\videoUtil\VideoUtil.java
     文件         414  2012-02-14 11:21  HbaseVideo\src\IKAnalyzer.cfg.xml
     文件         241  2015-05-08 20:59  HbaseVideo\src\ipConfig.properties
     文件         161  2011-04-15 16:39  HbaseVideo\src\stopword.dic
............此处省略102个文件信息