资源简介
这是一个在hadoop集群环境下的文档倒排程序。数据源是莎士比亚文集(运行是需要设置)
代码片段和文件信息
package example;
import java.io.IOException;
import java.util.Iterator;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Reducer;
public class InvertedIndexCombiner extends Reducer< PostingIntWritablePostingIntWritable>
{ @Override
protected void reduce(Posting key Iterable values Context context)
throws IOException InterruptedException
{ Iterator it = values.iterator();
int sum=0;
while(it.hasNext()){
sum++;
it.next();
}
context.write(keynew IntWritable(sum));
}
}
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2011-04-26 09:49 InvertedIndex\
文件 4462 2011-04-26 09:39 InvertedIndex\.classpath
文件 389 2011-04-26 09:38 InvertedIndex\.project
目录 0 2011-05-16 20:02 InvertedIndex\bin\
文件 0 2011-04-26 09:49 InvertedIndex\SecurityAuth.audit
目录 0 2011-04-26 09:39 InvertedIndex\src\
目录 0 2011-04-26 10:57 InvertedIndex\src\example\
文件 608 2011-05-16 14:30 InvertedIndex\src\example\InvertedIndexCombiner.java
文件 1527 2011-04-26 10:59 InvertedIndex\src\example\InvertedIndexer.java
文件 1042 2011-05-16 14:22 InvertedIndex\src\example\InvertedIndexMapper.java
文件 2575 2011-04-26 14:55 InvertedIndex\src\example\InvertedIndexReducer.java
文件 405 2011-04-26 10:58 InvertedIndex\src\example\NewPartitioner.java
文件 3034 2011-04-26 10:45 InvertedIndex\src\example\Posting.java
- 上一篇:支持向量回归实现
- 下一篇:数电交通灯课程设计附Multisim仿真电路
相关资源
- Hadoop权威指南第四版_中文版本_pdf高清
- hadoop的winutils.exe及dll文件
- hadoop-3.2.1.rar
- hadoop MapReduce案例运营商关于用户基站
- 电影推荐系统:基于spark、hadoop、ka
- Hadoop安装ubuntu16.04+ hadoop-2.9.1.tar.gz+j
- Hadoop权威指南 NCDC气象数据
- hadoop的winutils.exe工具和hadoop.dll
- csv大文件分割工具 超好用
- 大数据 hadoop mapreduce 词频统计
- win10编译好的hadoop2.8.3、hadoop2.6.4安装
- 传智播客7天Hadoop培训视频吴超
- hadoop网盘小项目介绍及相关代码
- hadoop气象数据
- 传智播客Hadoop教程(吴超版本,价值
- hadoop.dll
- hadoop_64_native_lib
- hadoop实战项目
- windows中的hadoop2.7.3的32位的hadoop-2.7.
- hadoop2.7.3的32位的hadoop.dll和winutils.ex
- Hadoop词频统计完整版
- hadoop+lucene几种结合形式
- 大数据培训视频教程.zip
- Hadoop MapReduce实现tfidf源码
- 整理的大数据hadoop教学视频尚硅谷,
- hadoop3.0.0以上版本的winutil
- Hue之编译之后的压缩包
- windows64位平台的hadoop2.5.2插件包(ha
- Hadoop课程实验和报告——Apriori算法并
- 实验题目:基于Hadoop的并行贝叶斯分
评论
共有 条评论