资源简介
这是一个在hadoop集群环境下的文档倒排程序。数据源是莎士比亚文集(运行是需要设置)

代码片段和文件信息
package example;
import java.io.IOException;
import java.util.Iterator;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Reducer;
public class InvertedIndexCombiner extends Reducer< PostingIntWritablePostingIntWritable>
{ @Override
protected void reduce(Posting key Iterable values Context context)
throws IOException InterruptedException
{ Iterator it = values.iterator();
int sum=0;
while(it.hasNext()){
sum++;
it.next();
}
context.write(keynew IntWritable(sum));
}
}
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2011-04-26 09:49 InvertedIndex\
文件 4462 2011-04-26 09:39 InvertedIndex\.classpath
文件 389 2011-04-26 09:38 InvertedIndex\.project
目录 0 2011-05-16 20:02 InvertedIndex\bin\
文件 0 2011-04-26 09:49 InvertedIndex\SecurityAuth.audit
目录 0 2011-04-26 09:39 InvertedIndex\src\
目录 0 2011-04-26 10:57 InvertedIndex\src\example\
文件 608 2011-05-16 14:30 InvertedIndex\src\example\InvertedIndexCombiner.java
文件 1527 2011-04-26 10:59 InvertedIndex\src\example\InvertedIndexer.java
文件 1042 2011-05-16 14:22 InvertedIndex\src\example\InvertedIndexMapper.java
文件 2575 2011-04-26 14:55 InvertedIndex\src\example\InvertedIndexReducer.java
文件 405 2011-04-26 10:58 InvertedIndex\src\example\NewPartitioner.java
文件 3034 2011-04-26 10:45 InvertedIndex\src\example\Posting.java
- 上一篇:支持向量回归实现
- 下一篇:数电交通灯课程设计附Multisim仿真电路
相关资源
- 《Hadoop大数据技术》课程设计报告.
- Hadoop.in.Practice.2nd.Edition
- 基于Greenplum Hadoop- 分布式平台的大数
- 构建用户自画像视频教程真实企业项
- hdp安装手册
- hadoop技术内幕三件套
- [百度网盘]Hadoop技术内幕 深入解析M
- Hadoop技术内幕 深入解析YARN架构设计与
- Hadoop技术内幕:深入解析YARN架构设计
- Hadoop技术内幕 完整三本合集baidu链接
- 中国大数据技术与产业发展报告
- 在Hadoop生态中大数据平台架构与实践
- hadoop集群搭建教程.zip
- Hadoop技术内幕 深入解析HADOOP COMMON和
- 大数据技术之面试题 .pdf
- windows64位平台的hadoop2.8.4插件包(ha
- hadoop-2.5.0-cdh5.3.6 编译native包
- MapReduce基于物品的协同过滤算法实现
- 大数据组件介绍PPT
- 《Hadoop构建数据仓库实践》电子书
- Gi盘——基于hadoop的分布式网盘项目
- Hadoop深度学习
- CDH5hadoop集群搭建手册,大数据平台搭
- 第8讲:Pig应用开发文档
- 第7讲:Hive数据仓库文档
- 基于Hadoop的微博信息挖掘
- hadoop API
- Hadoop编程操作 高性能云计算
- Hadoop安全:大数据平台隐私保护.pdf
- Kerberos权威指南 Kerberos The Definitive G
评论
共有 条评论