资源简介
关于Hadoop的WordCount实例代码,能够实现实现单词计数。
代码片段和文件信息
package com.tl.mr.wordcount;
import java.io.IOException;
import org.apache.commons.collections.map.StaticBucketMap;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCountDriver {
public static void main(String[] args) throws IOException ClassNotFoundException InterruptedException {
Configuration conf = new Configuration();
// 1 获取Job对象
Job job = Job.getInstance(conf);
// 2设置jar存储位置
job.setJarByClass(WordCountDriver.class);
// 3 关联Map和Reduce类
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(wordCountReduce.class);
// 4 设置Mapper阶段输出数据的key和value类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
// 5设置最终数据输出的keyvalue类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
// 6设置输入路径和输出路径
FileInputFormat.setInputPaths(job new Path(args[0]));
FileOutputFormat.setOutputPath(job new Path(args[1]));
// 7提价作业
boolean resulr = job.waitForCompletion(true);
System.exit(resulr?0:1);
}
}
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
文件 1433 2019-01-14 12:27 WordConunt\.classpath
文件 768 2019-01-14 12:27 WordConunt\.project
文件 430 2019-01-14 12:27 WordConunt\.settings\org.eclipse.jdt.core.prefs
文件 90 2019-01-14 12:27 WordConunt\.settings\org.eclipse.m2e.core.prefs
文件 122 2019-01-14 12:27 WordConunt\.settings\org.eclipse.wst.common.project.facet.core.xm
文件 421 2019-01-14 12:27 WordConunt\.settings\org.eclipse.wst.validation.prefs
文件 1347 2019-01-14 12:27 WordConunt\pom.xm
文件 1426 2019-01-14 12:27 WordConunt\src\main\java\com\tl\mr\wordcount\WordCountDriver.java
文件 1001 2019-01-14 12:27 WordConunt\src\main\java\com\tl\mr\wordcount\WordCountMapper.java
文件 694 2019-01-14 12:27 WordConunt\src\main\java\com\tl\mr\wordcount\wordCountReduce.java
文件 442 2019-01-14 12:27 WordConunt\src\main\resources\log4j.properties
文件 1905 2019-01-14 12:27 WordConunt\target\classes\com\tl\mr\wordcount\WordCountDriver.class
文件 2386 2019-01-14 12:27 WordConunt\target\classes\com\tl\mr\wordcount\WordCountMapper.class
文件 2307 2019-01-14 12:27 WordConunt\target\classes\com\tl\mr\wordcount\wordCountReduce.class
文件 442 2019-01-14 12:27 WordConunt\target\classes\log4j.properties
文件 115 2019-01-14 12:27 WordConunt\target\classes\me
文件 216 2019-01-14 12:27 WordConunt\target\classes\me
文件 1347 2019-01-14 12:27 WordConunt\target\classes\me
目录 0 2019-01-14 12:27 WordConunt\src\main\java\com\tl\mr\wordcount
目录 0 2019-01-14 12:27 WordConunt\src\main\java\com\tl\mr
目录 0 2019-01-14 12:27 WordConunt\target\classes\com\tl\mr\wordcount
目录 0 2019-01-14 12:27 WordConunt\target\classes\me
目录 0 2019-01-14 12:27 WordConunt\src\main\java\com\tl
目录 0 2019-01-14 12:27 WordConunt\target\classes\com\tl\mr
目录 0 2019-01-14 12:27 WordConunt\target\classes\me
目录 0 2019-01-14 12:27 WordConunt\src\main\java\com
目录 0 2019-01-14 12:27 WordConunt\target\classes\com\tl
目录 0 2019-01-14 12:27 WordConunt\target\classes\me
目录 0 2019-01-14 12:27 WordConunt\src\main\java
目录 0 2019-01-14 12:27 WordConunt\src\main\resources
............此处省略15个文件信息
相关资源
- 完全可用. hadoop 2.9.0 最新hadoop.dllwi
- windows下安装hadoop的依赖库
- hadoop 2.7.3 32位
- hadoop2.8.0windows环境搭建所需hadoop.dll
- spark1.6.1
- hadoop-2.9.2 win环境运行资源文件:hadoo
- MapReduce字数统计案例
- 基于Apriori算法的频繁项集Hadoop mapre
- 尚硅谷spark
- Cloudera Manager安装部署
- MapReduce maven工程WordCount
- hiveAuth.zip
- Hadoop3.1.x_Windows环境整合依赖.rar
- atguigu-Hadoop.txt
- hadoop-2.7.1.tar.gz centos 64位
- hadoop-2.7.7 windows配置需要的bin文件
- hadoop2.9.1编译
- winutils.exe_hadoop-2.7.1
- Hadoop倒排索引程序
- Hadoop权威指南第四版_中文版本_pdf高清
- hadoop的winutils.exe及dll文件
- hadoop-3.2.1.rar
- hadoop MapReduce案例运营商关于用户基站
- 电影推荐系统:基于spark、hadoop、ka
- Hadoop安装ubuntu16.04+ hadoop-2.9.1.tar.gz+j
- Hadoop权威指南 NCDC气象数据
- hadoop的winutils.exe工具和hadoop.dll
- csv大文件分割工具 超好用
- 大数据 hadoop mapreduce 词频统计
- win10编译好的hadoop2.8.3、hadoop2.6.4安装
评论
共有 条评论