• 大小: 10KB
    文件类型: .rar
    金币: 1
    下载: 0 次
    发布日期: 2021-06-08
  • 语言: 其他
  • 标签: WordCount  Hadoop  

资源简介

关于Hadoop的WordCount实例代码,能够实现实现单词计数。

资源截图

代码片段和文件信息

package com.tl.mr.wordcount;

import java.io.IOException;

import org.apache.commons.collections.map.StaticBucketMap;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCountDriver {

public static void main(String[] args) throws IOException ClassNotFoundException InterruptedException {
        Configuration conf = new Configuration();
// 1 获取Job对象
Job job = Job.getInstance(conf); 

// 2设置jar存储位置
job.setJarByClass(WordCountDriver.class);

// 3 关联Map和Reduce类
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(wordCountReduce.class);

// 4 设置Mapper阶段输出数据的key和value类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);

// 5设置最终数据输出的keyvalue类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);

// 6设置输入路径和输出路径
FileInputFormat.setInputPaths(job new Path(args[0]));
FileOutputFormat.setOutputPath(job new Path(args[1]));

// 7提价作业
boolean resulr = job.waitForCompletion(true);
    System.exit(resulr?0:1);
}
}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件       1433  2019-01-14 12:27  WordConunt\.classpath

     文件        768  2019-01-14 12:27  WordConunt\.project

     文件        430  2019-01-14 12:27  WordConunt\.settings\org.eclipse.jdt.core.prefs

     文件         90  2019-01-14 12:27  WordConunt\.settings\org.eclipse.m2e.core.prefs

     文件        122  2019-01-14 12:27  WordConunt\.settings\org.eclipse.wst.common.project.facet.core.xml

     文件        421  2019-01-14 12:27  WordConunt\.settings\org.eclipse.wst.validation.prefs

     文件       1347  2019-01-14 12:27  WordConunt\pom.xml

     文件       1426  2019-01-14 12:27  WordConunt\src\main\java\com\tl\mr\wordcount\WordCountDriver.java

     文件       1001  2019-01-14 12:27  WordConunt\src\main\java\com\tl\mr\wordcount\WordCountMapper.java

     文件        694  2019-01-14 12:27  WordConunt\src\main\java\com\tl\mr\wordcount\wordCountReduce.java

     文件        442  2019-01-14 12:27  WordConunt\src\main\resources\log4j.properties

     文件       1905  2019-01-14 12:27  WordConunt\target\classes\com\tl\mr\wordcount\WordCountDriver.class

     文件       2386  2019-01-14 12:27  WordConunt\target\classes\com\tl\mr\wordcount\WordCountMapper.class

     文件       2307  2019-01-14 12:27  WordConunt\target\classes\com\tl\mr\wordcount\wordCountReduce.class

     文件        442  2019-01-14 12:27  WordConunt\target\classes\log4j.properties

     文件        115  2019-01-14 12:27  WordConunt\target\classes\meta-INF\MANIFEST.MF

     文件        216  2019-01-14 12:27  WordConunt\target\classes\meta-INF\maven\com.tl\WordConunt\pom.properties

     文件       1347  2019-01-14 12:27  WordConunt\target\classes\meta-INF\maven\com.tl\WordConunt\pom.xml

     目录          0  2019-01-14 12:27  WordConunt\src\main\java\com\tl\mr\wordcount

     目录          0  2019-01-14 12:27  WordConunt\src\main\java\com\tl\mr

     目录          0  2019-01-14 12:27  WordConunt\target\classes\com\tl\mr\wordcount

     目录          0  2019-01-14 12:27  WordConunt\target\classes\meta-INF\maven\com.tl\WordConunt

     目录          0  2019-01-14 12:27  WordConunt\src\main\java\com\tl

     目录          0  2019-01-14 12:27  WordConunt\target\classes\com\tl\mr

     目录          0  2019-01-14 12:27  WordConunt\target\classes\meta-INF\maven\com.tl

     目录          0  2019-01-14 12:27  WordConunt\src\main\java\com

     目录          0  2019-01-14 12:27  WordConunt\target\classes\com\tl

     目录          0  2019-01-14 12:27  WordConunt\target\classes\meta-INF\maven

     目录          0  2019-01-14 12:27  WordConunt\src\main\java

     目录          0  2019-01-14 12:27  WordConunt\src\main\resources

............此处省略15个文件信息

评论

共有 条评论