• 大小: 8KB
    文件类型: .zip
    金币: 1
    下载: 0 次
    发布日期: 2021-05-18
  • 语言: 其他
  • 标签: MR  TF-IDF  

资源简介

用MapReduce实现TF-IDF,Hadoop版本是2.7.7,参考某教程亲自手写的,可以运行,有问题可以留言

资源截图

代码片段和文件信息

package com.sxt.hadoop.mr.tfidf;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class FirstJob {

static {
    try {
     System.load(“C:\\Windows\\System32\\hadoop.dll“);
    } catch (UnsatisfiedlinkError e) {
      System.err.println(“Native code library failed to load.\n“ + e);
      System.exit(1);
    }
}

public static void main(String[] args) {
Configuration conf = new Configuration();
conf.set(“mapreduce.app-submission.coress-paltform“ “true“);
conf.set(“mapreduce.framework.name“ “local“);
try {
FileSystem fs = FileSystem.get(conf);
Job job = Job.getInstance(conf);
job.setJarByClass(FirstJob.class);
job.setJobName(“weibo1“);


job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
job.setNumReduceTasks(4);
job.setPartitionerClass(FirstPartition.class);
job.setMapperClass(FirstMapper.class);
job.setCombinerClass(FirstReduce.class);
job.setReducerClass(FirstReduce.class);

FileInputFormat.addInputPath(job new Path(“/data/weibo.txt“));

Path path = new Path(“/data/output/weibo1“);
if (fs.exists(path)) {
fs.delete(path true);
}
FileOutputFormat.setOutputPath(job path);

boolean f = job.waitForCompletion(true);
if (f) {

}
} catch (Exception e) {
e.printStackTrace();
}
}
}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2019-05-18 01:12  tfidf\
     文件        1636  2019-04-30 11:04  tfidf\FirstJob.java
     文件        1471  2019-04-30 10:30  tfidf\FirstMapper.java
     文件         522  2019-03-30 19:57  tfidf\FirstPartition.java
     文件         777  2019-04-30 10:33  tfidf\FirstReduce.java
     文件        2245  2019-05-18 01:31  tfidf\LastJob.java
     文件        3704  2019-05-18 01:45  tfidf\LastMapper.java
     文件         582  2019-04-30 13:03  tfidf\LastReduce.java
     文件        1814  2019-05-18 01:31  tfidf\TwoJob.java
     文件        1269  2019-05-18 01:35  tfidf\TwoMapper.java
     文件         421  2019-05-18 01:17  tfidf\TwoPartition.java
     文件         535  2019-03-30 19:57  tfidf\TwoReduce.java

评论

共有 条评论