资源简介
用MapReduce实现TF-IDF,Hadoop版本是2.7.7,参考某教程亲自手写的,可以运行,有问题可以留言
代码片段和文件信息
package com.sxt.hadoop.mr.tfidf;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class FirstJob {
static {
try {
System.load(“C:\\Windows\\System32\\hadoop.dll“);
} catch (UnsatisfiedlinkError e) {
System.err.println(“Native code library failed to load.\n“ + e);
System.exit(1);
}
}
public static void main(String[] args) {
Configuration conf = new Configuration();
conf.set(“mapreduce.app-submission.coress-paltform“ “true“);
conf.set(“mapreduce.framework.name“ “local“);
try {
FileSystem fs = FileSystem.get(conf);
Job job = Job.getInstance(conf);
job.setJarByClass(FirstJob.class);
job.setJobName(“weibo1“);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
job.setNumReduceTasks(4);
job.setPartitionerClass(FirstPartition.class);
job.setMapperClass(FirstMapper.class);
job.setCombinerClass(FirstReduce.class);
job.setReducerClass(FirstReduce.class);
FileInputFormat.addInputPath(job new Path(“/data/weibo.txt“));
Path path = new Path(“/data/output/weibo1“);
if (fs.exists(path)) {
fs.delete(path true);
}
FileOutputFormat.setOutputPath(job path);
boolean f = job.waitForCompletion(true);
if (f) {
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2019-05-18 01:12 tfidf\
文件 1636 2019-04-30 11:04 tfidf\FirstJob.java
文件 1471 2019-04-30 10:30 tfidf\FirstMapper.java
文件 522 2019-03-30 19:57 tfidf\FirstPartition.java
文件 777 2019-04-30 10:33 tfidf\FirstReduce.java
文件 2245 2019-05-18 01:31 tfidf\LastJob.java
文件 3704 2019-05-18 01:45 tfidf\LastMapper.java
文件 582 2019-04-30 13:03 tfidf\LastReduce.java
文件 1814 2019-05-18 01:31 tfidf\TwoJob.java
文件 1269 2019-05-18 01:35 tfidf\TwoMapper.java
文件 421 2019-05-18 01:17 tfidf\TwoPartition.java
文件 535 2019-03-30 19:57 tfidf\TwoReduce.java
- 上一篇:绿化数量统计插件
- 下一篇:家庭成员问题数据结构
相关资源
- IBM_M系列_RAID卡驱动
- IOSrv_OMRONHL
- KUKA机器人通过EtherNetIP与工业相机通讯
- OMRON PLC LabVIEW Driver
- QQ微信amr语音批量转mp3
- 产品经理常用文档模板.rar
- AMR-LBM-OpenMP-2D.rar
- 用友U9_MPSMRP操作方法
- vimrc的配置文件
-
omron plc HOSTli
nk 协议 写的通用测试 - 论文研究 - 功能磁共振成像fMRI展示了
- 骨胶原多肽对小鼠抗氧化能力和皮肤
- 两种褐煤的13C-NMR特征及CPD高温快速热
- lt;mathgt; mrow msup mrow mi e / mi / mrow mro
- $$ \\ Lambda _ {b} \\ rightarrow N ^ * \\ ell
- 正在分析$$ \\ Xi1620$$ lt;mathgt; mrow mi&
- 可能的开放式五夸克分子$$ \\ varOmeg
- 衰减lt;mathgt; mi X / mi mo/ mo mn 3872 / mn
- 具有$$ C ^ 2F ^ 2 $$ lt;mathgt; mrow msup mi
- 完整测量lt;mathgt; mrow miΛ/ mi / m
- lt;mathgt; msup mi B / mi mn 0 / mn / msup mo&
- SKIP调控SEF pre-mRNA的可变剪接抑制拟南
- lt;mathgt; mrow miτ/ mi mo→/ mo msub
- Faddeev–Popov鬼对$$ \\ beta $$ lt;math
- 直接测量lt;mathgt; mrow miτ/ mi / mrow
- $$ {\\ mathrm {SU}}N$$ lt;mathgt; mrow mi SU l
- 非标准Majoron发射的无中微子双lt;mat
- 亚砷酸钠对大鼠肝脏硫氧还蛋白mRNA表
- 论文研究 - 低氧对IRE1敲除的U87神经胶
-
ACE2 mRNA ex
pression in urinary exosome fro
评论
共有 条评论