资源简介
本资源是《Hadoop大数据开发基础》的全套配套资源(含源数据、代码、实训数据、习题答案),适合Hadoop开发者和大数据学习者学习大数据技术,本资源可以方便大家学习和参考。
代码片段和文件信息
package test;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class accessTimesSort {
public static class MyMapper
extends Mapperject TextIntWritableText>{
public void map(object key Text value Context context
) throws IOException InterruptedException {
String lines = value.toString();
String array[] = lines.split(“\t“); //指定tab为分隔符,组成数组
int keyOutput = Integer.parseInt(array[1]); //提取访问次数做为Key
String valueOutput = array[0]; //提取访问日期做为Values
context.write(new IntWritable(keyOutput) new Text(valueOutput));
}
}
public static class MyReducer
extends Reducer {
public void reduce(IntWritable key Iterable values
Context context
) throws IOException InterruptedException {
for(Text value : values){
context.write(value key);
}
}
}
public static void main(String[] args) throws Exception{
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf args).getRemainingArgs();
if (otherArgs.length < 2) {
System.err.println(“Usage: wordcount [...] “);
System.exit(2);
}
Job job = new Job(conf “Access Time Sort“);
job.setJarByClass(accessTimesSort.class);
job.setMapperClass(MyMapper.class);
job.setReducerClass(MyReducer.class);
job.setMapOutputKeyClass(IntWritable.class);
job.setMapOutputValueClass(Text.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
for (int i = 0; i < otherArgs.length - 1; ++i) {
FileInputFormat.addInputPath(job new Path(otherArgs[i]));
}
FileOutputFormat.setOutputPath(job
new Path(otherArgs[otherArgs.length - 1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
目录 0 2019-04-10 00:19 《Hadoop大数据开发基础》源数据和代码\
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\
目录 0 2019-04-10 00:19 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第2章\
目录 0 2019-04-10 00:19 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第2章\02-习题答案\
文件 47572 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第2章\02-习题答案\第二章习题答案.docx
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\
目录 0 2019-04-10 00:19 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\01-任务程序\
目录 0 2019-04-10 00:19 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\01-任务程序\data\
文件 226379675 2018-07-29 18:06 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\01-任务程序\data\email_log.txt
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\02-习题答案\
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\02-习题答案\data\
文件 46 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\02-习题答案\data\helloword.txt
文件 180032 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第3章\02-习题答案\第三章习题答案.docx
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\
文件 18967 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\.classpath
文件 440 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\.project
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\.settings\
文件 670 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\.settings\org.eclipse.jdt.core.prefs
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\
目录 0 2019-04-10 00:20 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\
文件 2197 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\accessTimesSort$MyMapper.class
文件 2213 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\accessTimesSort$MyReducer.class
文件 2185 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\accessTimesSort.class
文件 2215 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\dailyAccessCount$MyMapper.class
文件 2368 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\dailyAccessCount$MyReducer.class
文件 2192 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\dailyAccessCount.class
文件 2025 2018-07-29 17:49 《Hadoop大数据开发基础》源数据和代码\Hadoop大数据开发基础\第4章\01-任务程序\code\按日期统计及按日期排序(任务4.3与4.4)\MemberCount\bin\test\dataDistinct$MyMapper.class
............此处省略199个文件信息
相关资源
- Spark大数据处理技术完整版.pdf
- 每天5分钟玩转docker容器技术
- hadoop权威指南第二版
- Hadoop实战中文版.PDF
- Hadoop权威指南 第3版 PDF电子书
- 大数据智能:互联网时代的机器学习
- spark-2.4.4-bin-hadoop2.6.tgz
- Hadoop权威指南第四版中文
- 大数据技术脑图
- Spark快速大数据分析.pdf 高清 完整 带
- 2015-2019教育大数据论文
- 各个版本Hadoop,hadoop.dll以及winutils.
- 大数据平台及在电力行业的应用 总结
- 基于hadoop的电信客服数据分析+文档
- 神策数据-大数据分析
- Tensorflow内核剖析 电子书
- iOS 全埋点技术白皮书.pdf
- hadoop2.5.0-eclipse插件
- Hadoop-TheDefinitiveGuide4thEdition.pdf
- Hadoop The Definitive Guide 4th Edition.pdf
- sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
- tableau-触手可及的大数据分析工具 数
- ODPS权威指南-阿里大数据平台应用开发
- 40家银行信贷产品.pdf
- 64款大屏大数据可视化看板原型设计
- 大数据时代 Big Data A Revolution That Wil
- 哈工大数据挖掘理论与算法 作业1
- Cloudera hadoop开发员培训教材
- Hadoop经典技术书籍合集(Spark Kafka H
- Hadoop_Spark大数据巨量分析与机器学习
评论
共有 条评论