资源简介
1、功能描述
用户的手机,连接到不同的基站会产生一条记录。
数据格式为:用户标识 设备标识 基站位置 通讯的日期 通讯时间
example: 0000009999 0054785806 00000089 2016-02-21 21:55:37
需要得到的数据格式为:
用户标识 时段 基站位置 停留时间
example: 0000000001 09-18 00000003 15
用户0000000001在09-18点这个时间段在基站00000003停留了15分钟
用户的手机,连接到不同的基站会产生一条记录。
数据格式为:用户标识 设备标识 基站位置 通讯的日期 通讯时间
example: 0000009999 0054785806 00000089 2016-02-21 21:55:37
需要得到的数据格式为:
用户标识 时段 基站位置 停留时间
example: 0000000001 09-18 00000003 15
用户0000000001在09-18点这个时间段在基站00000003停留了15分钟
代码片段和文件信息
package phoneMapReduce;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
/**
* Created by ue50 on 11/13/19.
*/
public class PhoneMain
{
public static void main(String[] args) throws InterruptedException IOException ClassNotFoundException
{
//String.equals()比较字符串的值是否相同
if(args == null || “0“.equals(args[0]))
{
throw new RuntimeException(“argument is not right!“);
}
//Configuration是作业的配置信息类
Configuration configuration = new Configuration();
//set(String name String value)设置配置项
configuration.set(“timeRange“ args[0]);
Job job = Job.getInstance(configuration);
job.setJarByClass(PhoneMain.class);
job.setMapperClass(PhoneMapper.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputKeyClass(Text.class);
job.setReducerClass(PhoneReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
//FileInputFormat.setInputPaths(job new Path(“hdfs://xdata-m0:8020/user/ue50/pos.txt“));
//FileOutputFormat.setOutputPath(job new Path(“hdfs://xdata-m0:8020/user/ue50/out“));
FileInputFormat.setInputPaths(job new Path(args[1]));
FileOutputFormat.setOutputPath(job new Path(args[2]));
job.waitForCompletion(true);
}
}
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
文件 1664 2019-11-14 16:03 exam3\PhoneMain.java
文件 2711 2019-11-14 16:03 exam3\PhoneMapper.java
文件 3806 2019-11-14 16:35 exam3\PhoneReducer.java
文件 3669 2019-11-14 16:03 exam3\pom.xm
文件 1168660 2019-11-14 16:03 exam3\pos.txt
文件 59652 2019-11-14 16:03 exam3\实践三运营商用户基站停留数据统计.docx
目录 0 2019-11-30 23:19 exam3\
- 上一篇:带约束处理的粒子群算法,简明清晰
- 下一篇:复制粘贴工具
相关资源
- Hadoop.in.Practice.2nd.Edition
- 基于Greenplum Hadoop- 分布式平台的大数
- 构建用户自画像视频教程真实企业项
- hdp安装手册
- hadoop技术内幕三件套
- [百度网盘]Hadoop技术内幕 深入解析M
- Hadoop技术内幕 深入解析YARN架构设计与
- Hadoop技术内幕:深入解析YARN架构设计
- Hadoop技术内幕 完整三本合集baidu链接
- 中国大数据技术与产业发展报告
- 在Hadoop生态中大数据平台架构与实践
- Archiver For Mac v3.0.3 序列号
- hadoop集群搭建教程.zip
- Hadoop技术内幕 深入解析HADOOP COMMON和
- hive2.0源码
- 大数据技术之面试题 .pdf
- 大数据技术之Hive.pdf
- windows64位平台的hadoop2.8.4插件包(ha
- hadoop-2.5.0-cdh5.3.6 编译native包
- MapReduce基于物品的协同过滤算法实现
- 大数据组件介绍PPT
- 《Hadoop构建数据仓库实践》电子书
- Gi盘——基于hadoop的分布式网盘项目
- Hadoop深度学习
- CDH5hadoop集群搭建手册,大数据平台搭
- 第8讲:Pig应用开发文档
- 第7讲:Hive数据仓库文档
- 基于Hadoop的微博信息挖掘
- hadoop API
- Hadoop编程操作 高性能云计算
评论
共有 条评论