基于Hadoop的网络日志分析系统研究

查看网络日志是调查系统故障 监控系统运行状况的重要手段 管理员可以查看在某段时间内所发生的事件 也可以通过对 各个日志文件进行分析获取知识 由于日志具有数据量大 不易读懂的特点 如果仅凭借管理员查看日志记录的手段 其中所蕴含 的有用信息也难以发现 分布式计算技术正好可以用来解决这一难题 阐述了 syslog 日志收集流程 详细介绍了 Hadoop 分布式计 算框架 设计并实现了一套基于 Hadoop 的网络日志分析系统 实验证明该系统是有效而实用的