主要对HDFS服务和Tomcat服务进行实时计算预警，故要做以下加强功能:
1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条改为json格式输出 (之前每一条为 string)
2. 改造 Tomcat的日志支持log4j,其为json格式输出
3. 改造 基于Flume-ng Exec Source开发自定义插件ExecSource_JSON,支持JSON数据处理
4. 改造 spark streaming+spark sql,支持读取json解析
5. 使用hive离线计算loginfo字段,计算高词频的词,添加到MySQL表中,同时支持添加自定义监控词
6. 改造 spark streaming+spark sql,参数配置定时读取监控词库,进行预警计算
7. 改造grafana dashboard可视化
8. 整个架构高可靠设计和优化
9. 扩展其他应用、DB的日志等等
1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条改为json格式输出 (之前每一条为 string)
2. 改造 Tomcat的日志支持log4j,其为json格式输出
3. 改造 基于Flume-ng Exec Source开发自定义插件ExecSource_JSON,支持JSON数据处理
4. 改造 spark streaming+spark sql,支持读取json解析
5. 使用hive离线计算loginfo字段,计算高词频的词,添加到MySQL表中,同时支持添加自定义监控词
6. 改造 spark streaming+spark sql,参数配置定时读取监控词库,进行预警计算
7. 改造grafana dashboard可视化
8. 整个架构高可靠设计和优化
9. 扩展其他应用、DB的日志等等
