(案例篇)日志易:IT运维分析及海量日志搜索的实践之路(下)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本篇分享了日志易在金融、运营商及电网等行业的应用案例。

本文为日志易创始人兼CEO陈军,在2016年GOPS全球运维大会.深圳站的演讲实录,主要讲述日志易产品在金融机构、运营商、电网的应用案例。

客户案例

案例一:某大型综合金融机构

这是一个大型的综合金融机构,总部就在深圳,也是中国最大的。
他们之前需要逐台去登录服务器:没有办法集中查看日志;没有办法对海量日志进行挖掘和用户行为分析; 而且没有办法做多维度的查询,比如时间段、关键词、字段值;而且没有办法进行日志的业务逻辑分析和告警。

使用日志易产品后:建起日志云,在内部建立了一个私有云来处理日志,已经接入了一百多个应用,每天新增的日志量是8TB。做了这个之后的好处是省去了登录服务器的操作,就能够快速地查看,降低登录服务器的人为误操作的概率。对金融系统来说,这些生产线上的服务器是非常关键的。如果每个运维工程师都登录到生产线上的服务器去查看日志,一不小心,一个误操作,可能就影响了生产线上的应用,就导致一次事故。上了日志易之后,就禁止运维工程师登录服务器去看日志,所有看日志就在它内部的日志易云上来看,解决了需要日志统一管理的痛点。而且可以进行多维度的查询,提高定位异常原因的效率,可以对日志数据进行数据挖掘、用户行为分析,可以对系统的健康指数每天出报表。
现在很多用户用日志易主要的一个功能是每天出报表给老板看,因为之前是用Hadoop,Hadoop是第二天出昨天的报表,用了日志易之后是当天6点钟的时候就可以出报表,让老板下班前看到当天的情况。而且可以是事先告警,只要一出错,就马上告警,而不是事后去追查这个问题。

案例二:中移动某省分公司

用来分析营业厅业务办理的Web的日志,这里就用了SPL搜索处理语言,营业厅里面一笔交易是经过多个子系统的,每一个子系统都会产生日志。用了之后,就把一笔交易的每一笔子系统产生的日志给串起来,串起来之后还原成一笔交易,分析一笔交易的延时情况、响应情况。

这就是在搜索框里写的,这还是比较短的,它搜索的字段就是“json.url”,通过管道符把前面搜索的结果传给后面的事务命令。因为不同子系统的日志都传给命令了,这个命令执行的操作是找ID,因为每一笔操作都是有一个独立ID的,根据这个ID把这一笔交易在不同子系统上产生的日志都串起来。串起来之后排一个顺序,是以查询作为起点,传入参数,事务命令的参数有stamp,还有ends,一笔事务是从查询开始的,以提交作为结束。但是如果一直不提交也会超时,超时间的时间是30分钟,如果30分钟都不提交,就认为这笔事务就够了,就超时了,这样就不会无限地等下去。通过这样一个事务的命令,把这个交易给串起来。

这就是串起来之后的结果,这是我们的界面,这就是在搜索框里刚才写的搜索处理语言的程序,出来的结果就把这些交易全都串起来,一笔缴费业务,营业员所有操作都一目了然。它还得监控这些营业员,看这些营业员各自的效率怎么样。每个步骤所需要执行的时间都排好,包括网络处理时间、服务器处理时间,都排好序。这就是我们在中国移动山东省分公司做的一个案例。

案例三:国家电网

日志易产品主要用在安全信息事件管理,因为终端信息安全是日志的调查、分析、取证,它要到各省分公升去做审计,快速排查日志里的问题。

合作客户


日志易提供部署版产品,SaaS版产品在阿里云的体验入口:点我

日志易简介:

日志易专注日志分析领域,产品做得像Google搜索引擎一样强大、灵活、易用。目前,日志易产品已成功应用于金融、能源、运营商及互联网等诸多行业,其中金融客户包括中国银行、新疆农信、鹏华基金及第三方支付公司等;能源行业客户已囊括国家电网、南方电网、中石油、中石化等国内知名企业;移动、电信等国内主流运营商以及小米、乐视、网宿科技等诸多明星互联网企业均已牵手日志易——目前日志易大客户已达百余家。

日志易对运维日志及业务日志进行实时采集、搜索、分析及可视化等,用于运维监控、安全审计、业务数据分析,最终发掘出数据价值。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
23天前
|
存储 运维 监控
API明细日志及运维统计日志全面提升API可运维性
在数字化转型的大潮中,数据已成为企业最宝贵的资产之一。而数据服务API可快速为数据应用提供数据接口。面对越来越多的API以及越来越多的应用调用,如何快速查看API的服务情况、异常情况及影响范围,以及查看API的调用详情,进行API的性能优化、错误排查变得越来越重要,本文将介绍如何配置和开通API运维统计及明细日志,以及如何查看日志进行介绍。
|
25天前
|
运维 监控
构建高效运维体系:从理论到实践
在当今快速发展的信息化时代,高效的运维体系是保障企业信息系统稳定运行的关键。本文旨在探讨如何构建一个高效、可靠的运维体系,通过分析当前运维面临的挑战,提出相应的解决策略,并结合实际案例,展示这些策略的实施效果。文章首先介绍了高效运维的重要性,接着分析了运维过程中常见的问题,然后详细阐述了构建高效运维体系的策略和步骤,最后通过一个实际案例来验证这些策略的有效性。
|
25天前
|
机器学习/深度学习 数据采集 人工智能
智能运维:从自动化到AIOps的演进与实践####
本文探讨了智能运维(AIOps)的兴起背景、核心组件及其在现代IT运维中的应用。通过对比传统运维模式,阐述了AIOps如何利用机器学习、大数据分析等技术,实现故障预测、根因分析、自动化修复等功能,从而提升系统稳定性和运维效率。文章还深入分析了实施AIOps面临的挑战与解决方案,并展望了其未来发展趋势。 ####
|
1月前
|
人工智能 运维 监控
构建高效运维体系:理论与实践的深度融合####
本文旨在探讨高效IT运维体系的构建策略,通过理论框架与实际案例并重的方式,深入剖析了现代企业面临的运维挑战。文章开篇概述了当前运维领域的新趋势,包括自动化、智能化及DevOps文化的兴起,随后详细阐述了如何将这些先进理念融入日常运维管理中,形成一套既灵活又稳定的运维机制。特别地,文中强调了数据驱动决策的重要性,以及在快速迭代的技术环境中保持持续学习与适应的必要性。最终,通过对比分析几个典型企业的运维转型实例,提炼出可复制的成功模式,为读者提供具有实操性的指导建议。 ####
|
1月前
|
机器学习/深度学习 人工智能 运维
智能运维:AIOps在大型系统运维中的实践与挑战
【10月更文挑战第28天】随着云计算、大数据和人工智能的发展,AIOps(人工智能运维)应运而生,旨在通过算法和机器学习提高运维效率和质量。本文探讨了AIOps在大型系统运维中的实践与挑战,包括数据质量、模型选择和团队协作等方面,并通过一个异常检测案例展示了其应用。尽管面临挑战,AIOps仍有望成为未来运维的重要方向。
60 5
|
1月前
|
运维 负载均衡 Ubuntu
自动化运维的利器:Ansible入门与实践
【10月更文挑战第31天】在当今快速发展的信息技术时代,高效的运维管理成为企业稳定运行的关键。本文将引导读者了解自动化运维工具Ansible的基础概念、安装步骤、基本使用,以及如何通过实际案例掌握其核心功能,从而提升工作效率和系统稳定性。
|
1月前
|
运维 资源调度 监控
提升运维效率的关键技术与实践
在当今快速发展的信息技术时代,运维工作面临着前所未有的挑战和机遇。本文旨在探讨如何通过采用先进的技术和实施最佳实践来提高IT运维的效率和效果。我们将深入分析自动化工具、监控策略、灾难恢复计划以及持续集成/持续部署(CI/CD)等关键领域,展示它们如何协同工作以优化运维流程。此外,文章还将提供一些实际案例研究,帮助读者更好地理解这些概念的应用。无论是对于初创公司还是大型企业,掌握这些技术都将是提升竞争力的关键。
|
1月前
|
存储 监控 Java
JVM进阶调优系列(8)如何手把手,逐行教她看懂GC日志?| IT男的专属浪漫
本文介绍了如何通过JVM参数打印GC日志,并通过示例代码展示了频繁YGC和FGC的场景。文章首先讲解了常见的GC日志参数,如`-XX:+PrintGCDetails`、`-XX:+PrintGCDateStamps`等,然后通过具体的JVM参数和代码示例,模拟了不同内存分配情况下的GC行为。最后,详细解析了GC日志的内容,帮助读者理解GC的执行过程和GC处理机制。
|
2月前
|
运维 应用服务中间件 持续交付
自动化运维的利器:Ansible入门与实践
【10月更文挑战第21天】在现代IT基础设施的管理中,自动化运维已成为提升效率、降低错误率的关键。Ansible,作为一种简单而强大的自动化工具,正被广泛应用于配置管理、应用部署和任务自动化等领域。本文将引导你了解Ansible的基本概念,通过实际案例展示如何利用Ansible简化日常运维工作,并探讨其在现代IT运维中的应用价值。无论你是新手还是有经验的系统管理员,这篇文章都将为你开启Ansible的高效之旅提供指导。
|
2月前
|
运维 监控 jenkins
运维自动化实践:利用Jenkins实现高效CI/CD流程
【10月更文挑战第18天】运维自动化实践:利用Jenkins实现高效CI/CD流程