Logz.io提供了基于机器学习的日志分析

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

Logz.io提供了一种使用机器学习进行智能日志分析的托管服务。该服务能够从人类与日志数据的交互中获得新的观点,这些日志数据包括技术论坛上的讨论内容和公共代码库。

DevOps团队使用ELK这类日志分析工具中心化了日志的聚合和索引过程,但是现代应用正快速地生成大量的日志和度量指标,日志的庞大规模使得日志分析工作难以顺利进行。另一方面,所采集度量指标的数量也在快速地增长,这导致传统监测工具只能用来做数据展示。数据在规模上的增长也导致了基于阈值的报警不再适用,这也引发了异常检测系统的异军突起,这些系统包括Anomaly.io、Datadog和SumoLogic,以及Etsy的Skyline这样的开源系统。

相比异常检测系统而言,Logz.io所提供的服务更进了一步,它给出了对异常情况的深层见解,这些见解是通过在人们的网络交互数据上进行机器学习得出的。这些数据中包括在StackOverflow和Github这样的网站上对类似异常情况的讨论。如果单纯地使用Google搜索异常情况,这常会出现大量的搜索结果,Logz.io是如何做到对相关结果的过滤的呢?InfoQ联系了Logz.io公司的CEO和联合创始人Tomer Levy,他对此做了详述:

Logz.io使用了机器学习技术去理解线索的情境、线索所指的产品、是否有解决方案以及提问者对给出的方案是否满意。我们还拿自有的用户数据跟这些线索进行交叉引用。

此外,Levy还指出:“在给出了对用户关注的见解后,我们进而基于他/她对该见解的反馈情况对它们之间的相关性进行评估。”这就实现了一种反馈闭环,使得该服务系统可以与时俱进。

很多现代的软件产品都是使用开源程序库构建的,因此大部分情况下在因特网上搜索这些产品的某个错误或异常都会给出搜索结果。但也应考虑到在极少数情况下,还有一些产品是完全从头构建的,没有使用任何公开可用的代码。对此,Logz.io计划在未来发布一种“非公开见解”,允许组织定义自己的异常和异常的相关细节。

Logz.io采用了Elasticsearch-Logstash-Kibana(ELK)技术栈作为后台,提供的服务托管在Logz.io私有云上,这意味着日志数据必须要从各个应用端传输到该私有云中。对那些部署了自有ELK的组织来说,Logz.io提供了本地日志传输器,帮助这些组织将数据安全传输到Logz.io云上。

作为对如何解决企业所关注的数据安全问题的回应,Levy说道:

在数据安全方面,我们投入大量精力在数据加密和全面的安全流程上。Logz.io聘请了安永会计师事务所对安全基础设施和流程进行审计,并在近期通过了欧盟对SOC 2 II型报告和ISO-27001标准的合规审计。此外,公司的数据是在美国托管的。为确保遵守欧盟的法规,基于欧盟的企业可以选择将数据放在法兰克福保存。

本文转自d1net(转载)

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
7月前
|
缓存 关系型数据库 MySQL
MySQL Binlog--事务日志和BINLOG落盘参数对磁盘IO的影响
MySQL Binlog--事务日志和BINLOG落盘参数对磁盘IO的影响
136 0
|
6月前
|
机器学习/深度学习 人工智能 DataWorks
人工智能平台PAI产品使用合集之在使用行调用时遇到一直卡在ps job的问题,并且无法在DataWorks上查看到相关日志,是什么导致的
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
机器学习/深度学习 Java 开发工具
机器学习PAI常见问题之export DEBUG=ON 后编译不过如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
7月前
|
机器学习/深度学习 人工智能 DataWorks
人工智能平台PAI问题之日志报错误如何解决
人工智能平台PAI是指阿里云提供的机器学习平台服务,支持建模、训练和部署机器学习模型;本合集将介绍机器学习PAI的功能和操作流程,以及在使用过程中遇到的问题和解决方案。
人工智能平台PAI问题之日志报错误如何解决
|
SQL 机器学习/深度学习 存储
SLS机器学习最佳实践:时序相似性分析
阿里云日志服务平台提供了针对DevOps和AIOps相关的一系列工具,涵盖了时序指标数据的异常检测、时序聚类、时序预测等相关方法。为降低使用的门槛,我们将算法整合到SQL中,让用户以最底的成本完成相关的配置。今天为您介绍时序聚类和时序相关性分析的最佳实践使用指南。
1954 1
SLS机器学习最佳实践:时序相似性分析
|
机器学习/深度学习 运维 监控
SLS机器学习最佳实战:日志聚类+异常告警
围绕日志,挖掘其中更大价值,一直是我们团队所关注。在原有日志实时查询基础上,今年SLS在DevOps领域完善了如下功能: - 上下文查询 - 实时Tail和智能聚类,以提高问题调查效率 - 提供多种时序数据的异常检测和预测函数,来做更智能的检查和预测 - 数据分析的结果可视化 - 强大的告...
12944 0
|
机器学习/深度学习 运维 监控
SLS机器学习介绍(01):时序统计建模
时序数据是业务监控中最多方法,双十一大盘、业务监控系统、系统性能平台等都可以看到他的身影。为了更好的在日志服务平台中,针对时序数据进行进行较好的分析和交互,本团队针对单时序数据数据的各种场景,开发了相应的时序数据处理算法,可直接嵌入在标准的MySQL语法中使用,降低了用户对这类算法的使用难度,提供更好的服务。
15808 0
|
SQL 机器学习/深度学习 运维
SLS机器学习最佳实战:时序异常检测和报警
日志服务团队具备强大的日志采集功能,针对建立索引的日志进行快速的查询和分析能力。基于此,我们团队将时序数据分析功能整合到日志服务中去,结合更加强大的告警功能,帮助用户根据自己的业务需求,快速的构建报警规则,提高效率。
9303 0
|
Web App开发 机器学习/深度学习 算法
SLS机器学习介绍(05):时间序列预测
本文主要介绍了机器学习算法在时间序列预测领域的相关应用和实践,为了更好的适应复杂的实际业务场景,我们探索了小波变换在时序分析中的应用,通过引入小波操作,可以较好的剔除序列中的高频噪声,对序列的整体趋势把握的更好。
9456 0
|
SQL Web App开发 机器学习/深度学习
SLS机器学习最佳实战:时序预测
通过分析序列进行合理预测,做到提前掌握未来的发展趋势,为业务决策提供依据,这也是决策科学化的前提。 时间序列就是按时间顺序排列的一组数据序列。时间序列分析就是发现这组数据的变动规律并用于预测的统计技术。
6465 0