如何评估IT领域中的可观测性技术?

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
可观测监控 Prometheus 版,每月50GB免费额度
应用实时监控服务-用户体验监控,每月100OCU免费额度
简介: 在IT领域中,简单而言,可观测性就是为复杂IT系统寻求白盒监控能力。随着业务系统不断上云,容器、微服务、持续发布等云原生技术被广泛采用,从而为IT系统的可控性带来了全新挑战。为保障云原生应用的稳定性(控制的目的就是稳定),可观测技术被越来越多的企业所采用。可观测技术的本质,是通过系统的外部数据,分析系统的内部状态,从而做出控制指令。

IT领域的可观测性,源自自动控制领域。

控制领域中,研究可观测性的目的是提供基于系统内部状态(白盒),而非系统外部输出(黑盒)进行控制的理论依据。

在IT领域中,简单而言,可观测性就是为复杂IT系统寻求白盒监控能力。

随着业务系统不断上云,容器、微服务、持续发布等云原生技术被广泛采用,从而为IT系统的可控性带来了全新挑战。为保障云原生应用的稳定性(控制的目的就是稳定),可观测技术被越来越多的企业所采用。

可观测技术的本质,是通过系统的外部数据,分析系统的内部状态,从而做出控制指令。针对于IT系统,尤其是面相云原生应用,可观测技术应包含如下需求:

1)零侵扰:传统APM/NPM等工具,要么需要应用程序中打桩插码,要么需要基础设施中分光镜像,均会对IT系统进行侵扰。可观测技术使用外部数据做分析,因此采用零侵扰的方式获取监控数据,无需打桩插码、分光镜像,而是通过开放系统架构直接获取监控数据。零侵扰的另一方面是要求低功耗,不能因为采集数据而影响应用或基础设施性能,通常采集点功耗不能超过业务功耗的1%。

2)多维度:要保障云原生应用稳定运行,可观测技术必须包含多维度数据分析能力。具体来说,要将应用的API、容器、主机、网络等监控数据进行全栈关联分析。传统的APM工具,可以定位代码层问题,却无法追踪容器或主机网络服务引起的故障。而传统的NPM工具,又不能关联应用的TraceID从而追踪穿越NAT、LB等网元的流量。因此,多维度的全栈数据分析,是可观测平台的第二个需求。

3)实时性:自动控制中,过大的传感器反馈时延,会导致系统震荡而不可控。与之类似,云原生应用的动态性要求可观测平台必须具备实时性。如果应用的升级/扩容在分钟级完成,那么监控系统就必须提供秒级的反馈能力。注意,这里的反馈需要对海量指标/追踪/日志数据进行查找分析,因此对可观测平台的海量数据实时处理能力提出了极高要求。

那么,如何简单评一个可观测平台在上述三点需求中有效性呢?这里提供三个简单判据,供诸位参考:

1)零侵扰判据:是否无需应用休改代码、重启,是否无需网络分光镜像,是否消耗不超过云主机1%的CPU;

2)多维度判据:是否同时提供应用层数据、网络层数据,基础设施层数据的全景视图(Single Pane of Glass);

3)实时性判据:是否提供对PB及指标、追踪、日志数据的秒级检索。

除此之外,可观测平台的技术架构,也是评判其先进性的重要方面。领先的可观测平台,包括云杉网络DeepFlow、Datadog、阿里云ARMS等,均采用了基于eBPF的数据采集技术以及基于OLAP的实时数仓技术

相关文章
|
18天前
|
数据采集 监控 数据可视化
《数据质量评估方法大揭秘:精准衡量数据价值的关键》
在数字化时代,数据质量评估是确保数据价值的关键。常见方法包括准确性(与权威数据比对、内部逻辑校验)、完整性(统计缺失值、可视化分析)、一致性(数据格式检查、关联数据验证)、时效性(时间戳分析、业务场景判断)和可靠性(来源审查、稳定性分析)。其他方法如抽样评估、元数据评估和第三方评估也广泛应用。实际应用中需综合多种方法,结合业务场景制定评估指标,以确保数据质量,支持科学决策。
59 18
|
8月前
|
数据挖掘 Python
python数据分析——业务指标量化
业务指标量化是衡量企业运营效果的重要手段,通过具体的数据和数值,可以更加直观地了解企业的运营状况,为企业决策提供有力的数据支持。
166 1
|
机器学习/深度学习 算法
评估系统或算法质量的重要指标
准确性(Accuracy):衡量系统或算法输出结果与真实结果之间的接近程度。通常使用分类准确率、回归误差等指标来评估。 精确率(Precision)和召回率(Recall):主要用于评估分类模型的性能。精确率衡量预测为正例的样本中实际为正例的比例,召回率衡量实际为正例的样本中被正确预测为正例的比例。
329 4
|
机器学习/深度学习 数据可视化 TensorFlow
【2023年最新】提高分类模型指标的六大方案详解
【2023年最新】提高分类模型指标的六大方案详解
292 0
|
监控 Cloud Native 数据可视化
为什么更倾向“可观测性”?
Hello folks,我是 Luga,今天我们来聊一下云原生生态核心技术之一-云原生可观测性。
102 0
|
机器学习/深度学习 算法 语音技术
机器学习评估指标
机器学习评估指标
114 0
|
机器学习/深度学习
机器学习结果指标评估
ROC、混淆矩阵、PR曲线
266 0
机器学习结果指标评估
|
机器学习/深度学习 计算机视觉
深度学习笔记 常用的模型评估指标
“没有测量,就没有科学。”这是科学家门捷列夫的名言。在计算机科学中,特别是在机器学习的领域,对模型的测量和评估同样至关重要。只有选择与问题相匹配的评估方法,我们才能够准确地发现在模型选择和训练过程中可能出现的问题,再对模型进行优化。
403 0
深度学习笔记 常用的模型评估指标
|
安全 物联网 大数据
阿里云发布2016四大安全威胁趋势预测
 本文讲的是阿里云发布2016四大安全威胁趋势预测美国第二大医疗保险公司遭黑客攻击8000万用户资料受影响;婚外情网站Ashley Madison被黑,大量用户信息泄露;全球数据服务集团益百利 (Experian)公司电脑遭到黑客入侵…… 重大泄露事件频发,让安全成为2015年的搜索热词。
1715 0
|
存储 安全
安全预测 影响企业风险管理的三大趋势
本文讲的是安全预测 影响企业风险管理的三大趋势,云计算、面向服务的架构(SOA)及其他迅速出现的新技术加大了数据治理策略面临的威胁。知道安全威胁在如何变化是风险管理规划取得成功的关键,同时关乎贵企业的利润。
1722 0