开发者学堂课程【阿里云可观测峰会：主会场】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/1060/detail/16101
主会场
内容介绍：
一、可观测性的发展历史
二、可观测性的需求
三、可观测性的痛点
四、可观测性的发展趋势
五、可观测技术的重要性
六、阿里云可观测套件
七、Grafana是什么及其目的
八、DEM驱动可持续性发展
九、跟踪日志记录和度量
一、可观测性的发展历史
本节课主要分为以下四部分内容，首先是对于云时代的可观测性的发展的历史，第二是当下的新的云时代系统对于可观测性的一些需求，第三是可观测性的痛点，第四个是可观测性的发展趋势。
首先了解可观测性的含义从最早的电气时代对于很多电气机械工程的运行情况的可观测是最早输出来的。可以对于很多的自动化包括机械设备通过观测数据或者质量判断运行状态。
到软件时代可以看到到软件从业者需要对软件系统的运行情况进行检测，最早的情况是只能发现问题到现在的观测性不仅能观测到问题更多的是了解出现故障或问题的原因。
在软件发展的整个历史过程中从最早的套装软件到现在的分布式云系统软件，整个架构在发生非常大的变化，随着像微服务等原生技术的发展，在多级服务依赖场景下，传统的点对点的监控手段很难对大规模的分布式系统进行定位，所以链路追踪成了软件新的趋势下新的观测技术的非常重要环节。
Linux内核观测技术eBPF的诞生应用，拓宽了在系统运行时数据采集的方法和采集深度。随着整个云计算的发展以及整个软件架构的更新，对于云计算整个软件系统的数据层面、资源层面和容器等相关的观测性的需求在不断的丰富。
二、可观测性的需求
当代的软件工程尤其是云时代下的软件工程对于可观测性的需求非常多以及非常重要，首先可观测性是系统稳定性保障的必要手段，系统稳定性运行的情况如果观测水平不足对于发现的故障及时发现以及溯源和发现的根因会带来非常大的影响.
根据中国工程院的混沌调查报告显示，不到一半的受访企业故障平均发现时长（MTTD）小于1小时；超过6成故障平均修复时长（MTTR）超过1小时；甚至有约20%的服务故障修复时间超过12小时。快速的发现故障以及定位故障的原因对于系统稳定性非常重要。
第二个是可观测性的底座可以赋能其他稳定性保障手段比如混沌工程、全链路压测等技术相结合可以更好的智能化以及发现系统的问题，从被动解决问题到主动发现并且预防问题，可以提前避免线上生产位置故障的发生。而且从软件全生命周期来看可观测性是提高应用交付质量的非常重要的基础，当代软件高效、敏捷是非常重要的特点，在CI/CD的应用可以看到由于高效敏捷导致各个环节的指标状态是非常快的，并且每个版本的更迭需要满足服务质量，结合整个发布过程的质量目标以及在整个发布过程中出现的流水线观测的数据结合起来保障交付既高效又能保证质量非常重要。
在整个过程中可以看到可观测性应用到软件开发全生命周期，使用软件开发、测试、部署、运营等关键环节都已经白盒化，在整个交付的过程中可以做到任何一个环节数据的监测和数据质量的要求都可以落地实践。对于整个多版本的功能的对比起到了非常重要的作用。
三、可观测性的痛点
目前可观测性的能力存在很多挑战以及需要解决很多痛点，首先第一点是可观测性缺乏统一的认知也缺乏统一的建设方式，首先可观测性是集合了传统的运维、链路追踪和当代的数据指标的要求的综合工程体系，很多的从业者往往从自己的从业的基础出发认知可观测性难免会有片面性像可观测性就是监控报警，最终通过日志发现问题，这只是可观测性的一部分。
很多厂商根据自己的理解推出一些产品，在数据采集、传输、存储、可视化、告警等阶段深度绑定，其实违背了可观测性开放的数据分析的原则。
很多传统的观测的方法和技术，在发展过程中可以看到可观测性其实是集合了传统的运维加上数据分析等最终的工程体系。在工程体系中很多业界的厂商从自身出发提供很多可观测性的平台。什么样的平台是完备的规范的能够称之为可观测性需要产业界有相应的标准和建设指南，在这种标准和建设指南下才可能帮助企业真正的建立起可观测性的体系。在此过程中发现很多的产品都是工具化的，在工具里面由于标准不统一反而导致了观测性多种工具之间的隔离造成的数据间的割裂违背了可观测性的全局和量化的一些原则。
因此很多不同的工具根据自己的采集的数据的格式会有不同，会导致企业在建设自身可观性体系的时候采用的是不同的厂商的不同的工具，格式无法统一。
数据处理可能是割裂的由于不同工具的数据采集方式不同载体不同，存储的地方也是不一样的，只有在数据的统一汇集格式统一的情况下才能将真正的可观测性和观测到的软件交付过程中的环节包括质量、性能、稳定性、安全等方面的数据进行统一的展示。
四、可观测性的发展趋势
未来可观测性技术发展趋势将从标准化、数据统一化、领域多样化三个方面进行更加完善生态化的发展。可观测性平台的标准化、普及化首先要解决整体的可观测性的标准化使可观性平台无论是基于多种工具集成的或者是统一建设都需要是开放的、完备的以及可量化的平台。观测到的数据要统一化、丰富化，基于统一的可观测性平台才能使采集到观测到的数据无论什么类型都可以统一的汇集、分析、展示。最后一个是应用领域的多样化，可观测性不仅仅是传统应用于可运维层面发现问题、解决问题，更多的可以用在CI/CT敏捷交互的软件工程领域保障软件交付的质量等。未来可观测性相关的技术不仅在运维质量以及性能等很多的方面，在企业的软件过程中发挥重要作用。
可以看到信通院已经开展的很多工作，首先第一个可观测平台标准化、普及化方面建立了全套的可观测性的包括技术白皮书以及技术能力要求，相关的标准体在整个的大的软件标准体系内，相关的白皮书和标准会在七月底进行发布。
在观测数据统一化、丰富化方面与可观测性的社区积极的推动了可观测数据的统一，结合CNCF推出的OpenTelemetry工具以及eBPF技术的使用，在探索相关的技术帮助企业数据统一化。最后在应用领域多样化研究院在积极的推动可观测性在更多领域的应用除了之前讲的运维和质量在边缘侧和设备侧包括金融等行业场景也推动应用，包括金融的场景以及边缘的场景。今天分享了可观测性技术的发展趋势。
五、可观测技术的重要性
可观测时代云原生成为主角，传统的监控仅仅能做到问题的被动发现，而可观测性能够对现象背后的本质给出明确的解释。微服务架构下系统日趋复杂，提高可观测能力成为降低复杂度的唯一手段。
在云时代技术充分分层解耦可观测成为刚需，场景更丰富，价值更大，小到局部的问题定位、安全风险识别，大到全局的成本管理、业务连续性治理都强依赖于可观测技术和数据。云原生不仅改变了企业架构也重塑了企业内部跨部门协同的模式，可观测数据已经成为不同工种之间沟通的桥梁是协同创新的基石，可观测技术也加速了传统的研发运维角色像SRE/DevSecOps/BizOps/FinOps等融合工种的计划。如今可观测性已经成为度量企业IT水平的重要标准。
观测的视角决定观测质量，应用向下连接基础设施向上承载业务，应用是原生时代的最佳观测视角，阿里云上的应用可观测能力具有三大优势，第一拥有国内最完备的应用管控体系同时也提供了行业领先的可观测技术，阿里云上的容器和应用托管产品家族都开箱继承了ARMS应用实时监控服务，除了提供Java应用的可观测能力外，新一代ARMS产品能够基于eBPF技术做到无侵入探针注入，监控任意应用的黄金三指标，让复杂应用架构可视化。
第二应用观测、防护与治理技术的融合，大幅缩短了发现问题与修复问题的时间，阿里云将APM、服务治理能力、应用托管能力融合真正实现了监管控的一体化。将额外应用RASP技术应用到APM探针中，RASP将安全程序像疫苗一样注入到实时阻断和攻击，使应用程序不需要人工干预就具备自我保护能力。
第三云原生架构的基础设施不断下沉，pass层高度标准化使应用具备了自适应巡航的条件，阿里云将多年在微领域的实战积累注入到应用可观测性体系，使其具备自动根因定位、自动弹性伸缩、局部故障自愈能力。更好的可观测性让云变得更应用，阿里云在可观测技术和产品上有丰富的积累，早在十年前阿里云孵化了第一批自研的可观测设施日志服务是其中的代表，经过十年的打磨日志服务每天支持数据写入，解决了日志、指标、链路等可观测数据的统一存储与高效分析，提供兼具高效能、高性价比的统一存储底座支撑了各类可观测产品。应用实时监控RMS是阿里集团所有研发工程师的必备神器，解决了分布式应用的监控、性能分析需求，在阿里云ARMS数十万个生产环节的应用保驾护航，同时ARMS也提供了行业领先的前端监控与云拨测服务实现端到端全链路覆盖。
围绕自身的可观测产品，阿里云将多年支撑双十一大促，保障不同行业客户业务联系性的实战经验和方法进行沉淀融入PDS、AHAS、MSE等治理服务，形成了完备的安全生产解决方案
阿里云的可观测产品举证凭借其完备的功能、良好的生态集成能力以及成本优势获得了行业的认可。阿里云的应用实时监控服务在今年获得了中国信通院可观测产品先进级认证。阿里云连续连年进入GartnerAPM与可观测模拟象限，今年更是成为唯一入选的中国厂商。
在Forresrer容器能力评测中可观测相关产品的能力得到了满分的认证。在可观测领域坚定地拥抱开源并大力发展生态伙伴，开源方面也一直在向社区贡献，四年前开源了Java整个工具深受喜爱，成为可观测领域最受欢迎的开源工具之一。
去年阿里云自研的高性能可观测数据裁结器ilogtail正式开源，希望通过开源社区共建加快ilogtail的上下游丰富度，打造世界一流的数据裁结器，当下prometheus、skywalking被广泛接受，阿里云在过去几年陆续发布其中很多开源产品的托管服务，大幅减少了客户搭建可观测系统的资源和运维开销。ARMS也全面见证了OpenTelemetry等开源标准。
从2017年开始和Elastic公司合作，打造标准、可靠、低成本的全场景存储及分析产品，合作五年多以来，阿里云elastic search服务于全球数千家企业和数万开发者，其存储规模相当于30个世界上最大的图书馆。
过去的一年里，在可观测领域与博睿、Grafana Labs、谐云、袋鼠云签订了战略合作协议，与阿里云自研的可观测体系做无缝集成，持续把引领业界趋势的优秀技术带给阿里云的客户。
可观测的场景与数据无处不在，技术生态百花齐放。现在面临最大的问题不在于功能的缺失，而在于数据的割裂。正式推出新一代阿里云可观测套件，包含了阿里云上提供的prometheus服务，兼容OpenTelemetry主流协议的链路追踪服务以及商业化的Grafana服务。
阿里云可观测服务将通过标准化方式连接孤岛 ，包含了三个城市的能力，第一与阿里上现有的所有资源可观测产品进行连接 ARMS应用监控、前端监控等都会插件化的形式提供出来，提供完全兼容开源标准的统一观测界面供客户进行二次加工集成。
第二向下连接阿里云的可观测存储类产品和其他易购数据存储，让可观测数据的管理与易购数据连接打通。
第三阿里云所有应用管控类产品和中间界产品全面对接可观测套件，已经有超过50款产品可以通过prometheus标准进行观测这一数量还在不断增加，基于阿里云可观测套件客户在尽可能不对存储数据进行迁移的情况下，同时获得开源可供测软件的自主可控，阿里云自言可供测产品的高质量数据分析以及统一可定制的可观测产品界面 。观测力将成为云时代每一个人的核心竞争力，首先可观测套件通过开源标准将应用充分白合化，更好的被使用者集成 。
其次工程师们将逐步采用cloud的方式让应用与生俱来可观测。第三作为管理者需要可观测技术进行研发、运维、提效IT成本分析、识别企业安全风险。
在行业实践分论坛中将邀请阿里云的工程师、各行业的一线研发s2e分享如何利用可观测技术更加高效的工作。万物皆云的时代，可观测的巨大价值正在逐步兑现，从监控走向观测。但不仅仅止步于观测、分析、洞察实现高质量决策并驱动高质量创新才是可观测的最终目的，阿里云将携手生态伙伴为客户创造更大的价值。
六、阿里云可观测套件
将分散的可观测系统统一起来打破数据孤岛，才能更好的做到全链路的监控和诊断，当开始做统一的可观测系统时会遇到非常多的挑战，比如不同的监控系统都需要将里面的可观测数据进行统一到中心的存储，再进行统一的展示和告警，会发现不同的系统有不同对接的API、SDK导入过程非常困难，因为API的可读性非常差无法理解数据背后的含义，同时在对接完成之后系统进行升级或者更新需要重新对接和维护。
整个系统的可维护的难度非常的。首先在可观测系统里面对于类似于监控指标基本上都在统一的通过Prometheus方式进行统一，背后的原因是因为Prometheus有非常强大的生态，对于各种异构的监测系统像各种数据库有上百款的方式进行对接，同时指标是以非常标准的Prometheus的格式进行统一的存储，也可以通过标准方式进行查询，这样会解决数据导出困难和难理解的问题。
同时对于像链路的数据会通过openTelemety方式进行采集，并通过这种格式进行存储，因为openTelemety是一个平台和厂商无关的。针对不同的语言不同的环境之下进行链路的采集。对于原来的日志以及事件明细数据存储量非常大，一般的做法可能会保持原来的存储的方式，但是通过Grafana方式进行的对接，因为Grafana提供了对接各种异构数据源的方式，结合之前的链路、系统以及指标系统都可以对接到Grafana可视化的界面，通过Grafana进行统一的可观测数据的视图的展现以及统一的告警。
最佳实践背后看到的是可观测的标准基本上已经形成。如果通过开源生态驱动整个可观测的统一是一条最直接最可行的路。在进行统一时还会遇到很多问题包括开源系统自己搭建的成本的难度以及和大量的对接的工作。
阿里云可观测套件的发布是为了解决自建可观测系统遇到的种种的问题，可观测套件主要是围绕阿里云三款开源托管的产品包括官方服务、Prometheus、链路追踪，同时结合了各种在阿里云上与可观测相关的产品和可观测套件的连接进行集成，这样会覆盖从用户体验到应用性能、安全审计以及日志和事件等阿里云上可观测数据的开箱即用的整合，希望做到数据在阿里云上无需导入导出数据都在名下的Prometheus实例或者是追踪的实例里面以非常标准的格式进行存储，同时支持像PromQL/SQL标准查询方式和可视化大盘的展现以及告警，真正能够让可观测数据被理解以及能够被标准化的展现以及真正将可观测数据变为自己的资产。
接下来会详细的介绍三款托管产品，第一款是Prometheus，Prometheus为了解决异构或者各种环节统一的监控，不管应用是部署在阿里云容器服务还是在ECS集群上或者在自建的Kubernetes上，通过部署Prometheus探针，就可以将环境下和应用相关和组件相关的一些监控的数据都统一的采集并存储到云上的Prometheus实例。
在采集方面做了非常多的增强比如是首创Prometheus探针的方式，通过探针的方式，有效提高了探针的采集性能，同时可以将负载降低90%以上，100%的兼容开源服务发现能力，意味着进行迁移的时候从开源自建迁移到Prometheus的时候几乎是0，同时Prometheus探针支持多副本横向扩展和动态缩容，提供高可用能力，其实是开源的Prometheus服务非常大的痛点，各种环境下的指标数据采集到云上的服务端之后在服务端提供Serverless化的存储和计算，可扩展性非常强。
同时数据有多分的备份和存储更加可靠，而且对于大查询或者长时间查询的语句也进行了性能的优化有显著提供。同时也支持RecordingRule和预聚合等复杂数据的处理，如果自建的Prometheus服务可以通过Prometheus纳管纳入到云上进行统一的管理，这是通过Prometheus的聚合的能力，可以对云上的不同的Prometheus的实例进行统一的聚合提供统一的聚合查询能力，统一的告警、配置等能力。真正的可以做到用一套Prometheus监控多个环境之下的监控数据。
调转服务是链路追踪服务，同样针对不同的环境ACOS OpenTelemetry Collector采集器可以部署像jaeger、zipkin以及OpenTelemetry等等开源的数据的采集。同时在在采集侧做了非常大的优化，支持100%无损的统计的基础之上也可以对重点的链路进行采样保存降低数据存储的成本。在服务侧所有的trace都会称为OpenTelemetry的标准格式，同时采集出来的trace和分析出来的metrics会进行关联做到监控诊断一体化的体验。同时提供开箱即用的大盘以及像Trace explorer的数据探索服务能够非常方便的对链路数据进行可观测。
第三种服务是阿里云Grafana托管服务，最大的特点是与阿里云进行了深度的集成，包括支持阿里云账号的一键登录，当然也支持自建的Grafana体系，同时和告警服务进行集成可以通过像、邮件、钉钉、电话等方式多渠道进行告警的对接以及支持排班和升级。同时和阿里云上各款可观测的服务进行了深度的集成。
作为一款托管服务也具有免运维、开箱即用、高可用以及非常强的数据隔离的能力。通过阿里云的Grafana服务基于对接各种云上的服务以及异构的可观测数据的能力可以提供统一的可视化界面包括统一的告警的能力。
接下来介绍基于可观测套件和其他云上的可观测的服务进行的深度集成。第一个案例是可观测套件和云监控的集成，在进行统一的可观测性时第一步可能要接入应用时使用的云服务自身的监控的数据，基于此和阿里云的云监控以及阿里云上各种产品自身的监控数据进行对接，能够将监控数据都存到阿里云的可观测套件里面。
同时也提供了开箱即用的监控大盘和预制告警，这样会达到的效果是登阿里云上可观测套件里面打开Prometheus之后会看到名下的各款云产品的监控数据都在Prometheus实例里面。同时对于大盘像例子中提到的MongoDB大盘和RocketMQ大盘以及像ECS、RDS主流的云产品的监控大盘都集成在了可观测的套件当中。
第二个案例是和容器服务的集成，若果应用跑在阿里云的容器服务里面希望能够在一个界面里覆盖到容器服务里的Workload的性能的监控以及资源的收据，包括控制面的监控以及K8S里的关键事件和相应的标准输出里面的关键日志。基于以上诉求和容器服务进行深度集成通过在K8S集群里安装各种采集器和探针可以采集像应用性能的指标、资源指标、网络性能以及K8S的事件和标准输出等可观测的数据存到可观测的套件当中。
同时通过大盘可以统一的在一张大盘里面像工作负载的应用的资源的数据和网络的数据包括控制面板AKS等关键组件的监控和K8S里面关键可用的标准日志输出都在一个大盘里统一的展现。提供给用户统一的界面覆盖在一个K8S集群里的完整的可观测的体验。
接下来的例子是可观测套件和ARMS应用监控的集成。ARMS是阿里云自研的APM软件，能够持续的应用性能表现，快速定位出错接口和慢接口、发现系统瓶颈，从而大幅度提升线上问题诊断的效率。这款产品在阿里云上有大量的产品在使用，通过阿里云的可观测套件与监控之间的集成可以将原来在应用监控里面存储以及分析出来的应用，应用指标、应用链路以及应用的日志发送到可观测的套件当中，通过可观测套件的大盘可以展示原来的应用日志排查以及链路的诊断和追踪的能力，可以非常方便的将应用监控能力整合到自建的可观测系统中。
第三个例子是可观测套件和skywalking，一款非常受欢迎的开源APM软件之间的集成skywalking提供的探针的模式可以在对应用代码无侵入的情况下进行应用性能监控和诊断。
通过和阿里云可观测套件的集成，可以在应用上通过安装skywalking的探针，在skywalking的探针的上报地址改成阿里云可观测套件的上报地址，这样便可以将skywalking的链路数据上报到可观测套件当中。在可观测套件中会做几个事情，第一个会将Trace数据里面提炼出黄金三指标，同时所有的数据会以openTelemetry的方式存储，而且是以采样的方式可以有效降低存储的成本。同时也预制了各种大盘，可以通过promQK自制大盘或告警，还提供了Trace的链路探索的能力。
原来的原生的skywalking界面都可以看到对应的大盘包括链路的分析，背后是所有的skywalking的监控的数据、指标性的数据都放到了Prometheus里，相当于将之前比较封闭的可观测数据通过标准的方式放到了可观测套件里
第三个例子是ARMS告警运维中心的集成，告警运维中心是一款在云上提供云服务告警的数据包括线下的自建的告警系统的整合，统一对告警事件进行接收并进行处理，能够提供告警的合并、抑制、压缩，支持智能排班、智能升级等方式同时可以对接背后的接通系统的一款告警平台，告警平台和阿里云可观测性进行整合之后会将告警中心里面发送的各种告警都存储到可观测套件里面。同时在可观测套件可以提供对应的大盘给到告警的统计型的分析，包括团队里面各个成员的处理事件的分析包括各次告警信息的明细的查询都可以通过非常标准的可观测的界面展示。
接下来是和应用安全的集成，应用安全是新一代运行时检测应用程序攻击并进行自我保护的安全产品，能够在应用层进行相应的防护抵御攻击的危险组件探测以及漏洞定位分析等各种安全风险和漏洞。应用安全和阿里云可观测套件进行整合之后所有的安全事件的攻击的详情以及安全的分析都会存储到阿里云的可观测套件当中，提供的开箱即用的安全分析大盘里面可以直观的表现出来整个应用安全的维度的统计的数据以及详细的攻击的详情。
最后一个例子是 ACOS 和 SLS 日志服务的集成，日志服务是阿里云上提供统一的可观测数据的存储分析的产品，最近发布了秒级检索、存储分离等非常强大的功能。日志服务同时也提供 Grafana 日志服务的插件，在阿里云上的 Grafana 可以开箱即用的对接 SLS 的可观测数据，Grafana 里面对SLS进行各种可视化，这样能做到将日志服务里面的数据和套件里面的 Prometheus 数据、链路追踪数据以及各种三方异构的数据都统一到一个可视化的界面里面进行统一的展现并进行统一的告警。后面会详细介绍各个集成最佳的实践。
