开源全场| 学习笔记(二)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
可观测监控 Prometheus 版,每月50GB免费额度
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 快速学习开源全场

开发者学堂课程【阿里云可观测峰会:开源全场】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/1060/detail/15342


开源全场


二、Prometheus & Grafana :开放、可组合的可观测

如何在生产环境中定位与修复问题,假设您收到一个警报提示,多个用户在尝试登录站点时遇到问题

 image.png

通过对流量的可视化分析,图表显示10%的用户在尝试登录时收到错误,我们可能前往存储指标的服务或者系统中尝试确定哪些系统受到影响,通过查看日志已查找可能相关的错误消息,我们发现用户很多请求处理超时,同时你决定换一个方式,通过分布式跟踪Tracing,更仔细的查看尝试进行登录的受影响用户,终于找到根因并开始修复相关问题,但在找到他之前,我们必须在多个系统之间来回切换,这些系统指向我们展示了解决方案的一部分,而这也是今年许多运维团队的真实现状,如果您的团队发送一个解决方案有很多优点,其他团队可能会使用其他团队作为组织,这让它实现,但很难衡量我们的服务表现与质量

image.png

面对以上,Grafana的用武之地显现出来,Grafana允许您为工作所需选择最恰当的工具,并将它们进行统一展现,而不用担心数据来源,我们可以通过Grafana在同一个工具中探索metrics指标、log日志和Tracing链路,无论底层数据存储在何处

image.png

我们可以创建美观明了的数据看板,以便深入了解应用程序情况,探索我们所采集的可观测数据,并配置相应告警原则,Grafana被广泛应用于监控从发电厂、网络应用程序到草莓农场等相关事务的任何系统

image.png 

Grafana是开源的,并由Grafana Labs团队进行维护与演进,今天有95万的活跃Grafana实例,超过800万用户,时至今日,围绕Grafana我们还相继启动了多个开源项目,比如loki,Tempo,Mimir,当然,我们也为其他主流开源项目不断做出贡献,比如Prometheus等项目

image.png

Prometheus是一个为云原生构建的开源可观测系统,他归属于云原生计算基金会CNCF,也是很多项目的默认监控系统,他作为一个服务器运行,通过从HTTP端点提取度量值来从您的服务中收集指标,然后您可以从HTTP端点收集指标,通过名为PromQL的强大查询语言可以在应用程序中使用Prometheus,作为客户端库也可以安装导出程序为尚不支持Prometheus指标的系统和服务公开Prometheus指标

网络异常,图片无法展示
|

Prometheus 是众多数据来源之一,由共同基金会支持,如果使用Prometheus,可以通过 Grafana 已开始对您的服务进行观测

 

三、阿里云 Grafana 服务的产品演示

image.png 

首先登录阿里云的首页,在首页的产品容器与中间件中找到Grafana服务

image.png

进入到Grafana服务的详情页,同时也可以通过搜索的方式来进入Grafana详情页,点击产品详情,可以看到产品的优势和产品功能的介绍,登录产品的控制台。

image.png

在产品的控制台,可以看到的工作区的列表,也可以新建工作区,在新建工作区,可以按照要求自己需要填写工作区的名称以及admin账号的密码,选择可用区域,版本以及用户的账号数和购买时长,为了便于功能演示,直接使用已经创建好的工作区来进行演示,进入工作区的详情页,可以看到工作区的详细信息,点击登录,可以登录的方式有两种,一种admin账号,刚才填写的用户密码来进行登录,还有一种是通过阿里云的SSO的方式来登录,可以一键登录,也可以将其他用户进行授权,比如通过授权给其他的阿里云用户,给对应的组织和权限,权限有3类,给用户授权之后,用户也可以直接使用官方的服务,

image.png

首先创建数据源,比如创建Prometheus,以之前创建已经配置好的数据进行测试,点击保存

image.png

数据源就已经创建好了,就可以进行数据源的测试,可以看到数据源是工作的,接下来开始创建数据大盘,有三种方式,先创建一个,比如边填写数据源之后,创建一个数据面板,接着继续创建,创建一个柱状图的面板,比如还是通过指标饼图,再继续创建表格,还可以创建带数字的,创建好四个面板,点击保存。完成了数据大盘的创建,

image.png

还有一种方式是通过导入在网站或者其他Grafana服务上拿到的文件进行导入,比如把大盘进行导出,进行添加import,进行一导入,修改一下ID。

image.png

创建好第二大盘,还有一种方式通过官方的镜像ID的方式、大盘ID的方式来进行导入,比如以ID的大盘模板,盘模板可以在官方上去进行搜索,开始进行导入,把重复的ID改一下,选择对应的数据源。进行导入模板就导入进来

image.png

是load exporter的测试数据,点击保存就可以看到的大盘列表,接下来演示如何告警,配置告警,首先配置告警需要创建一个告警通道,系统已经默认配置好,也可以自定义

image.png

比如创建钉钉告警,选择类型为钉钉,填写钉钉机器人的token,配置进去,点击保存,钉钉告警通道就可以了,再找到刚才的大盘,就可以配置对应的告警,是sit类型的,不支持的,找一个新的类型

image.png

可以看到有新的typeb页,typeb页是添加告警,可以配置告警选项,比如它当最近五分钟的平均值低于二的时候就触发告警,可以选择是否是高于,高于低于边选,低于3就开始告警,选择告警通道,刚才的钉钉告警通道,可以配置的告警语擎test,进行测试,功能没问题,点击保存。告警就配置完成,就可以看到的告警在轮型值检测中,接下来演示如何给用户分配权限,创建一个用户为零,创建两用户,两用户已经创建完成,

分配权限,调整一下权限,当前是edit,给他调整权限为edit,另一个为vr,可以看一下用户对应的权限的情况。

image.png

看到editor的用户,可以看到大盘,也可以进行编辑

image.png

但是他左边没有管理用户的权限,也没有管理数据源的权限,再看VR的用户,用户的权限就更低,只能查看看对应的大盘,只能查看数据盘,他边没有编辑权限。用户只有查看数据的权限。

image.png

演示VPC数据源通道的功能,首先到Grafana服务控制台,可以创

建VPC数据源通道,有服务器,它不便于暴露公网地址,只希望通过内内网IP的方式来访问,比如内网IP,要进行VPC数据通道的安装,可以选择对应的VPC的区域,VPCID和它对应的交换机以及安全组

image.png

创建好可以直接进行测试,拿到它的内网IP,创建数据源,点击安装,第一次安装会稍微慢一点。

image.png

可以检测一下书卷是否正常工作

image.png

可以看到数据是可以正常工作的,接下来演示Grafana云服务的集成

image.png

 

云服务集成分为下面几种,首先演示Prometheus服务的集成,有立即集成的按钮,功能也有对应的大盘的功能预览,点击立即集成看一下,可以集成到的数据大盘,可以查看

image.png

数据大盘同步过来,在Prometheus里面创建的数据大盘,可以去看一下它的数据,数据都是可以正常显示,其他的像arms告警类似,如果有ARMS配置过arms告警,点一键集成就可以把相应的数据集成进来,还有应用监控也是类似

image.png

云监控及支持ecs门购等15个产品,以ecs为例,选择可用区,比

如选择杭州,要添加ecs监控,可以看一下云监控的大盘,大盘已经

出来直接点击查看

image.png 

刚刚刚添加数据还没有,需要稍等一会,SLS日志服务的数据源是如何配置的,有一个帮助使用文档,可以参考文档进行配置,直接到账号下面进行查看,因为在组织里面已经创建好,创建好任务,如果第一次首次创建的时候,首先是需要去找到数据源,Service,也可以进行搜索,可以进行安装

image.png 

配置对应的endpoint和project等填好AKSK就可以,进行测试验证,可以看到数据可以,创建大盘看一下,选择SAS的数据源

image.png

可以看到数据已经出来,保存,保存大盘,就可以完成SAS的数据,如果更复杂的数据,可以查看官方的文档来进行来进行配置,其他的像electric search 、table store,都是采用类似的方式,已经将相应的数据源插件都已经集成到的Grafana服务里面,后续要使用的话都可以参照文档来进行使用

image.png

接下来演示如何进行企业云服务通过OAuth登录来集成统一登录的功能演示。

image.png

首先创建一个应用,起好应用的名字,显示名称,回调地址,可以按照最佳实践的文档进行操作,统一登录,回调地址,可以按照格式来进行填写,已经创建好一个

image.png

需要对它的授权范围进行控制,需要选择Profile的方式,两种要进行选择,再生成密钥,产生密钥边已经配置好后就可以在Grafana服务里面进行功能配置。首先在参数管理设置页面进行配置

image.png

修改参数,参数按照文档里面进行配置,以及刚才生成的应用ID和配置,参数按照文档配置,点击开启,保存生效。

image.png

云服务集,云服务集成中的云监控的数据,组织需要切一下

image.png

数据可能没上来,后续再看一下,统一登录的功能,通过OAuth登

录的功能

image.png

可以看到的登录框里面多了一个选项,通过OAuth的方式来登录,可以点一下按钮,直接通过OAuth的方式来登录,当前登录账号已经不不是刚才创建的账号,登出。

演示如何配置免的页面,有时候会需要有些页面不需要登录,给到的合作伙伴,或者一些没有系统权限的人来直接查看的一些系统大盘,演示一下,创建一个组织

image.png 

有两个组织,一个Main org的组织,创建anymore view的组织,匿允许匿名登录的组织,在Grafana参数管理页面添加参数,配置一下,

image.png

比如允许当前组织以View的角色进行免单,点击保存。再找到对应的大盘,比如在当前组织,切换组织,组织里面新建一个大盘,以数据源来创建一个大盘,测试数据有点,错误先忽略。

image.png

可以看到这样的一个大盘,分享链接,拷贝链接,再登出。这时候可以直接访问链接,就可以完成查看,不需要再登录。

image.png 

可以看到这边是不需要登录的,如果需要登录,可以再查看其他的组织,或者其他组织上的大盘,就需要点击登录按钮。

正如所见,当您安装部署 Grafana 时,他与众多服务和技术集成在一起。他附带了许多预置的数据源和可视化插件。但这只是冰山一角

What’s a plugin

· Extends Grafana to support more use cases

· Data source plugins integrate with databases and services

· Panels adds more visualizations to your dashboards

· Apps adds completely custom experiences

Grafana 具有广泛的插件体系,允许您通过数据源插件带来更多数据,进一步定制您的体验。添加更多你想要的方式去展示数据的可视化效果,并通过定制化配置扩展 Grafana 体验。比如通过面板和管理 UI 菜单,我们会发现20个由 Grafana  plugin构建的高质量企业级插件,如Jira 、Salesforce 插件。你还可以找到有18个 Grafana 合作伙伴制作的相关插件,以及200个以上的开叉开源插件。

image.png

如果您仍然找不到想要的插件,因为你可以自行构建相关插件,用于内部工具和服务。

image.png

相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
相关文章
|
运维 数据可视化 小程序
CodeFuse首届有奖征文:助力高效编程,赢取丰厚奖品!
CodeFuse是一款蚂蚁集团研发的代码大模型产品。其终极使命是支持整个软件开发生命周期,涵盖设计、需求、编码、测试、部署、运维等关键阶段。我们致力于打造创新的解决方案,让软件开发者们在研发的过程中如丝般顺滑。
89 0
CodeFuse首届有奖征文:助力高效编程,赢取丰厚奖品!
|
6月前
|
Java 开发者 微服务
开源召集令
开源召集令,召集令发布,欢迎有想法的你,不管是技术大牛、萌新学徒,都踊跃加入组织一同学习、共同进步吧。
56 0
开源召集令
|
文字识别 数据管理 API
双十一钜惠!三门不可多得的HarmonyOS学习教程
今年双十一,各大商城优惠不断。这里介绍三门不可多得的HarmonyOS学习教程,都有非常大的折扣优惠。
94 0
|
设计模式 缓存 Java
又快又稳!Alibaba出品Java性能优化高级笔记(全彩版)震撼来袭
性能优化 作为一个程序员,性能优化是常有的事情,不管你是刚入行的小白还是已经入坑了很久的小秃头都会经历很多不同层次的性能优化——小到代码审查大到整个系统设计的优化!大势所趋之下,如何让自己的优化方向精准到性能瓶颈的那个点以及尽可能的提高优化的性价比已经慢慢成为每一个程序员都要考虑的问题了~ 下面是目前程序员进行性能优化时需要遵循的一些原则以及注意的一些点,大家可以看看自己在进行优化的时候是否有考虑到这些:
|
JSON 安全 JavaScript
开源分享|速进!这些开源项目助你玩转世界杯
为了帮助大家找到更好的世界杯打开方式,OpenSCA项目组搜罗了一些与世界杯相关的开源项目。一起来看看吧~
212 0
开源分享|速进!这些开源项目助你玩转世界杯
|
存储 Prometheus 监控
|
存储 Prometheus 自然语言处理
|
SQL Kubernetes 监控
第四期学习报告——相约在冬季实战营~
简介: 在刚刚结束的第三期中,接触到了很多关于MySQL数据库的知识,还学习了SQL语句基础,以及如何在云端使用数据库。本期来到了容器的专题。浏览一下日程安排,发现这期是自开营以来第一次在同一期中安排了两次直播。本期先是介绍了阿里云的容器服务,然后进行了Docker基础知识的梳理,介绍混沌工程,最后在直播中学习利用容器和容器网络文件服务搭建WordPress网站,学习如何保持线上应用的最佳状态,保持业务连续性。
85 0
|
运维 Prometheus Kubernetes
相约在冬季实战营——第四期学习报告
https://developer.aliyun.com/adc/series/wintercamplist4 这一期的实验场景主要和容器相关,docker部署容器,k8s编排容器~~~
528 1
相约在冬季实战营——第四期学习报告
|
开发者 大数据 流计算
《我与开源的故事》有奖征文开始啦!四重福利等你拿
讲一讲你和开源的故事吧。也许是某个开源交流后邂逅了第一行开源代码。也许是因为某个有趣的小应用,结下了开源的不解之缘。投稿你与开源的故事,即有机会获得丰厚大奖!
《我与开源的故事》有奖征文开始啦!四重福利等你拿
下一篇
无影云桌面