云原生日志采集管理方案--Fluent Operator
Fluent Operator是由KubeSphere 社区于2021年捐献给Fluent 社区的,最初是为了满足以云原生的方式管理 Fluent Bit 的需求。Fluentbit Operator可以灵活且方便地部署、配置及卸载 Fluent Bit 以及 Fluentd。同时, 还提供支持 Fluentd 以及 Fluent Bit 的插件,用户可以根据实际需求进行定制化配置。
Fluentd/FluentBit K8s日志采集方案介绍
Fluent Bit 是一个开源的多平台日志采集器,旨在打造日志采集处理和分发的通用利器。2014 年,Fluentd 团队预测对于嵌入式 Linux 和 Gateways 等受约束的环境,需要更轻量级的日志处理器,于是便开发了Fluent Bit,并把该项目建设成为Fluentd 生态系统的一部分。
容器运行时探讨--从dockershim正式从K8s删除说起
2022年05月,Kubernetes 1.24正式发布,比较引人注目的就是在这个版本中正式将dockershim 组件从 kubelet 中删除。从这个版本开始,用户使用Kubernetes时需要优先选择containerd 或 CRI-O作为容器运行时。如果希望继续依赖 Docker Engine 作为容器运行时,需要cri-dockerd组件。
使用Terraform玩转logtail日志采集
Logtail是阿里云日志服务SLS提供的日志采集Agent,用于采集阿里云ECS、阿里云ACK、自建IDC、其他云厂商等服务器上的日志。阿里云作为第三大云服务提供商,terraform-alicloud-provider已经支持了包括SLS、OSS、SLB、RDS在内的众多云产品。本文将介绍使用Terraform实现logtail日志自动化采集的最佳实践。
Elastic Security调研
Elastic Stack 是由 Elastic公司开发的一系列产品,核心产品包括Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。
PostgreSQL导入SLS,从业务到监控数据
PostgreSQL是一款免费的对象-关系数据服务器,在互联网和物联网领域都有广泛的应用场景,PostgreSQL也自称是最强大的开源关系型数据库系统,SLS也在近期上线了PostgreSQL数据源导入功能。本文将介绍如何把PostgreSQL的数据导入SLS,并且从可观测性的角度来介绍下非业务类数据导入的场景。
SLS告警通知到Line
Line是一款由NHN Japan(韩国Naver Corporation公司的子公司)在日本推出的即时通信软件,在日韩拥有较大的用户规模。Line支持构建机器人,并且通过API给机器人推送消息,添加了机器人的用户以及群聊就可以接收到机器人推送的消息。但是由于Line的服务器位于海外,SLS的告警无法直接发送通知。因此本文介绍了如何利用阿里云的其他服务来将SLS的告警通知到Line。
您有一份来自iLogtail社区的礼物待查收
从2021年11月开源以来,高性能轻量级可观测性采集器iLogtail受到了大量开发者的关注和建议。累计收藏800+次,收到建议100+条,PR 180+次,文章阅读量破万。在开源之初我们就坚信开源才是iLogtail最优的发展策略,也是释放其最大价值的方法,时隔9个月开源社区的积极反响让我们亲身体会到了社区在推动开源软件发展的价值,也让我们决定推出更多激励计划来感谢一直支持iLogtail的贡献者们。
Pandas+ SLS SQL:融合灵活性和高性能的数据透视
Pandas是一个十分强大的python数据分析工具,也是各种数据建模的标准工具。Pandas擅长处理数字型数据和时间序列数据。Pandas的第一大优势在于,封装了一些复杂的代码实现过程,只需要调用接口就行了,避免了编写大量的代码。Pandas的第二大优势在于灵活性,可以实现自动化批量化处理复杂的逻辑,这些工作是Excel等工具是无法完成的。因而Pandas介于Excel和自主编写程序之间,兼具灵活性和简洁性的数据分析工具。
iLogtail社区版开发者指南 - 快速搭建编译和开发环境
想尝鲜最新版iLogtail代码提供的功能?想测试刚给iLogtail添加的代码?如何将iLogtail的开源代码转变为可执行程序是很多小伙伴关心的问题。本文将详细描述iLogtail的编译方法,并利用提供的开发镜像,详细描述如何构建一个高效开发iLogtail的环境。
【新功能】智能巡检支持更加灵活的告警
主要介绍如何通过SLS的告警2.0的能力去管理【智能巡检】任务产生的异常事件。通过实体维度和特征纬度的单独配置您需要的告警事件。
日志审计:开通RDS PostgreSQL日志采集
日志审计原已支持采集RDS MySQL的审计日志(基于SQL洞察)、慢日志、性能日志、错误日志,随着用户的使用深入,更多用户对RDS PostgreSQL 日志的采集也提出了需求,日志审计率先响应用户需求,现已支持RDS PostgreSQL 审计日志(基于SQL洞察)、慢日志、错误日志。
阿里云招募数据存储生态计划先行者,携手共赢数字时代
2022年7月29日,阿里云宣布发布全新数据存储生态计划,面向行业ISV伙伴,通过产品集成和认证方式共建联合解决方案,借助该计划,伙伴可享受相应的扶持策略,阿里云将帮助伙伴不断提升技术与方案竞争力,携手共赢。
阿里本地生活全域日志平台 Xlog 的思考与实践
作者:王宇(御田)。当你踏进了编程的领域,代码和日志将是你最重要的伙伴”。基于日志的问题排查是研发效能领域的重要部分,阿里集团本地生活在支撑多生态公司、多技术栈的背景下,逐渐沉淀了一款跨应用、跨域的日志排查方案-Xlog。本文给正在或即将使用 SLS 的同学提供一些参考,帮助更好地落地日志排查方案。
iLogtail社区版使用入门 - 采集MySQL Binlog
MySQL Binlog记录了MySQL的变更日志,业界也有一些方案来同步Binlog的数据,如Canal、MaxWell、DTS等。不同的工具可以实现不同的目标,iLogtail也提供了便捷的Binlog同步功能,iLogtail采集到Binlog后,可以将结果输出到各类flusher,本文以采集到Kafka为例进行介绍。
从50家值得关注的数据领域创业公司,简单解读“最新数据基础设施”
这里,我们将一起了解最新数据领域的技术动态和分析其中所包含2020年至今的一些发展趋势。
SLS控制台日志下载功能全新升级
阿里云日志服务(SLS)支持将日志或查询分析结果下载到本地,并提供了控制台、Cloud Shell、SLS CLI以及SLS SDK四种下载方式下载日志。控制台下载的方式无需用户进行额外的配置或部署,只需一些简单的控制台操作便可完成下载,相较于另外三种方式更加便捷、易用,也更受大部分用户的青睐。
储留香:数据迁移上云避坑指南
常言道:人往高处走,水往四面八方流,而让数据如水一般流动则是IT人孜孜以求的。那么在如今这个风起“云”涌,不管是上云,还是换云都涉及到数据迁移的时代,如何做到这一点呢?今天,我们就来聊一聊。
【Logtail最佳实践】使用Logtail采集和解析Syslog数据
Syslog是一种行业标准的协议,可用来记录设备的日志。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。 本文档介绍如何使用Logtail采集和解析Syslog数据。
表格存储2022年产品满意度调研
新一年的产品满意度调研开始了。作为一款云产品,最开心的事情就是陪伴客户业务一起成长。相信客户的业务也在经历大大小小的挑战,面临许许多多新的机会以及问题,而这些都会或多或少的化作对产品的要求。而这些要求以及在使用中或多或少的吐槽,就是我们产品最大的养分。这里过往的产品改进做了小结,期待大家对我们新的评价与建议。
阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?
阿里云文件存储NAS极速型NAS低时延,适合企业级时延敏感型核心业务;文件存储CPFS拥有高吞吐和高IOPS,适合高性能计算业务;通用型NAS大容量、高性价比、弹性扩展,支持低频介质,适合通用类文件共享业务。
一站式智能运维解决方案,企业系统的隐形守护者
数字化时代,创新迭代在加速,体验重要性在提升,IT系统架构在变革,运维数据与事件在爆发。阿里云智能运维解决方案,帮助用户高效定位问题、提升业务体验与洞察、快速创新迭代。
IT人才能嗑到的这对CP,甜!
提到文件存储,相信大家都不陌生,在浩瀚的存储发展史中,文件存储无疑是璀璨的,耀眼的。那么,在性能已经成为刚需,自动驾驶行业风起云涌的当下,文件存储与GPU这对CP又有怎样的含糖量呢?今天,我们就来嗑一嗑。
阿里云文件存储NAS(Apsara File Storage NAS)真是个好东西,相见恨晚。
阿里云文件存储NAS(Apsara File Storage NAS)是一个可大规模共享访问,弹性扩展的高性能云原生分布式文件系统。支持智能冷热数据分层,有效降低数据存储成本。
【最佳实践】使用Logtail采集MQTT协议数据
MQTT是一个为IoT设计的消息协议,是一种轻量级的基于Pub/Sub模式的通信协议,支持物联网设备与服务器之间的双向通信。广泛应用于自动驾驶、智能家居、制造业、电信等领域。 本文主要介绍如何使用日志服务Logtail作为订阅方来采集基于MQTT协议的消息。并将消息内容采集到日志服务的Logstore。
如何将“智能巡检”嵌入“业务系统”中?
智能巡检借助强大的SLS“告警2.0”消息系统,可以很好的桥接很多内部和外部的系统(EventBridge、FC等),也可以借助SLS的SDK和自定义的函数去解决针对“告警结果”的下一步“分析任务”,从而更好的实现对于问题的排查和解决。
今天的应用架构,正处在一个不可测的阶段
简介: 近几年,“可观测性”这个词在国内的 IT 圈子突然走红,阿里、百度、字节、腾讯等大厂纷纷跟进可观测性建设,更有多家基于可观测技术创业的公司陆续成立,可观测性领域的融资很火爆。这把名为“可观测性”的火,甚至从后端领域,延伸到了大前端,一些移动开发团队希望通过引入“可观测性”概念解决更深层次的应用架构问题,改善性能和业务体验。
【最佳实践】K8s挂载PVC日志采集“轻量级”玩法
本文提供一种相对Sidecar部署更轻量级的采集方式,只需要部署少量的Logtail容器,即可采集不同业务容器的日志。
数据洞察(2):描述性数据分析在日志场景的落地
随着互联网的极速发展,海量用户产生的海量日志,每天都在急剧膨胀。数据仓库就像一个个油井一样,我们都知道这里边有矿,但是怎么从矿里边挖出有价值的信息,一直是困扰矿主的最大问题。如果缺乏强大的分析工具,或者数据分析能力,积累再多的数据的数仓,都会变成数据坟墓:花了大力气采集过来数据,然后打包放到冷存仓库里边,一直没有任何访问,直到一天磁盘空间满了,把最老的数据清理掉。我们的决策,往往是依赖于个人的经验和直觉,而不是基于数据所呈现给我们的信息。而要从数据中挖掘出有用的信息辅助我们做决策,一方面需要强大的数据分析工具,一方面需要专业的数据分析经验。
K8S采集专题-稳定性:iLogtail容器重启数据可靠性探讨
容器场景下iLogtail容器的稳定性对于日志采集的可靠性尤为重要,特别是对于容器重启的情况需要通过特定的配置确保采集状态可恢复。本文简要讲解了iLogtail的状态持久化原理和容器场景状态持久化方案,并详细描述了在K8S和Docker环境下如何配置iLogtail参数和容器参数来解决这种情况下的数据采集的稳定性问题。
半天掌握日志存储 云启实验室系列课程 第五讲 | 日志服务之分析用户访问行为
本教程介绍如何使用日志服务采集NGINX日志,创建仪表盘分析用户访问行为。 专家支持:阿里云日志服务技术专家 执少
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。