LC3视角:Kubernetes下日志采集、存储与处理技术实践
在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下,Kubernetes日志处理上也遇到的新挑战,包括:容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文介绍了“Logtail + 日志服务 + 生态”架构,介绍了:Logtail客户端在Kubernetes日志采集场景下的优势;日志服务作为基础设施一站式解决实时读写、HTAP两大日志强需求;日志服务数据的开放性以及与云产品、开源社区相结合,在实时计算、可视化、采集上为用户提供的丰富选择。
【最佳实践】如何通过OSS的Bucket Policy设置访问授权?
OSS控制台支持图形化设置Bucket Policy。通过Bucket Policy允许Bucket Owner直接进行访问授权控制,而不需要通过RAM 进行授权。Bucket Policy可以实现带IP条件限制的匿名用户访问策略设置以及跨账号授权策略设置;
Nginx监控数据采集与分析
本文主要介绍通过日志服务logtail采集nginx status信息,并对采集的status信息进行查询、统计、搭建仪表盘、建立自定义报警,对您的nginx集群进行全方位的监控。
如何将内网服务器数据采集到日志服务
1.背景公司内部服务器都没有公网访问权限,只有少数网关机可以访问公网,但需要将日志采集到阿里云日志服务进行实时分析,因此需要配置网关机转发来实现内网服务器的日志采集。 2.准备材料 一台可以访问外网的网关机 1.
日志OLAP:在SQL中使用UDF, lambda函数使用案例
场景 日志服务内置了20+类SQL函数。面对用户复杂的业务场景,例如使用json来沉淀业务数据,普通的SQL函数可能就无法满足需求,需要一些用户自定义处理逻辑。为了处理json类的业务数据,我们可以采用把json展开成多行的形式进行统计分析,今天我们介绍使用UDF(lambda)的方式来编写自定义逻辑,处理json、array、map类型的数据。
阿里云混合云备份服务
随着企业信息化程度越来越高以及业务的快速发展,各类数据成指数级增长,数据安全对企业的成功和业务的持续运营变得越来越重要。如何保证重要业务数据的可靠性,确保在出现灾难或者操作失误的情况下,能找回以前的数据拷贝,如何在最短的时间窗口完成数据的快速备份,如何实现备份数据的异地容灾存放,这些挑战让企业IT管理者不得不重新审视重要业务数据的保护方法。
SQL老司机,在SQL中计算 array & map & json数据
场景 通常,我们处理数据,一列数据类型要么是字符串,要么是数字,这些都是primitive类型的数据。在某些比较复杂的业务场景下,我们会在一列中使用复杂的格式,例如数组array, 对象(map),json等格式来表示复杂的数据,例如: __source__: 11.
日志服务支持Shard自动分裂
日志服务提供Shard自动分裂功能,实时监控Shard流量,自动进行shard分裂以应对流量上涨,解决流量估算不准、随时可能上涨又难以及时处理的问题,保障数据完整。
【最佳实践】OSS开源工具ossutil-调节并发参数[英文版]
前言 前面支持一个国外客户,使用ossutil上传文件到OSS,一直调整不好--jobs和--parallel参数。因此给客户写了一篇简单的英文文档。 用户可从这里获取ossutil。 官网: https://help.
【最佳实践】OSS开源工具ossutil-Cannot assign requested address解决方案
问题 某用户使用如下命令上传目录到OSS,中间隐去bucket name。 ./ossutil cp oss:///img/330802010400071904 -r -j 15 /home/oss/video-algorithm/ 出现如下错误。
极致性能、安全可靠 阿里云推出首个企业级块存储产品Apsara Block Storage
6月14日,阿里云宣布推出首个可部署在本地数据中心的企业级块存储产品Apsara Block Storage,该产品基于分布式架构,具备高可靠、高性能、弹性扩展、全面兼容等特点,可轻松部署在本地数据中心,帮助政府、金融、大型企业等构建大规模分布式块存储平台,应对海量数据的敏捷存取需求。
MySQL执行计划解析
前言 在实际数据库项目开发中,由于我们不知道实际查询时数据库里发生了什么,也不知道数据库是如何扫描表、如何使用索引的,因此,我们能感知到的就只有SQL语句的执行时间。尤其在数据规模比较大的场景下,如何写查询、优化查询、如何使用索引就显得很重要了。
Kubernets日志采集配置模式介绍与对比
为提供更优的扩展性、灵活性,Logtail采集的配置与K8S中的Deploy/Pod配置完全解耦,两者可以一起部署也可以独立部署,具体取决于您的实际应用和业务需求。下面我们介绍几种典型的配置方式,以便于您在实际应用中进行参考。
Kubernetes中Logtail日志采集CRD配置详解
日志采集配置默认支持控制台配置方式,同时针对Kubernetes微服务开发模式,我们还提供CRD的配置方式,您可以直接使用kubectl对配置进行管理。
【最佳实践】OSS开源工具ossutil-大文件断点续传
# OSS断点续传 ## 应用场景 当调用OSS的PutObject来上传较大的文件时,如果上传过程中出现错误,比如网络错误,那么此次上传失败。重试时必须从文件起始位置上传。 针对这种情况,OSS提供了分片上传(Multipart Upload)来达到断点续传的效果。
【最佳实践】OSS开源工具ossutil-增量上传
经常碰到内部同学或者外部客户问ossutil关于增量上传的问题。本文简单描述下原理并举例说明。 # 应用场景 ## 场景一 某用户有一批文件(比如1000个)要上传到OSS(或从OSS下载,或从OSS拷贝到OSS,下同),当执行批量上传的过程中出现失败(比如在上传第601个文件时失败)。
【最佳实践】OSS开源工具ossutil-过滤参数include/exclude
# 应用场景 某些用户在本地或者OSS上存放了不同类型的文件,比如jpg文件和pptx文件。用户希望在(批量)上传jpg文件的时候设置不同的meta和ACL,而(批量)上传pptx文件的时候设置另外的meta和ACL。
【最佳实践】OSS开源工具ossutil-ls --marker使用方法
经常碰到有内部同学和外部客户问ossutil在list的时候marker如何使用,这篇短文可以帮到您。 ossutil的ls命令默认情况下回列出给定bucket/prefix的所有object。--marker参数可以指定从该位置开始list。
上海云栖Clouder Lab—小微金融业务跨平台数据共享与处理课程实践
近来各类小微金融业务不断涌现,这些数字化金融创新背后是各种复杂的数据采集、交换、以及构建的过程。 本次Clouder Lab的课程中,我们会以一个第三方支付业务的风控场景为案例,演示如何通过阿里云产品解决核心数据互通的痛点,通过Serverless架构应对业务增长,通过与各计算分析引擎支持建立风控平台对机构和用户进行服务。
日志服务(Log service)5月控制台更新指南
概览 日志查询分析框全面增强 SLB日志分发支持国内Region,仪表盘优化 支持数据永久保存 图表属性相关开放国际站和日本站 可视化图形细节提升 部分已知bug修复 日志查询分析框全面增强 提升可视区域,支持换行编辑查询分析语句 关键字、操作符、函数高亮,查询分析语句更加易读 交互式编辑体验,关键字、200+内置函数以及字段索引自动提升,提升你的编辑体验 SLB日志分发支持国内Region,仪表盘优化 SLB日志分发功能目前已经支持所有的国内Region项目进行分发,优化了默认的字段索引以及仪表盘,欢迎试用。
对象存储OSS标准型降价回馈,分享存储规模和技术升级的红利
为回馈客户并分享OSS存储规模和技术不断升级带来的红利,阿里云OSS标准型存储单价,中国大陆所有区域统一降为0.120元/GB/月,降幅18.9%。
Severless SQL on OSS 实验
数据存储在OSS后,可以有多种方式查询分析OSS数据,如自建Spark/Presto/Impala(阿里云EMR以及Hadoop社区官方已支持OSS), 使用MaxCompute、DataLakeAnalytics等。
架起线上线下存储桥梁,云存储网关开放性能型文件网关及块网关公测
云存储网关支持行业标准的文件和块存储协议,可以通过在本地缓存经常访问的数据来提供低延迟高性能, 让企业或个人安全地将数据存储在阿里云OSS中,最新发布的“性能型文件网关”和“块网关”现已开通公测。
OSS直传与UXCore-Uploader实践
本文是我们OSS的用户自己写的一篇文章,笔者做了简单的修改。这里代发。感谢这位用户对OSS的了解如此深! 背景 视联网业务中,需要存储大量的图片、视频等素材资源,为应对这种大数据文件的存储,就接入了阿里云对象存储服务(Object Storage Service,简称 OSS)。
使用Python Log Handler自动上传并解析KV格式的日志
Python Logging Handler可以无需写代码自动高效上传日志, 还可以像Splunk一样对KV格式自动解析字段. 本文介绍如何简单配置.
使用Python Log Handler自动上传并解析JSON格式的日志
Python Logging Handler可以无需写代码自动高效上传日志, 对JSON格式还可以自动解析字段. 本文介绍如何简单配置.
再次升级!阿里云Kubernetes日志解决方案
今天阿里云Kubernetes日志解决方案再次升级,为您带来以下改进: 1、极致部署体验:只需一条命令一个参数即可完成整个K8S集群的日志解决方案部署。 2、支持更多配置方式:除原生控制台、SDK配置方式外,支持通过CRD方式进行配置(kubectl、控制台、K8S openapi)。
表格存储降价啦,来看看可以省多少钱!
作为为一款完全自研的分布式NoSQL数据库服务,表格存储在性能、稳定性、功能等方便不断的迭代优化,而单机性能的提高也意味着使用单价的降低,同时由于用户规模的扩大,表格存储对按量读写单价进行了最大50%的下调。
游戏日志分析5:数据库与日志关联分析
在日志分析场景中,我们经常会遇到数据分散在各地场景,例如: 1. 用户操作、行为相关的数据在日志中 2. 用户属性、注册信息,资金、道具等状态存在DB中 3. 根据1和2我们需要对用户进行分层统计,将最后的计算结果写入DB中供报表系统查询 因此为了做分析,我们要在日志服务Logstore.
Logtail从入门到精通(五):分隔符Nginx访问日志采集实战
除正则表达式方式外,日志服务还支持分隔符模式的日志,分隔符支持单字符和多字符两种方式。本文通过Nginx分隔符访问日志为大家介绍如何使用Logtail采集分隔符类型的日志。
如何使用表格存储控制台进行数据监控
### 摘要 2018年5月10号,表格存储新版控制台的监控功能正式上线,优化后的监控功能,不仅可以为用户提供自定义时间段的监控信息查看,增加了对错误率的展示,还提供了更丰富的监控指标,能够清晰的看到指定时间段内诸如总访问量、CU总消耗、请求行数、流量等监控指标,同时,对监控的粒度也进行了提升,从5分钟提高到60秒。
如何使用表格存储控制台进行数据管理
#### 摘要 表格存储(TableStore)是构建在阿里云飞天分布式系统之上的 NoSQL 数据存储服务,提供海量结构化数据的存储和实时访问,数据读写是表格存储产品化最重要的功能之一。 本文首先介绍了表格存储原有的数据读写工具及不足之处,接着介绍了表格存储的数据模型,然后对控制台的数据读写功能进行了详尽的阐述,最后对控制台的数据读写功能进行了总结和展望。
React Native SDK for OSS
此文主要介绍 React Native SDK for OSS的方方面面,包括相关基本概念、项目背景、项目方案、环境搭建运行、使用姿势、注意事项等。文末的附件可运行Example Zip压缩包和针对新手的入门实用文章《从0开始搭建React Native for OSS项目》。
如何将DynamoDB的数据增量迁移到表格存储
AWS 的 Amazon DynamoDB 和阿里云的表格存储 TableStore 都是完全托管的NoSQL数据库服务,提供快速的、可预期的性能,并且可以实现无缝扩展。本篇文章介绍了如何使用 Lambda 将 DynamoDB 的数据增量迁移到表格存储中。
Logtail从入门到精通(四):正则表达式Java日志采集实战
为简化日志接入门槛,我们提供了极简模式的日志解析方式(如[开启日志采集之旅]()中的介绍)。为了更好的对日志进行分析,我们还提供了其他解析方式,例如:分隔符模式、完整正则模式、JSON模式等。本文将为大家介绍如何使用完整正则解析模式。
使用函数计算对表格存储中数据做简单清洗
表格存储的增量数据流功能能够使用户使用API获取Table Store表中增量数据,并可以进行增量数据流的实时增量分析、数据增量同步等。通过创建Table Store触发器,能够实现Table Store Stream和函数计算的自动对接,让计算函数中自定义的程序逻辑自动处理Table Store表中发生的数据修改,充分的利用了函数计算全托管、弹性伸缩的特点。
日志服务(Log service)4月控制台更新指南
概览 查询界面全新视图 支持查询页面以及仪表盘页面内嵌 支持OSS访问日志向导以及安骑士访问日志向导 时间选择器全面加强 部分细节优化和已知bug修复 一.查询界面全新视图 左侧标签页替换为资源树状结构,直接展示用户的日志库、快速查询和仪表盘列表。
智能媒体管理产品文档转换/预览功能介绍(4)--快速搭建
智能媒体管理提供了 Cloud Native 架构的文档转换/预览服务,本文介绍快速搭建的示例,让您用 DIY 的体验方式实现文档预览功能。
日志服务时间选择器增强
日志服务(Log Service)提供给用户丰富的时间选择功能,意图帮助用户快速选择时间段对日志信息进行查询和分析。主要包括3个大类 相对时间 整点时间 自定义时间 一、相对时间 相对时间的计算方式为: 当前时间精确到秒 - 窗口 如当前时间为2018-04-26 21:14:32,时间窗口大小.
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。