SQL/PromQL? SLS时序分析选型
可观察性与Open Telemetry 在CNCF的landscape上,有专门的一个部分来展示Obserability and Analysis,什么是Observability(可观察性)? 我从OpenTelementry官网摘抄了这段描述:可观察性包括Logging,Metrics,Tracing这三类紧密配合的数据源:metrics可以用来发现问题,利用相关的trace去找到异常节点,再看该异常节点的日志去定位根因。
案例中心与数据实验室联动
日志服务 (SLS) 在提供一站式接入服务的同时,还提供了大规模日志的实时查询与分析能力。现在日志服务推出了数据实验室与 SQL 案例中心联动的功能,方便用户熟悉我们的查询和分析功能。
混合云备份服务ECS快照管理背景信息及操作
ECS整机保护通过周期性的云盘快照策略,为ECS整机(或者指定云盘)提供快照级别的保护。您也可以启用快照备份的功能,把快照数据备份到HBR的备份库中,从而实现长期低成本的保护。
安防视频监控行业的“新基建”要如何落地?
作为“新基建”的重要内容,具有高速率、低时延、大带宽等特点的5G网络将迈入快速发展的新阶段。而随着5G网络等“新基建”相关技术的发展,一些相关行业也将随之出现变革。
智能媒体管理应用场景有哪些?
智能媒体管理(IMM)为云存储上的文档、图片、视频等 非结构化数据提供智能分析处理能力,并通过 提取关键元数据构建索引,实现非结构化数据的查询能力,主要应用于如下场景。
使用模拟日志轻松上手日志服务——数据实验室实践
数据实验室是日志服务(Log Service,简称 SLS)最新推出的工具,为用户提供各种场景的模拟日志数据,以及各种公共数据集数据。同时也根据场景建立对应的报表模板,方便用户从这些数据和报表模版入手以熟悉日志服务的查询,报表编辑等各种操作。
日志服务高级图表介绍
日志服务高级图表 一张好图胜过千言万语。所谓的高级图表,并不是指使用上的高级,而是相对于一些基础图表(线图、饼图),在一些特殊场景下使用它们能发挥出来更好的效果。如图所示,这些高级图表目前在阿里云日志服务控制台都是已经支持的。
AAAI 2020: 时序转化为图用于可解释可推理的异常检测
Time2Graph: Revisting Time Series Modeling with Dynamic Shapelets 原文地址 整体导读 文章提出了带有时间意识的Shapelet,除了可以挖掘时序中的异常状态之外,可以自动感知异常状态所在时间位置上的敏感度; 文章尝试捕捉不同Shapelet之间的关系,提出了通过图结构(Graph)对这种关系进行表达的方法,在挖掘异常变化轨迹的同时也具备良好的可解释性。
日志审计服务新功能介绍(全局数据视图及DRDS接入)
阿里云日志服务作为行业领先的日志大数据解决方案,一站式提供数据收集、清洗、分析、可视化和告警功能。日志审计APP提供多账户下跨多云产品审计相关日志进行实时自动化中心化采集,并提供审计需要的存储、查询、信息汇总支持。
将OSS数据导入日志服务操作实践
OSS与日志服务相比,OSS存储的成本更低,不过日志服务中查询、结果展示、实时监控、数据加工等功能是OSS所不具备的。所以,可以将历史数据投递到OSS进行长期保存,SLS存储近期有查询分析需要的数据。<br />当历史数据有查询、分析需求时可以将OSS中的数据重新导入到SLS。
快速读懂对象存储 OSS数据处理介绍
阿里云OSS为在云上的数据打通了一个处理与使用的快速通道。通过简单的 RESTful 接口,可以在任何时间、任何地点、任何互联网设备上对存储在OSS中的数据进行分析处理。
基于安全和性能视角的图片加载接口设计(相册与网盘服务)
背景 移动端app, 对于图片的加载是必不可少的一个需求之一,在我们开发的app中可能对于图片的资源有一定的安全需求,图片的地址是需要app业务服务这边做过签名等机制才允许访问使用,基于这个我们使用阿里云oss的签名方式来使用,服务端将签好名的地址直接图给客户端,即可加载成功,但是这样在客户端场景中使用上还是有一些比较难受的痛点。
基于SLS+Blink的实时计算最佳实践
SLS与阿里云实时计算结合,可以把SLS作为数据源(Source),实现日志端到端的实时采集与处理,也可以把SLS作为结果的输出目标(Sink),在SLS对结果实时查询分析,配置可视化报表等。
导入MaxCompute数据到日志服务实战
日志服务支持将MaxCompute 中的数据导入到日志服务,利用日志服务的查询和可视化功能,对数据进行分析和可视化展示,使用数据加工对数据进一步处理,充分发掘数据的价值
基于日志服务数据加工与RDS MySQL做数据富化以及数据分析
准备基于sls日志服务对共享单车租赁信息进行加工分析。sls日志服务上记录2019年8月上海地区某共享单车的数据,已脱敏处理,供研究之用。因RDS数据库里保存的是每辆自行车的编号、品牌以及投放批次。因此需要使用日志服务数据加工将单车实时动态记录日志与保存在RDS上的静态数据做富化和数据分析处理。
基于云存储网关的Veeam备份归档上云方案
传统备份厂商的异地备份方案是将数据备份至异地机房来保护数据。公共云的出现改变了异地备份的方案和架构。用户在面对公共云和传统备份架构时,该如何选择呢?本文结合Veeam备份软件的使用,一方面来阐述Veeam是如何与云存储网关产品结合将数据备份上云,另一方面也试着给出一些看法和建议。
《阿里云存储产品及应用白皮书》发布,4大趋势助你布局决策
通过《阿里云存储产品及应用白皮书》我们不仅可以全面了解阿里云作为一家云服务商的存储产品与解决方案,也能从“上帝视角”对整个存储技术领域有一个清晰的轮廓。
阿里云日志服务(SLS)SQL案例中心发布
阿里云日志服务(SLS)提供大规模日志实时查询与分析能力(LogSearch/Analytics),支持完整SQL92标准(提供restful 和 jdbc两种协议),除基本聚合功能外,支持完整的SQL计算,并支持外部数据源联合查询(Join)、机器学习、模式分析等函数。
阿里云日志服务与Splunk集成方案(Splunk Add-on方式)实战
技术文章--阿里云日志服务与Splunk集成方案(Splunk Add-on方式)实战 背景信息 在 日志服务与SIEM(如Splunk)集成方案实战 中,作者已经就阿里云日志服务及审计相关日志的现状做了介绍,并实现了“使用SLS消费组构建程序,从SLS进行实时消费,然后通过Splunk API(HEC)来发送日志给Splunk。
批量开启 SLS 服务日志
背景 SLS 服务日志支持记录 Project 内的用户操作日志等多种日志数据,并提供多种分析维度的仪表盘。在开通此功能后,相关的日志都会被存储到指定位置(project)下的两个特殊 logstore:internal-operation_log 以及 internal-diagnostic_log,我们可以像操作普通 logstore 一样,对它们进行查询、分析、消费以及构建仪表盘等。
地理数据可视化探索——SLS的地图演变之路
伴随着阿里云日志服务(SLS)面向的客户群体不断变化,接入的日志数据种类日益增多,地理类数据成为了日志数据分析中越来越常见的一类数据形式。数据可视化应用的火爆发展,地理数据的可视化也萌发出了大量的需求,大规模地理数据可视化分析,从业务上来看一直是个难点,地理数据的存储,计算,分析,可视化,产品应用等各个方面都需要综合起来考虑。
MacOS客户端通过阿里云VPN连接阿里云NAS SMB文件系统
SMB远程文件传输协议在远程文件系统领域具有相当的统治地位。主流客户端厂家,包括微软、苹果以及Linux生态圈都支持SMB协议,并且苹果的MacOS已经将SMB作为其默认的远程文件协议。作为国内云厂商的龙头企业,阿里云NAS SMB文件系统也可以支持MacOS客户端。
再也不用为权限配置烦恼了——日志服务权限助手实践
权限助手是日志服务为了简化 RAM 策略配置而推出的小工具,旨在帮助用户进行日志服务的权限配置。用权限助手配置权限,再也不用辛苦查帮助文档了,哪里需要点哪里,从此再也不用为权限配置烦恼了。
在日志服务中使用权限助手进行权限配置
在使用 SLS 日志服务的时候,很多情况下,我们需要给不同子账号,角色赋予不同的权限。由于日志服务中涉及的功能模块很多,而且功能模块互相之间有依赖关系,所以手工编写 RAM 的配置文件会显得很繁琐。现在,日志服务中新上线了权限助手功能,使用这个工具可以在很大程度上简化权限配置的操作。
Logtail 新功能:采集路径黑名单
背景 在某些场景下,我们需要采集的日志会分散在多个目录,为了在一个采集配置中同时采集它们,我们往往需要把采集配置中的目录指定为这些目录的共同父目录,这在实际使用用可能会产生一些问题。以如下的目录结构为例,我们希望在一个采集配置内指定采集 dira/b/c 目录下的 *.log,就必须将采集目录指定为父目录 admin。
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。