【功能发布】日志服务(SLS)9-10月功能合集

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务9月功能发布

新地域

新增英国(伦敦)区域

新功能

1.新增机器学习/统计函数

摘要
日志服务新增机器学习函数,提升智能日志分析能力

适用客户
开发者、运维人员、数分析师

详细说明
机器学习功能为您提供多种功能丰富的算法和便捷的调用方式,您可以在日志查询分析中通过SELECT语句和机器学习函数调用机器学习算法,分析某一字段或若干字段在一段时间内的特征。尤其是针对时序数据分析场景,日志服务提供了丰富的时序分析算法,可以帮助您快速解决时序预测、时序异常检测、序列分解、多时序聚类等场景问题,兼容SQL标准接口,大大降低了您使用算法的门槛,提高分析问题和解决问题的效率。功能特点:

  • 支持单时序序列的多种平滑操作。
  • 支持单时序的序列预测、异常检测、变点检测、折点检测、多周期估计算法。
  • 支持单时序的序列分解操作。
  • 支持多时序序列的多种聚类算法。
  • 支持多字段(数值列、文本列)的模式挖掘。

文档

2. 新增公网IP/服务端到达时间标签

摘要
日志服务LogHub功能新增加了两种默认标签:日志写入客户端的公网IP地址和服务端接受日志的时间。

适用客户
开发者,运营人员

详细说明
客户端公网IP可以和日志服务提供的IP相关函数结合,帮助用户获取客户端的城市,省份等位置分布信息。而服务端到达时间可以统计日志的实际到达服务端的时间,当客户端写入的时间不准确时,日志到达服务端的时间可以作为日志时间的补充。
用户在控制台开通该功能后,使用SDK,WebTracking等方式写入日志时,日志服务会记录客户端IP地址和日志到达服务端的时间,并以标签__client_ip__ 和__receive_time__中。用户可以通过控制台查询,消费组,流计算等消费方式对这两个标签进行消费。

文档

3. 新增Compare/时序数据补点等函数

摘要
日志服务新增Compare系列扩展函数,时序补点函数,加强场景分析能力。

适用客户
开发者、运维人员

详细说明
compare_result()对compare结果与比例直接以字符串形式统一输出。
compare() 新增多时间段比较,能在一个函数内对最大4个时间区间进行比较,例如可以同时计算同比,环比等数据。

文档

4. 仪表盘新增过滤器图表

摘要
仪表盘新增过滤器图表,包含新增过滤条件和变量替换功能。

适用客户
开发者、运维人员

详细说明
在日志服务仪表盘中增加过滤器配置,可以过滤器缩小查询范围或替换占位符变量,即对整个仪表盘进行查询过滤(Filter)和变量替换(Variables)操作,仅需进行一次配置即可在整个仪表盘中对某一Key值进行持续的交互分析。

文档

5. 发布实时推送(LiveTail)功能

摘要
日志服务新增LiveTail功能,实时监控线上日志文件写入,不需要登录服务器既可以达到远程tail -f效果。

适用客户
开发者、运维工程师

详细说明
在传统的运维方式中,我们如果需要对日志文件进行实时监控,就要到服务器上对日志文件进行tail -f命令操作,然后实时监控的日志信息不够直观的话,再加上grep或者grep -v进行关键词过滤。
这样的操作非常方便有效,但在分析异常中会力不从心,所以日志服务在控制台上新增了LiveTail功能,以满足以下的场景:

  • 监控日志的实时反馈,关键词标记以及过滤。
  • 结合采集配置,对采集的日志进行索引区分。
  • 日志字段作分词处理,以便查询包含分词的上下文日志。
  • 根据单条日志信息追踪到对应日志文件进行实时监控,无需连接线上机器。

文档:

6. CLI - 支持高速跨域复制/重索引/重投递数据功能

摘要
日志服务的命令行工具(CLI)增加了高速跨域日志复制,对历史数据进行重新索引与数仓投递的功能。

适用客户
开发者,运维工程师

详细说明
CLI 增加如下两项功能:

  1. 使用CLI提供的copy_data子命令,即可轻松基于特定时间区域的数据,从一个区域的logstore复制到另一个区域的logstore(可以同区域同logstore)。
  2. 支持了对历史数据进行重新索引、重新投递的功能。

文档:

云产品接入

1. 函数计算Metric

摘要

函数计算用户可以将函数调用的统计信息采集到日志服务LogStore存储,并支持对函数调用进行实时查询与分析统计、通过多种可视化方式进行分析结果的直观展示,帮助您更好地掌控函数运行状态。

适用客户

函数DevOps人员、财务人员

详细说明

  • 函数计算Metric数据实时采集,绝大部分情况下用户可见延迟为秒级
  • 满足函数实时诊断需求:通过关键词进行日志查询,并支持SQL语法进行问题诊断
  • 内置一张报表,包括:计费调用次数、资源使用量、公网出入流量、服务质量、函数并发度、执行时间等指标
  • 支持对函数健康程度进行监控,通过查询语句获取函数调用的统计结果并设置阈值触发告警

文档

2. 态势感知

摘要

阿里云态势感知日志分析(LogAnalysis)可提供态势感知风险威胁数据的实时收集、查询与实时分析、存储和分发等一站式服务。无需您开发就能快捷完成全要素风险和威胁日志数据的采集、查询与实时分析等,帮助您提升运维、运营效率。

适用客户

安全运维人员、安全运营运营人员、安全系统开发者、CIO等

详细说明

功能优势:

  • 秒级完成安全与主机日志分析, 网络日志可达1小时级别
  • 全面覆盖网络、主机、安全三大类共14种类型的子日志
  • 支持API接口及多种语言的SDK, 与阿里云、开源生态下游计算、大数据系统融合,对合作伙伴开放
  • 操作简便、开箱即用;支持用户基于自身业务场景自定义构建业务视图

功能描述:

  1. 实时全要素日志采集: 帮助用户及时全面了解资产的数据和运行情况,及时获取资产中包含主机、网络和安全方面的风险和威胁,全面防护您的资产安全。
  2. 智能查询分析,内嵌详细的查询语法: 支持实时检索和查询分析数据,可查询多种复杂场景下的日志,帮助用户更好发现各类隐蔽安全风险,避免对业务造成严重损失。
  3. 快速分析: 态势感知日志分析服务提供快速分析功能,为用户提供一键交互式查询体验,帮助您快速分析某一字段在一段时间内的分布情况和占比,减少索引关键数据的时间成本。
  4. 丰富的报表仪表盘界面: 日志报表页面可集中展示安全、主机和网络3类日志列表仪表盘的相关数据,支持接入多种可视化平台。
  5. 自定义报表: 支持用户基于自己的业务特点自定义报表和仪表盘。
  6. 导出日志: 支持导出日志到本地或其他数据仓库,帮助用户开展安全审计工作或者备案提供依据。

文档

3. DRDS日志审计与分析

摘要

阿里云分布式关系数据库DRDS的SQL执行日志已经与日志服务打通,提供历史 SQL 追溯能力,提供 SQL 实时分析能力,全方位展示数据库执行状况、性能指标、安全问题。并提供内置可深钻的报表、支持异常报警与生态对接能力等。

适用客户

  • 合规:对SQL审计日志存储有更长存储合规需求(例如半年/1年)的大型企业与机构,如金融公司、政府类机构等。
  • 高级运维:需要对数据库状况做实时监测,并对业务上出现的性能、可靠、稳定性等异常问题能够进行快速排错的客户,需要使用日志服务的实时的交互式的统计、查询分析和报警功能,如互联网服务、金融等企业。
  • 安全:需要对数据库安全进行审计,辅助数据安全防护和事后排查的公司,需要使用日志服务的实时查询分析功能,如金融、证券、电商、游戏等公司。
  • 行为分析:需要对数据库操作做行为分析,作进一步性能、功能、体验调优的参考和验证,除了统计查询外,也需要对接外部系统做进一步深度分析的公司。

详细说明

具备以下优势:

  • 简单轻松配置,即可实时采集SQL执行审计。支持一键历史执行SQL的审计信息导入。
  • 可靠:对现有数据库支持无性能影响,数据实时接入,秒级延迟。
  • 信息充分:除了执行的SQL之外,也自动提供事务归类、SQL模板归类、SQL类型解析、执行时间、执行结果、影响行数等信息,对数据库执行状况、性能、潜在安全问题了如指掌,并可实时挖掘细节。
  • 强大:依托日志服务,提供实时日志分析,并提供开箱机用的报表中心,并提供深钻能力,且支持定制。
  • 灵活:支持基于特定指标,支持定制准实时监测与报警,确保关键业务异常及时响应。可对接其他生态如流计算、云存储、可视化方案,进一步挖掘数据价值。
  • 成本优势:支持任意时间的存储,以便合规、溯源、备案等。每1000万条SQL审计日志存储一个月,每天只需2毛钱左右

文档

4. CDN实时日志分析

摘要

用户可以在控制台对CDN日志进行所见即所得分析

适用客户

开发者、运维人员、运营人员、财务人员

详细说明

CDN实时日志延时小(秒级延时),可以帮助您快速的了解到CDN的访问详情,开通服务后,CDN将日志数据自动投递到日志服务(SLS),免去繁琐的传统日志分析的流程,实时查看日志分析结果。通过日志的实时分析,您可以快速发现和定位问题,通过对日志数据的挖掘,提高数据的决策能力,将您的业务推向一个新的高度。

该方案有如下特点:

  • 实时日志为实时采集的日志数据,日志数据延迟大部分情况为秒级
  • 打通了日志服务分析的能力,为客户定制4张分析报表,帮助您快速对日志进行分析,发现问题,及时决策。

文档

体验优化

1. 接入向导功能优化

摘要
接入向导分隔符模式增加自定义配置quote功能,高级选项新增丢弃解析失败日志开关。

适用客户
开发者、运维人员

详细说明
接入向导在分隔符模式下可支持用户自定义配置quote转义符,同时高级选项内新增丢弃解析失败日志开关,开启后,解析失败的日志不上传到日志服务,关闭后,日志解析失败时上传原始日志。

2. 控制台优化

摘要
控制台功能体验增强,支持各实例中文设置,优化名称修改和图形显示等逻辑。

适用客户
开发者、运维人员

详细说明

  1. 快速查询,告警名称,告警字段,仪表盘名称支持中文设置
  2. 仪表盘页面可编辑仪表盘名称
  3. 快速查询详情开放名称修改功能
  4. 中国地图世界地图显示颜色优化
  5. markdown支持有序列表,无序列表
  6. 日志下载优化,动态生成命令行
  7. 线图优化,非双轴图的情况下可正常使用legend
  8. 日志查询页面全面优化渲染性能
  9. 日志查询页面内容列新增折叠相关配置,用户可以根据自身日志量合理调整折叠粒度
  10. 日志查询页面左侧资源树交互调整,扩大可视区域
  11. 表格类图表新增翻页组件,保障大limit条件下图表有稳定的渲染性能
  12. 时间选择新增今天(相对时间)、最新5分钟
  13. 国际站同步中文站部分功能

3. 控制台bug修复

  1. 分词符输入''导致出现多个''
  2. dashboard在只存在markdown的情况下无法显示标题
  3. 线图超过8条后,颜色显示异常
  4. dashboard添加,名称和图表名称相同情况下无法创建
  5. 流图配置在没有数据情况下导致页面卡死
  6. 存在markdown的仪表盘,点击刷新一直处于loading状态
  7. 修复桑基图在数据项为0情况下label重叠问题
  8. 修复矩形树图label显示过密问题
  9. 修复当前页选中点击标签页可能导致js报错问题
  10. 修复编辑markdown图表有可能导致图表重复渲染问题
  11. 修复左侧资源数查询后导致dashboard标题消失问题
  12. 修复仪表盘全屏模式下刷新会导致css样式错乱问题
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
7天前
|
Java
日志框架log4j打印异常堆栈信息携带traceId,方便接口异常排查
日常项目运行日志,异常栈打印是不带traceId,导致排查问题查找异常栈很麻烦。
|
17天前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
49 9
|
24天前
|
存储 监控 Serverless
函数计算发布功能问题之用户在使用主流函数计算产品的日志服务时可能会遇到使用成本的问题如何解决
函数计算发布功能问题之用户在使用主流函数计算产品的日志服务时可能会遇到使用成本的问题如何解决
|
24天前
|
监控 Serverless 开发者
函数计算发布功能问题之查看函数的调用日志的问题如何解决
函数计算发布功能问题之查看函数的调用日志的问题如何解决
|
19天前
|
API C# 开发框架
WPF与Web服务集成大揭秘:手把手教你调用RESTful API,客户端与服务器端优劣对比全解析!
【8月更文挑战第31天】在现代软件开发中,WPF 和 Web 服务各具特色。WPF 以其出色的界面展示能力受到欢迎,而 Web 服务则凭借跨平台和易维护性在互联网应用中占有一席之地。本文探讨了 WPF 如何通过 HttpClient 类调用 RESTful API,并展示了基于 ASP.NET Core 的 Web 服务如何实现同样的功能。通过对比分析,揭示了两者各自的优缺点:WPF 客户端直接处理数据,减轻服务器负担,但需处理网络异常;Web 服务则能利用服务器端功能如缓存和权限验证,但可能增加服务器负载。希望本文能帮助开发者根据具体需求选择合适的技术方案。
53 0
|
19天前
|
C# Windows 监控
WPF应用跨界成长秘籍:深度揭秘如何与Windows服务完美交互,扩展功能无界限!
【8月更文挑战第31天】WPF(Windows Presentation Foundation)是 .NET 框架下的图形界面技术,具有丰富的界面设计和灵活的客户端功能。在某些场景下,WPF 应用需与 Windows 服务交互以实现后台任务处理、系统监控等功能。本文探讨了两者交互的方法,并通过示例代码展示了如何扩展 WPF 应用的功能。首先介绍了 Windows 服务的基础知识,然后阐述了创建 Windows 服务、设计通信接口及 WPF 客户端调用服务的具体步骤。通过合理的交互设计,WPF 应用可获得更强的后台处理能力和系统级操作权限,提升应用的整体性能。
41 0
|
21天前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
25天前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
|
1月前
|
数据采集 监控 数据安全/隐私保护
掌握Selenium爬虫的日志管理:调整–log-level选项的用法
在Selenium Web数据采集时,日志管理至关重要。通过调整`–log-level`参数可优化日志详细度,如设置为`INFO`记录一般操作信息。结合代理IP、Cookie及user-agent配置,不仅能提高采集成功率,还能规避反爬机制。合理选择日志级别有助于调试与性能平衡,在复杂的数据采集任务中保持程序稳定与可控。
掌握Selenium爬虫的日志管理:调整–log-level选项的用法
|
26天前
|
开发框架 .NET Docker
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题

相关产品

  • 日志服务