案例中心与数据实验室联动

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务 (SLS) 在提供一站式接入服务的同时,还提供了大规模日志的实时查询与分析能力。现在日志服务推出了数据实验室与 SQL 案例中心联动的功能,方便用户熟悉我们的查询和分析功能。

日志服务 (SLS) 在提供一站式接入服务的同时,还提供了大规模日志的实时查询与分析能力。
查询语句和分析语句以竖线(|)进行分割,查询语句的语法为日志服务专有语法,请参见查询语法。而分析语句支持 SQL 语法,提供了 20+ 类别函数,总共 200+ 函数,请参见分析语法
image
为了让我们的用户能够方便的熟悉各种 SQL 函数,我们推出了 SQL 案例中心。希望用户可以通过案例中心里的精选案例快速上手查询分析。

SQL 案例中心

通过点击项目左侧导航菜单的案例中心图标,可以直接打开案例中心界面。

image

在案例中心里,我们把各种常用的 SQL 查询语句进行了分类。可以按照不同的场景,函数进行浏览。

image

在案例的详情页面我们可以看到具体的 SQL 语句实现,同时可以查看语句中用到的函数,点击可以查看函数的帮助文档。

而用户想要实际执行 SQL 语句时往往需要准备好对应的日志。所以在最近日志服务推出了数据实验室,在实验室中我们准备了各种日志场景。在场景中有可配置的模拟日志,默认的报表模板等。

数据实验室

image

从首页进入数据实验室,可以看到我们准备的各种场景,后续会有很多的场景加入数据实验室。

在实验室中,我们简单的将场景初始化之后,就能得到一个免费使用的 logstore ,并且模拟数据会被不断写入,以模拟真实日志场景。

目前我们的网站访问日志场景中已经内建了 SQL 案例中心,从左侧的场景菜单可以点击进入:
image

可以在左侧看到适用于网站访问日志场景的 SQL 语句,包括了Nginx分析和监控, 网站日志分析两个场景。
由于我们想要在网站访问场景中兼容尽可能多的日志模式,所以场景中的模拟日志与真实的 nginx,slb,tomcat 都不完全一样,里面加入了冗余字段。所以可以方便的在该场景中进行测试。

image

点击“在实验室中打开”按钮,就可以看到语句实际运行的情况。

image

由于样例中的语句比较的是 24 小时的 pv 增长,而我们的模拟场景还没有运行 24 小时,所以结果中 growth 显示为 Infinity,我们只要动手修改一下,比较一下 10 分钟前的数据就可以看到结果了。

image

如果想要得到 SQL 案例中一样的图表,那么只需要稍加配置就可以了:

image

这里的查询语句可以任意修改,这也就是我们的数据实验室存在的意义,可以给予用户一个手动试验的场景。

而在我们的 SQL 案例中心里,也同样可以进入实验室。只要在案例中心中查看目前实验室场景中可以运行的语句,就同样可以看到实验室的按钮。

image

后续案例中心与实验室规划

目前我们的实验室还只能支持网站访问的场景,后续我会上线更多的场景覆盖所有案例中心的 SQL 案例。

而我们也会使用实验室的数据模拟能力,开通云产品的模拟数据接入。并且在不久的将来开放用户自定义数据模拟的功能。

在案例中心中我们也会陆续加入各种典型 SQL 语句,同时也欢迎用户向我们反馈,提供案例需求以及 SQL 的语句实现。

在未来我们除了 SQL 案例中心以外还会推出数据加工案例中心,方便大家使用我们强大的数据加工能力。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
数据建模 供应链 定位技术
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——2. 规划:高屋建瓴,总览企业数据体系
235 0
|
数据采集 存储 机器学习/深度学习
蚂蚁端智能:超实时端特征中心的建设与实践
蚂蚁端智能:超实时端特征中心的建设与实践
897 0
|
机器学习/深度学习 人工智能 监控
蚂蚁端智能技术体系概览
蚂蚁端智能技术体系概览
386 0
|
监控
《构建立体化的监控体系——58集团监控实践》电子版地址
构建立体化的监控体系——58集团监控实践
63 0
《构建立体化的监控体系——58集团监控实践》电子版地址
|
运维 安全 数据可视化
智能数据构建与管理平台Dataphin通过中国信通院数据资产管理能力评测
评测指出,Dataphin在 “数据源管理、元数据管理、数据标准管理、数据治理管理、主数据管理、数据模型管理、数据共享服务管理、数据资产报告、数据安全管理、兼容性、安全性、其他测试”等方面,均满足能力评测要求。
智能数据构建与管理平台Dataphin通过中国信通院数据资产管理能力评测
|
存储 数据采集 运维
蚂蚁智能监控
AntMonitor 是蚂蚁集团的智能监控系统,通过构建面向监控可观测数据的、实时的、稳定的采集、清洗、计算及存储数据链路,为技术风险大脑及体系提供实时、稳定、可靠、丰富的可观测数据与告警服务。 AntMonitor 日常服务于蚂蚁全站 100+ 业务域,分钟峰值数据清洗量 20TB、数据聚合量 1TB、数据存储量 1.5 亿条,大促期间这些指标更是成倍增长,如此庞大且复杂的系统是如何对自身的稳定性进行保障的,这篇文章将从思考、策略与实现的角度带领大家一探究竟。
|
机器学习/深度学习 消息中间件 存储
携程实时智能检测平台建设实践
Prophet基本覆盖了携程所有业务线,监控指标的数量达到10K+,覆盖了携程所有订单、支付等重要的业务指标。
携程实时智能检测平台建设实践
|
消息中间件 存储 运维
城市危险源(化粪池)监测管理平台的技术实践分享
基于钉钉+阿里云AIoT平台的城市危险源(化粪池)监测管理平台实践解析
551 0
城市危险源(化粪池)监测管理平台的技术实践分享
|
云安全 弹性计算 运维
阿里云工具应用中心
​工具应用中心会成为下一个App Stroe么?
760 0
阿里云工具应用中心