Notebook支持归档查询、多表数据分析

本文涉及的产品
数据传输服务 DTS,同步至DuckDB 3个月
简介: DMS Notebook支持查询OSS、专属存储及托管数据库的归档数据,替代原逻辑数仓功能。操作三步:创建工作空间并开通资源→创建Notebook文件与会话(需授权OSS)→用SQL/Python执行跨源查询与分析。(239字)

Dms的Notebook支持查询归档到 专属存储、Oss存储的数据查询,以及数据库实例的数据查询(原逻辑数仓里查询归档数据,后续下线之后,可以通过Notebook来查归档的数据)

开始Notebook的数据分析查询,大致有这几个步骤

  1. 创建工作空间,开通Notebook资源
  2. Notebook查询: sql、python
  3. 分析数据

创建工作空间

进入dms首页,找到 【快捷菜单】 -> 【工作空间】

创建完之后,点击工作空间名称进入工作空间

创建Notebook文件

进入工作空间之后,整个工作空间的布局是个常见的编辑器布局,快速创建一个Notebook文件

创建Notebook会话

这里需要注意,在配置 保存之后,会出现一个授权按钮,根据提示授权oss,之后工作空间的notebook就可以访问这个oss的数据了

执行notebook查询

在完成notebook会话的创建之后,就可以正式查询数据了

查询oss归档的数据

如上挂载的oss,在授权了oss的权限之后,通过notebook里的sql cell 就可以完成数据查询了

查询的路径除了使用挂载路径, 还可以直接使用oss://${bucket}/xxxx 的方式(前提还是需要授权oss给当前这个工作空间):

这样就能查询归档到oss里的数据了。

上面的这个oss路径如何获取呢?可以在归档页面上直接复制到一段:

复制的是一个相对路径,需要根据挂载情况、或者 oss bucket的路径 拼接,拼接之后即可查询

查询dms托管的实例数据

要查询托管在dms的数据库实例,需要先将实例添加到工作空间:

然后在notebook文件中加入查询sql的cell:

在更复杂的情况下,需要查询多个实例、db的数据并做交叉计算,这种情况在notebook里和可以比较轻松的实现:

你可以选择用python代码、或者duckdb的sql来处理异构数据源的数据

查询专属存储归档的数据

专属存储的归档数据当前还不能直接查询,等归档里的专属存储迁移上线之后,迁移工具可将归档的数据迁移到您的私有oss中:

之后的查询,和oss归档数据查询类似,参考上面的章节。

目录
相关文章
|
前端开发 NoSQL JavaScript
常见接口和服务幂等性问题及解决方案
常见接口和服务幂等性问题及解决方案
1109 0
|
Java 存储 jvm-sandbox
海量流量下,淘宝如何进行稳定的流量回放?
随着业务的不断发展, 整个淘系的服务端已经有数千个应用,在淘宝已经有非常大的应用数量和变更次数的基础上, 对流量回放也有更高的要求。那么在不断尝试流量的录制与回放的过程中,我们遇到了什么问题?那么在不断尝试的过程中,我们遇到了什么问题?我们由从中得到了什么启示?流量录制回放又能给我们带来多少收益?
10924 1
|
Java Unix Linux
Maven 3.6.3 的下载、安装、配置、检测(详细讲解)
Maven 3.6.3 的下载、安装、配置、检测(详细讲解)
14322 0
Maven 3.6.3 的下载、安装、配置、检测(详细讲解)
|
人工智能 Java Serverless
【MCP教程系列】搭建基于 Spring AI 的 SSE 模式 MCP 服务并自定义部署至阿里云百炼
本文详细介绍了如何基于Spring AI搭建支持SSE模式的MCP服务,并成功集成至阿里云百炼大模型平台。通过四个步骤实现从零到Agent的构建,包括项目创建、工具开发、服务测试与部署。文章还提供了具体代码示例和操作截图,帮助读者快速上手。最终,将自定义SSE MCP服务集成到百炼平台,完成智能体应用的创建与测试。适合希望了解SSE实时交互及大模型集成的开发者参考。
15043 60
|
10月前
|
人工智能 自然语言处理 搜索推荐
从输入指令到代码落地:Cline AI 源码浅析
文章揭示了Cline如何将简单的自然语言指令转化为具体的编程任务,并执行相应的代码修改或生成操作。
1120 18
从输入指令到代码落地:Cline AI 源码浅析
|
人工智能 安全 Dubbo
Spring AI 智能体通过 MCP 集成本地文件数据
MCP 作为一款开放协议,直接规范了应用程序如何向 LLM 提供上下文。MCP 就像是面向 AI 应用程序的 USB-C 端口,正如 USB-C 提供了一种将设备连接到各种外围设备和配件的标准化方式一样,MCP 提供了一个将 AI 模型连接到不同数据源和工具的标准化方法。
9262 112
|
JSON 自然语言处理 数据格式
【自定义插件系列】用自定义插件在阿里云百炼上生成一篇图文并茂的文章
本文介绍了如何在阿里云百炼平台上利用自定义插件生成图文并茂的文章。通过大模型生成小红书风格的文章,提取关键元素生成图像提示词,结合文生图插件生成图片,并最终整合文本与图像输出给用户。整个流程包括多个步骤:从创建对话型工作流开始,经过多次大模型处理、脚本转换和自定义插件操作,到最后完成图文混排的输出。
1540 0
|
SQL 存储 运维
阿里云分布式关系型数据库服务 DRDS
DRDS 是阿里巴巴集团自主研发的分布式数据库中间件产品,专注于解决单机关系型数据库扩展性问题,具备轻量(无状态)、灵活、稳定、高效等特性,稳定运行11年,经历历届双十一核心交易业务和各类行业业务的考验
15279 0