Dms的Notebook支持查询归档到 专属存储、Oss存储的数据查询,以及数据库实例的数据查询(原逻辑数仓里查询归档数据,后续下线之后,可以通过Notebook来查归档的数据)
开始Notebook的数据分析查询,大致有这几个步骤
- 创建工作空间,开通Notebook资源
- Notebook查询: sql、python
- 分析数据
创建工作空间
进入dms首页,找到 【快捷菜单】 -> 【工作空间】
创建完之后,点击工作空间名称进入工作空间
创建Notebook文件
进入工作空间之后,整个工作空间的布局是个常见的编辑器布局,快速创建一个Notebook文件
创建Notebook会话
这里需要注意,在配置 保存之后,会出现一个授权按钮,根据提示授权oss,之后工作空间的notebook就可以访问这个oss的数据了
执行notebook查询
在完成notebook会话的创建之后,就可以正式查询数据了
查询oss归档的数据
如上挂载的oss,在授权了oss的权限之后,通过notebook里的sql cell 就可以完成数据查询了
查询的路径除了使用挂载路径, 还可以直接使用oss://${bucket}/xxxx 的方式(前提还是需要授权oss给当前这个工作空间):
这样就能查询归档到oss里的数据了。
上面的这个oss路径如何获取呢?可以在归档页面上直接复制到一段:
复制的是一个相对路径,需要根据挂载情况、或者 oss bucket的路径 拼接,拼接之后即可查询
查询dms托管的实例数据
要查询托管在dms的数据库实例,需要先将实例添加到工作空间:
然后在notebook文件中加入查询sql的cell:
在更复杂的情况下,需要查询多个实例、db的数据并做交叉计算,这种情况在notebook里和可以比较轻松的实现:
你可以选择用python代码、或者duckdb的sql来处理异构数据源的数据
查询专属存储归档的数据
专属存储的归档数据当前还不能直接查询,等归档里的专属存储迁移上线之后,迁移工具可将归档的数据迁移到您的私有oss中:
之后的查询,和oss归档数据查询类似,参考上面的章节。