阿里云MVP Meetup 《云数据·大计算:海量日志数据分析与应用》之《数据应用:数据服务》篇

本文涉及的产品
DataWorks Serverless资源组免费试用套餐,300CU*H 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文主要阐述在使用DataWorks(数据工场)的过程中如何使用数据服务模块,快速将已生成的数据给用起来。此功能可用于快速将数仓中的结果表生成API,通过API给下游应用使用,或者通过API服务完成数据共享等。

实验背景介绍
在进行本实验前,请先完成实验《数据采集:日志数据上传》、《数据加工:用户画像》、《数据治理:数据质量监控》。上述三个实验使用了DataWorks的三个模块,分别是数据集成模块(快速将数据上云),数据开发模块(完成数据的清洗和周期调度)和数据质量模块(配置数据的校验规则,保证数据产出质量)。本文将给大家讲述如何使用DataWorks的数据服务模块,快速完成数据共享,将整个数据研发流程达到闭环。

数据服务介绍

DataWorks数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力,同时支持您将现有的API快速注册到数据服务平台以统一管理和发布。

数据服务已与API网关(API Gateway)打通,支持将API服务一键发布至API网关。数据服务与API网关为您提供了安全稳定、低成本、易上手的数据开放共享服务。

数据服务采用Serverless架构,您只需关注API本身的查询逻辑,无需关心运行环境等基础设施,数据服务会为您准备好计算资源,并支持弹性扩展,零运维成本。

数据服务配置

在前三个课程中,我们已经产出了一系列的表,其中可以直接被报表系统使用的表有 rpt_user_info_d,可以被应用使用的明细表有 dw_user_info_all_d。本文我们会通过使用数据服务,快速的将这两个表生成API。

注册数据源

由于MaxCompute的特性是离线、批量大数据计算,所以直接连MaxCompute生成的数据服务API是无法快速响应的,那么MaxCompute计算引擎为了提升查询效率,推出了lightning加速引擎。那在数据服务中如何使用 lightning引擎呢?

在数据集成界面,新增数据,选择lightning 。
image

填写lightning引擎内容:
数据源名称: (建议为)当前项目名
数据源描述:日志数据表
Lightning Endpoint:lightning.cn-shanghai.maxcompute.aliyun-inc.com
Port:443
MaxCompute项目名称:当前项目名
AccessKey ID:访问者的AK信息
AccessKey Secret:访问者的AK信息
JDBC扩展参数:无需修改

以上信息,填写完成以后,点击测试连通性,测试连通性成功后,点击完成即可。

创建数据服务API

鼠标hover在右上角DataWorks的图标上,跳转至数据服务模块。

注:由于数据服务是结合API网关使用的,如果没有开通API网关的话,需要先开通API网关,具体开通流程本文不做详细概述。

鼠标选中API列表,右键选择新建分组。
image

输入分组名称。
image

创建完成分组后,鼠标右键单击分组名称,选择生成API,选择向导模式。
image

我们这里把 rpt_user_info_d 的数据快速生成api,故API的名称为 rpt_user_info_d ,路径与名称同名。
image

点击确认后,进入API的编辑界面,我们只需要简单的选择数据源类型、数据源名称、数据表名称即可,勾选上入参和出参,保存API。

注:这里建议大家勾选uid和分区字段dt为入参,出参可全选。

image

保存API完成后,点击右上角的测试,会弹出入参的填写框,入参中uid可以填写:0016359810821 ,dt可以填写昨天的日期。
image

测试通过后,可返回API编辑面板,点击右上角的发布,发布后的API就可以被正常访问了。可按照上述方法,将 dw_user_info_all_d 表也生成数据服务API。

API调用

生成的API如何调用呢?
首先你需要将API发布,在发布之前要先开通API网关

这个发布操作就会将数据服务生成的API发布到API网关。

在数据服务右上角,可以选择服务管理。在服务管理中,可以对已发布的API进行查看和授权操作。切换至服务管理后,可以在左侧的API调用模块下,看到API的调用信息。
image

然后通过API网关的SDK调用,详见这里

关于数据服务API的更多用法,可以参考文档:《海量大数据大屏分析展示一步到位:DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
26天前
|
数据采集 DataWorks 数据挖掘
提升数据分析效率:DataWorks在企业级数据治理中的应用
【8月更文第25天】本文将探讨阿里巴巴云的DataWorks平台如何通过建立统一的数据标准、规范以及实现数据质量监控和元数据管理来提高企业的数据分析效率。我们将通过具体的案例研究和技术实践来展示DataWorks如何简化数据处理流程,减少成本,并加速业务决策。
148 54
|
29天前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
27天前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
15天前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
77 3
|
1天前
|
机器学习/深度学习 传感器 人工智能
AI与未来医疗:重塑健康管理新格局随着人工智能(AI)技术的飞速发展,医疗行业正迎来一场前所未有的变革。AI不仅在数据分析、诊断支持方面展现出巨大潜力,还在个性化治疗、远程医疗等多个领域实现了突破性进展。本文将探讨AI技术在医疗领域的具体应用及其对未来健康管理的影响。
人工智能(AI)正在彻底改变医疗行业的面貌。通过深度学习算法和大数据分析,AI能够迅速分析海量的医疗数据,提供精准的诊断和治疗建议。此外,AI在远程医疗、药物研发以及患者管理等方面也展现出了巨大的潜力。本文将详细探讨这些技术的应用实例,并展望其对健康管理的深远影响。
|
28天前
|
存储 监控 网络协议
在Linux中,如何使用 tcpdump 监听主机为 192.168.1.1,tcp 端⼝为 80 的数据,并将将输出结果保存输出到tcpdump.log?
在Linux中,如何使用 tcpdump 监听主机为 192.168.1.1,tcp 端⼝为 80 的数据,并将将输出结果保存输出到tcpdump.log?
|
20天前
|
数据库 Java 监控
Struts 2 日志管理化身神秘魔法师,洞察应用运行乾坤,演绎奇幻篇章!
【8月更文挑战第31天】在软件开发中,了解应用运行状况至关重要。日志管理作为 Struts 2 应用的关键组件,记录着每个动作和决策,如同监控摄像头,帮助我们迅速定位问题、分析性能和使用情况,为优化提供依据。Struts 2 支持多种日志框架(如 Log4j、Logback),便于配置日志级别、格式和输出位置。通过在 Action 类中添加日志记录,我们能在开发过程中获取详细信息,及时发现并解决问题。合理配置日志不仅有助于调试,还能分析用户行为,提升应用性能和稳定性。
36 0
|
20天前
|
开发者 前端开发 编解码
Vaadin解锁移动适配新境界:一招制胜,让你的应用征服所有屏幕!
【8月更文挑战第31天】在移动互联网时代,跨平台应用开发备受青睐。作为一款基于Java的Web应用框架,Vaadin凭借其组件化设计和强大的服务器端渲染能力,助力开发者轻松构建多设备适应的Web应用。本文探讨Vaadin与移动设备的适配策略,包括响应式布局、CSS媒体查询、TouchKit插件及服务器端优化,帮助开发者打造美观且实用的移动端体验。通过这些工具和策略的应用,可有效应对屏幕尺寸、分辨率及操作系统的多样性挑战,满足广大移动用户的使用需求。
24 0
|
20天前
|
存储 运维 监控
Entity Framework Core 实现审计日志记录超棒!多种方法助你跟踪数据变化、监控操作,超实用!
【8月更文挑战第31天】在软件开发中,审计日志记录对于跟踪数据变化、监控用户操作及故障排查至关重要。Entity Framework Core (EF Core) 作为强大的对象关系映射框架,提供了多种实现审计日志记录的方法。例如,可以使用 EF Core 的拦截器在数据库操作前后执行自定义逻辑,记录操作类型、时间和执行用户等信息。此外,也可通过在实体类中添加审计属性(如 `CreatedBy`、`CreatedDate` 等),并在保存实体时更新这些属性来记录审计信息。这两种方法都能有效帮助我们追踪数据变更并满足合规性和安全性需求。
21 0
|
20天前
|
SQL 数据管理 关系型数据库
SQL与云计算:利用云数据库服务实现高效数据管理——探索云端SQL应用、性能优化、安全性与成本效益,为企业数字化转型提供全方位支持
【8月更文挑战第31天】在数字化转型中,企业对高效数据管理的需求日益增长。传统本地数据库存在局限,而云数据库服务凭借自动扩展、高可用性和按需付费等优势,成为现代数据管理的新选择。本文探讨如何利用SQL和云数据库服务(如Amazon RDS、Google Cloud SQL和Azure SQL Database)实现高效的数据管理。通过示例和最佳实践,展示SQL在云端的应用、性能优化、安全性及成本效益,助力企业提升竞争力。
38 0