基于Apache doris怎么构建数据中台(六)-数据服务管理

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
数据安全中心,免费版
简介: 上次讲数据质量的控制,那么针对据仓的数据及各种数据指标怎么快捷的对外提供数据服务,怎么快速的完成数据服务接口的开发,这次我们重点围绕这个进行展开。怎么实现接口开发零代码实现

上次讲数据质量的控制,那么针对据仓的数据及各种数据指标怎么快捷的对外提供数据服务,怎么快速的完成数据服务接口的开发,这次我们重点围绕这个进行展开。怎么实现接口开发零代码实现



数据服务从字面上理解就是数据相关的服务,和业务服务的最大不同之处它并不包含具体业务逻辑处理,与之产出的数据服务大多为统计、决策类的数据结果。很多时候大数据平台服务都是提供了数据分析的能力,分析的结果可以导出Excel,或直接查表来查看。如果要是对外提供服务的话,可能会由不同的业务团队对基础表产出相似的指标分析结果,这样的话就可能导致相同指标的结果数据不一致的情况。


数据服务是对各业务领域主体的分析结果,以统一数据服务的方式对外提供,有点类似one service意思。


数据服务平台架构:



统一数据服务作用:


  • 数据服务标准:数据结构标准化、在线查询实时化、数据开发可视化。


  • 数据结构标准化:针对数据交互,我们需要提供统一的接口视图,可进行数据的查询、权限管控。


  • 在线查询实时化:针对各业务的调用,我们需要提供指标级数据口径统一的实时数据结果。


  • 数据开发可视化:提供数据接口的可视化统一管理页面,开发人员通过通过可视化管理API,降低接口理解的难度,易于维护


数据服务化


数据服务提供快速将数据表生成数据 API 的能力,通过应用授权,供外部应用系统调用 API 获取数据,且对 API 进行统一管理和发布,支持一键创建数据抽取任务


  1. 提供向导模式和 SQL 模式,可以通过简单的配置即实现取数 API 的自动构建,屏蔽底层数据源细节,提高数据中台的整体效率


  1. 提供应用、表和 API 的关系链路,降低运维成本,解耦应用与底层表,提供统一的认证、权限和监控,确保数据应用质量。


  1. 提供数据服务流控功能,并和数据安全控制策略结合,确保数据安全


  1. 提供接口开发,调式、参数定义,返回结果说明等开发IDE


数据服务看板


image.png


具备 API 使用的监控统计能力,可查看调用次数、调用延时等信息,提供 API 库表和应用的关系查询 ,可以按照业务主题进行分组可以给数据服务设置数据安全等级,对于安全等级较高的服务进行数据访问限流,及审计数据应用开发通过API配置功能统一创建和发布的API,可以在服务概览页面查看API的调用详情,包括查看不同时间维度下的调用API数量、次数和成功的次数,且能够清晰的查看调用API的Top5和服务调用比例,同时,概览页面提供调用和未调用API列表,若API长时间未被调用或一直未被调用,可考虑下线或者删除。


数据服务权限管理


提供统一的认证、权限和监控,确保数据应用质量及数据安全


数据服务可视化开发


这里我们可以可视化的开发数据服务API,进行测试、发布。下线及接口的流控

新建接口


接口查看


这里我们是参考Mybatis自己实现了一套SQL引擎,你们也可以参考这个来实现,或者网上也有类似的开源系统可以作为参考实现:


  • magic-api :magic-api: magic-api 是一个基于Java的接口快速开发框架,通过magic-api提供的UI界面完成编写接口,无需定义Controller、Service、Dao、Mapper、XML、VO等Java对象即可完成常见的HTTP API接口开发 ,


  • Rocket-API: API敏捷开发框架,用于API接口功能的快速开发。不再定义Controller,Service,Dao,Mybatis,xml,Entity,VO等对象和方法.以springboot starter 形式集成使用


数据服务标准化的推动可以解决数据使用中的口径不统一,在数据开发层面以业务领域划分,收紧指标口径的产出,统一由相关人员产出,并以one service 的方式提供给数据业务前台、业务系统等。同时零代码的数据服务开发平台,结合元数据管理系统及血缘关系,可以大大提高数据服务的开发效率及业务响应速度。




相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
17天前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
14天前
|
SQL 存储 分布式计算
Apache Doris 2.1.8 版本正式发布
该版本持续在湖仓一体、异步物化视图、查询优化器与执行引擎、存储管理等方面进行改进提升与问题修复,进一步加强系统的性能和稳定性,欢迎大家下载体验。
|
2月前
|
存储 SQL Apache
Apache Doris 创始人:何为“现代化”的数据仓库?
3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,详细介绍了所对应的核心特性的设计思考与应用价值,揭晓了 2025 年社区发展蓝图
Apache Doris 创始人:何为“现代化”的数据仓库?
|
1月前
|
存储 SQL 监控
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 [Apache Doris](https://doris.apache.org/) 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍的显著成效。
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
|
6月前
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
59 1
|
2月前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
377 33
The Past, Present and Future of Apache Flink
|
4月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
997 13
Apache Flink 2.0-preview released
|
4月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
164 3
|
5月前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
|
6月前
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。
366 2

推荐镜像

更多