一分钟“零代码”生成API,DataWorks数据服务快速上手指南

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
云原生 API 网关,700元额度,多规格可选
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: DataWorks数据服务提供了快速生成API的能力,可以一分钟“零代码”生成API,本文是一篇快速上手指南,帮助你快速认识数据服务。

小王是一名数据开发工程师,某天晚上正要下班,老板火急火燎地把他叫到了一间小黑屋。

老板:小王啊,之前让你分析的数据,处理的怎么样了?

小王:都搞定了,包括数据集成任务、离线任务、流计算任务,并且采用了流批一体化开发模式,数据都在数据库中了。

老板:噢,效率很高啊,很好。这样,现在有个新的Case,你看下要多久,有业务部门的系统想访问我们的结果数据,你看看怎么提供给他们,但我不希望把整个表给他们。

小王:老板,好办,可以开发一个数据API,提供给他们。

老板:开发一个API给他们,大概有多少工作量?

小王:从零开发一个API,需要编写数据库连接代码、编写API查询逻辑代码,编写API鉴权、流控、计量、管理等功能代码及页面,搭建Web服务器,部署服务,满打满算,一两周还是要的,就算先搞个精减版,三五天是至少的。

老板挠头……

小王:对了,老板,后续还要运维,比如双11还要给他们扩容呢。

老板:这可不行,时间太久了,客户明天早上就要。

小王沉默。

老板:你知道DataWorks的数据服务产品吗,听说可以一分钟生成一个API,还不需要你写一行代码呢!

小王:世间竟有如此神器!!一分钟就能搞出一个API啊,还不用写代码~!!

老板点头。

“你先去调研一下,试用试用再说”,说完老板就走了。

image.png | left | 123x118

于是,小王打开了DataWorks数据服务页面。

传送门:

其他Region正在陆续开放中,敬请期待。

数据服务产品开通:
若您已经升级到了DataWorks 2.0(上海Region已经升级完成),则数据服务是默认开通,若还没有升级到DataWorks2.0,则可以加入文末的钉钉群,提供云账号,申请开通。

产品开通之后,可以从DataWorks的主菜单进入,如下所示:

image

大概看了一会,小王就觉得这事有戏了。原来数据服务提供了快速将数据表生成API的能力,通过可视化的向导,简单三步配置,无需写一行代码就可以生成API,手快的话,一分钟搞定一个API绝对是没问题的。小王喜出望外,看来今晚不用熬夜了。

“有了数据服务,以后甚至可以直接让产品经理、运营、分析师自己去搞需要的API了,省得天天给我提需求”,小王在心里窃喜,马上动手撸了个API。

Step 1:配置数据源

首先要配置一下数据源,数据服务支持丰富的数据源类型,基本上常见数据源都囊括了,包含:

RDS/DRDS/MySQL/PostgreSQL/Oracle/AnalyticDB(ADS)/TableStore(OTS)/MongoDB/Lightning

配置数据源到DataWorks数据集成的数据源页面(上海Region传送门)进行配置。

image

Step 2:生成API

配置好数据源其实就完成了一大半的工作,因为生成API实在是太快了!

打开数据服务的API列表页面,点击“生成API”按钮,选择向导模式。

image.png | left | 747x413

生成API只要三步,放心,比把大象装冰箱里要容易多了。

image.png | left | 827x190

第一:填写API基础信息

很简单,都不需要过多解释。

image.png | left | 747x411

第二步:配置API参数

这里以PostgreSQL数据源为例,选择要查询的表,设定好请求参数和返回参数即可。

image.png | left | 747x412

第三步:测试API

测试API是为了验证上一步配置的API是否成功,填写请求参数值,点击开始测试即可。若测试成功,可以点击右下角的“保存为正常返回示例”,将当前测试返回值作为返回示例,供未来的API调用者参考。

image.png | left | 747x411

至此,一个API生成了。

小王掐指算了下,根本不用1分钟!

回到API列表页面,点击“详情”可查看API的详情文档。连烦人的文档都不用我手写,真是棒极了。。

将API发布后,自己或者得到授权的人就可以调用这个API了。

image.png | left | 747x413

搞完了这些,小王如释重负,有了数据服务,创建一个API就是小Case!

好学的小王考虑到,如果我的数据是放在MaxCompute中,我是不是必须要将数据手工同步到MySQL等在线数据库中呢?

进一步研究后,小王发现,数据服务支持MaxCompute Lightning,借助Lightning引擎,可以对MaxCompute表进行查询加速,还能直接访问Druid表。目前对于1TB以内的数据量,MaxCompute表可以实现秒级实时查询。大部分场景下,这个性能够用了。好奇的小王还在MaxCompute帮助文档中找到了Lighting的介绍文档(传送门)。

那么,我们来现场撸个查询MaxCompute表的API如何?

MaxCompute表直接生成API

MaxCompute Lightning服务目前处于公测阶段,未对全网用户开放。如需使用,您可以通过我们在阿里云官网上提供的公测试用申请页面申请公测期间的服务开通。也可以加入文末的钉钉群咨询。

配置Lightning数据源

开通Ligthning服务后,首先要配置一个Lightning数据源。

Lightning支持JDBC连接,因此推荐使用PostgreSQL数据源进行连接。

Lightning JDBC连接信息详见这里

image

配置指南:

数据源类型:有公网IP

JDBC URL格式:jdbc:postgresql://endpoint:port/MaxCompute_Project_Name?sslmode=require

endpoint详见:Lightning访问地址(Endpoint)列表
port:443
MaxCompute_Project_Name:为你的MaxCompute项目名
注意:sslmode=require参数是必选的。(不能写成ssl=true)
用户名:访问用户的Access Key ID
密码:访问用户的Access Key Secret

生成API

生成API时,我们以脚本模式为例。脚本模式就是让你自己写查询SQL,功能比向导模式强大灵活很多,支持多表关联查询。

Select的字段就是API返回参数,请求参数在Where条件中指定,使用\${参数名}格式。编写好SQL后,点击“编辑参数”设置一下参数描述信息即可。

image.png | left | 747x393

点击下一步测试,1秒左右就可以完成查询,是不是如闪电一般!!在大部分取数、报表、大屏场景中,一两秒的查询性能完全够用了。

image.png | left | 747x396

同样的简单查询,直接查MaxCompute,大概需要耗费42秒。可见在这个case,Lightning的查询效率有约40倍的提升!有了Lightning引擎的加持,MaxCompute表可以实时查询,再也不需要手工来回同步数据啦!

image.png | left | 747x387

“妥了!”,试用到这里,小王惊叹了一声。DataWorks数据服务简直就是数据开发和数据分析师的神器,以后再也不用求后端开发写接口了。

三下五除二,小王随手就把老板需要的接口撸完了,给老板发个了钉,合上电脑,骑着小电驴下班扬长而去。

API调用

生成的API如何调用呢?
首先你需要将API发布,在发布之前要先开通API网关
这个发布操作就会将数据服务生成的API发布到API网关。

数据服务会默认在API网关中创建一个“dataworks_dataservice"应用,并将你的API授权到这个应用中。这个应用的AppKey会在数据服务的“API调用”页面展示。

然后通过API网关的SDK调用。

申请使用及产品咨询

欢迎加入钉钉答疑群:

image

群号:21993540

Enjoy it~

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
4天前
|
存储 数据挖掘 BI
API数据源:轻松接入各类业务系统数据
在数字化转型中,企业面临多样化的数据需求。Quick BI推出API数据源功能,支持广泛的数据接入,包括实时天气、电商交易及内部业务数据,极大丰富了可分析数据范围。该功能提供灵活的连接方式(抽取和直连模式)、多元授权机制(基础认证、前置请求)和自动化数据解析,降低了操作门槛,提升了配置效率。通过动态Token获取等最佳实践,确保数据安全与实时性,满足企业具体业务需求。了解更多,请访问Quick BI官方文档或瓴羊官网。
115 77
|
7天前
|
JSON 前端开发 搜索推荐
关于商品详情 API 接口 JSON 格式返回数据解析的示例
本文介绍商品详情API接口返回的JSON数据解析。最外层为`product`对象,包含商品基本信息(如id、name、price)、分类信息(category)、图片(images)、属性(attributes)、用户评价(reviews)、库存(stock)和卖家信息(seller)。每个字段详细描述了商品的不同方面,帮助开发者准确提取和展示数据。具体结构和字段含义需结合实际业务需求和API文档理解。
|
5天前
|
供应链 API 开发者
解锁电商数据的无限可能:探秘京东商品SKU信息API接口
京东商品SKU信息API接口是电商开发与运营中的重要工具,帮助开发者获取商品的详细属性,如库存、价格、规格等。通过该接口,电商平台可以丰富商品展示页面,提升用户体验;商家能实时掌握库存动态,优化销售策略;数据分析人员可深入洞察市场趋势,实现精准营销。使用前需注册京东开放平台账号、创建应用并获取API权限,同时仔细阅读API文档以确保正确调用。代码示例展示了如何用Python调用该接口,并处理返回数据。未来,该接口将在个性化推荐、智能库存管理和数据分析等领域发挥更大作用,助力电商业务创新与发展。
33 14
|
10天前
|
JSON Java 数据挖掘
利用 Java 代码获取淘宝关键字 API 接口
在数字化商业时代,精准把握市场动态与消费者需求是企业成功的关键。淘宝作为中国最大的电商平台之一,其海量数据中蕴含丰富的商业洞察。本文介绍如何通过Java代码高效、合规地获取淘宝关键字API接口数据,帮助商家优化产品布局、制定营销策略。主要内容包括: 1. **淘宝关键字API的价值**:洞察用户需求、优化产品标题与详情、制定营销策略。 2. **获取API接口的步骤**:注册账号、申请权限、搭建Java开发环境、编写调用代码、解析响应数据。 3. **注意事项**:遵守法律法规与平台规则,处理API调用限制。 通过这些步骤,商家可以在激烈的市场竞争中脱颖而出。
|
13天前
|
监控 API 数据处理
速卖通商品数据尽在掌握:揭秘高效利用API接口获取详情策略
速卖通(AliExpress)API助力电商数据处理与分析,提供商品搜索、价格监控等功能。开发者需注册账号、创建应用并获取API Key。常用接口包括商品搜索和详情API。调用时注意频率限制、数据延迟及错误处理。本文介绍全过程并附Python示例代码,帮助提升电商运营效率。
|
19天前
|
JavaScript API C#
【Azure Developer】Python代码调用Graph API将外部用户添加到组,结果无效,也无错误信息
根据Graph API文档,在单个请求中将多个成员添加到组时,Python代码示例中的`members@odata.bind`被错误写为`members@odata_bind`,导致用户未成功添加。
40 10
|
26天前
|
数据采集 数据可视化 前端开发
怎么通过API获取电竞赛事实时数据
选择合适的电竞数据API是开发电竞应用的关键。主流API包括OP.GG、Liquipedia、Stratz、Riot Games和熊猫比分,涵盖LOL、DOTA2等游戏的实时数据。注册并获取API密钥后,需仔细阅读文档,了解资源、请求方法、必需参数及响应格式。编写代码调用API时,注意优化请求频率,避免封禁。最后,通过Web界面或可视化工具展示数据,如React/D3.js、Tableau等。示例代码展示了如何使用熊猫比分API获取即将开始的比赛信息。
|
23天前
|
供应链 监控 API
1688.item_search_shop API:开启电商数据新纪元
1688.item_search_shop API是阿里巴巴1688平台提供的核心接口之一,支持根据关键词搜索指定店铺的商品,并获取商品详情、图片、价格等信息。该API允许设定搜索结果排序方式,如按销量或价格排序,满足不同需求。开发者可将其集成到电商应用中,提升用户体验;市场分析人员可利用其进行趋势和竞争对手分析;供应链管理人员则能监控库存,优化策略。示例代码展示了如何使用Python调用该API,帮助开发者快速上手。这一API的推出标志着B2B电商领域商品搜索技术的重要进步,推动行业向更高效、智能的方向发展。
|
1月前
|
JSON API 数据安全/隐私保护
淘宝评论API接口操作步骤详解,代码示例参考
淘宝评论API接口是淘宝开放平台提供的一项服务,通过该接口,开发者可以访问商品的用户评价和评论。这些评论通常包括评分、文字描述、图片或视频等内容。商家可以利用这些信息更好地了解消费者的需求和偏好,优化产品和服务。同时,消费者也可以从这些评论中获得准确的购买参考,做出更明智的购买决策。
|
1月前
|
数据采集 监控 数据挖掘
常用电商商品数据API接口(item get)概述,数据分析以及上货
电商商品数据API接口(item get)是电商平台上用于提供商品详细信息的接口。这些接口允许开发者或系统以编程方式获取商品的详细信息,包括但不限于商品的标题、价格、库存、图片、销量、规格参数、用户评价等。这些信息对于电商业务来说至关重要,是商品数据分析、价格监控、上货策略制定等工作的基础。

热门文章

最新文章

  • 1
    DataWorks操作报错合集之DataWorks任务异常 报错: GET_GROUP_SLOT_EXCEPTION 该怎么处理
    135
  • 2
    DataWorks操作报错合集之DataWorksUDF 报错:evaluate for user defined function xxx cannot be loaded from any resources,该怎么处理
    141
  • 3
    DataWorks操作报错合集之在DataWorks中,任务流在调度时间到达时停止运行,是什么原因导致的
    122
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
    116
  • 5
    DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度,参数解析不出来,收到了 "Table does not exist" 的错误,该怎么处理
    118
  • 6
    DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
    136
  • 7
    DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null,该怎么解决
    142
  • 8
    DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02],mysql里面有个json类型字段,是什么原因导致的
    191
  • 9
    DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面,也添加了RDS的IP白名单报错:数据源配置有误,请检查,该怎么处理
    103
  • 10
    DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行,但是在 Hologres 表中没有看到数据,该怎么解决
    147