DataWorks 2021-05 产品月刊

简介: 产品活动:1.数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧2.首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元;产品功能更新:DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的功能;开放消息服务(Open Message)开启公测,支持订阅DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统的深度集成;任务调度新增年周期和月末最后一天周期,可实现按年、按季度、按指定月最后一天的周期调度;......

本月DataWorks产品月刊为您带来

产品活动:

1.数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧

2.首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元;独享数据集成/调度资源组首月5折


产品功能更新:

  1. DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的功能;
  2. 开放消息服务(Open Message)开启公测,支持订阅DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统的深度集成;
  3. 任务调度新增年周期和月末最后一天周期,可实现按年、按季度、按指定月最后一天的周期调度;
  4. 新增FTP Check节点,支持定时检测指定的“FTP标Done文件”,实现DataWorks与外部系统的调度信号打通;
  5. 新增ClickHouse引擎的支持,提供了数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力;
  6. 全新改版了代码搜索功能,支持更实时、更精准和更灵活的代码全文搜索能力;


【产品活动】

1. 数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧>>

立即前往>>

2. 首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元>>

立即前往>>

3. 首月特惠!独享数据集成/独享调度资源组首月5折>>

立即前往>>


【产品功能更新】

1、DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的能力

支持MySQL、OceanBase、PolarDB等数据库实时同步至AnalyticDB MySQL 3.0,可以在一个任务中一次同步多个表的实时信息,能够自动先全量同步,然后启动实时增量,实现数据不间断同步。其中实时同步时已经自动支持添加列的DDL同步,即源端增加列时目标端的表也会增加相应列。

查看详情:https://help.aliyun.com/document_detail/229552.htm


2、开放消息服务(Open Message)开启公测

DataWorks提供开放消息能力,您可以在DataWorks开放平台开启消息订阅功能。仅支持DataWorks企业版用户参与公测活动,企业版用户可以直接参与公测并试用开放消息能力,无需申请和支付相关费用。您可以通过开放消息获取DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统深度集成。

查看详情:https://help.aliyun.com/document_detail/215365.html


3、DataWorks任务调度新增年周期和月末最后一天周期

DataWorks周期任务调度现添加了年周期调度和月末最后一天调度,可实现按年、季度、指定月最后一天的周期调度,目前DataWorks调度周期支持包括分钟小时

查看文档:https://help.aliyun.com/document_detail/137549.html


4、新增FTP Check节点,支持定时检测指定的“FTP标Done文件”

FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务,不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。

查看详情:https://help.aliyun.com/document_detail/215542.html


5、新增ClickHouse引擎的支持,提供了数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力

DataWorks提供通过EMR实例模式或JDBC连接串模式绑定ClickHouse集群,以及通过JDBC连接串模式绑定ClickHouse数据源。提供通过数据集成支持对ClickHouse的读写数据的能力。提供ClickHouse SQL节点,通过独享调度资源组进行数据开发,任务调度,任务运维,临时查询等ETL操作和管理能力。

配置ClickHouse数据源:https://help.aliyun.com/document_detail/251479.html

绑定ClickHouse计算引擎:https://help.aliyun.com/document_detail/136938.htm#title-pp2-itt-1ak

创建并使用ClickHouse SQL节点:https://help.aliyun.com/document_detail/216828.html


【产品文档更新】


新版安全中心上线

新增安全中心API-GetPermissionApplyOrderDetail

实时同步数据至Kafka

Cassandra Reader

Cassandra Writer

成员及角色管理

导出开源引擎任务

导入开源引擎任务

引擎运维

查看周期任务DAG图(周期任务)

查看周期任务DAG图(周期实例)

查看周期任务DAG图(补数据实例)

【往期系列】


DataWorks 产品月刊合集


更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】,为您提供最新的产品直播、产品活动及技术支持点击查看

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测
|
SQL DataWorks 数据可视化
DataWorks产品体验与评测
在当今数字化时代,数据处理的重要性不言而喻。DataWorks作为一款数据开发治理平台,在数据处理领域占据着重要的地位。通过对DataWorks产品的体验使用,我们可以深入了解其功能、优势以及存在的问题,并且与其他数据处理工具进行对比,从而为企业、工作或学习中的数据处理提供有价值的参考。
553 6
DataWorks产品体验与评测
|
数据采集 人工智能 DataWorks
DataWorks产品最佳实践测评
DataWorks产品最佳实践测评
|
分布式计算 DataWorks 搜索推荐
DataWorks 产品评测与最佳实践探索!
DataWorks 是阿里巴巴推出的一站式智能大数据开发治理平台,内置15年实践经验,集成多种大数据与AI服务。本文通过实际使用角度,探讨其优势、潜力及改进建议。评测涵盖用户画像分析、数据治理、功能表现等方面,适合数字化转型企业参考。
349 1
|
SQL DataWorks 搜索推荐
DataWorks产品评测与最佳实践体验报告
DataWorks是阿里巴巴云推出的一款高效数据处理平台,通过内置的数据集成工具和ETL功能,实现了多源数据的自动化处理与分析。本文介绍了DataWorks在用户画像分析中的应用实践,展示了其如何帮助企业高效管理数据资源,支持决策制定及营销优化。同时,文章还评测了DataWorks的产品体验,包括开通流程、功能满足度等方面,并与其它数据开发平台进行了比较,突出了DataWorks在易用性、性能和生态完整性上的优势。最后,对Data Studio新版本中的Notebook环境进行了初步探索,强调了其在提升开发效率方面的价值。
476 16
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
570 1
|
机器学习/深度学习 数据采集 DataWorks
DataWorks产品评测:数据处理与分析的最佳实践
DataWorks是阿里巴巴推出的大数据开发治理平台,支持从数据采集、预处理、存储到分析的全流程操作。本文评测了其在用户画像分析中的应用,包括数据收集、清洗、特征工程、模型训练、结果评估及应用部署等步骤,展示了其在提高数据资产管理效率、支持多种编程语言和技术栈、集成丰富可视化工具等方面的优势。同时,文章也指出了DataWorks在使用过程中的一些不便与问题,并提出了改进建议。
458 17
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
DataWorks 数据可视化 大数据
DataWorks 产品综合评测报告
《DataWorks产品综合评测报告》全面评估了DataWorks这款知名的大数据开发治理平台。报告从用户画像分析实践、日常工作中的应用、产品体验、与其他工具的对比及Data Studio公测体验等多个角度进行了详细评测。DataWorks在数据集成、可视化操作、任务调度等方面表现出色,但也存在一些技术难题和使用门槛。总体而言,DataWorks功能完整、易用性强,适合企业高效处理和分析大数据,助力决策制定和业务优化。
|
SQL 数据采集 DataWorks
DataWorks产品最佳实践测评:用户画像分析实践
DataWorks作为阿里云提供的一款大数据开发治理平台,以其强大的数据处理能力和便捷的操作界面,在数据处理领域扮演着重要角色。本文将基于个人体验,对DataWorks产品进行最佳实践测评,重点探讨用户画像分析实践,并提出优化建议。
272 11

相关产品

  • 大数据开发治理平台 DataWorks