问题一:MaxCompute数据同步的时候报这个错啥意思?
MaxCompute数据同步的时候报这个错啥意思?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516447?spm=a2c6h.14164896.0.0.5e8e58a2AsrfBQ
问题二:MaxCompute数据迁移的教程有吗?mysql mongdb到maxconpute
MaxCompute数据迁移的教程有吗?mysql mongdb到maxconpute
参考回答:
看看用DataWorks的数据集成呢 https://help.aliyun.com/document_detail/608116.html?spm=a2c4g.27867.0.i5
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516396?spm=a2c6h.14164896.0.0.5e8e58a2AsrfBQ
问题三:DataWorks中一键实时到maxcompute增量数据归属分区问题?
DataWorks中一键实时到maxcompute增量数据归属分区问题?
参考回答:
为何同步解决方案(mysql==》maxcompute)中源端mysql数据更新时间为28号,但是却出现在了maxcompute的base表的27号分区中? 现象如下图(在查询odps数据的时候发现updatetime为12.28号08:33的数据所在的maxc表分区为27号分区):
A:举例说明: 12.26号创建了一个同步解决方案(mysql一键实时同步到maxcompute)并正常提交执行。 12.28号mysql中添加了一个表,希望将该表也纳入同步解决方案中,于是对同步解决方案任务进行了修改并在此提交发布执行,修改任务配置并提交执行的时间是12-28号。 基于此情况,重新提交执行的任务会做2个部分的处理 1.离线全量部分(将 2021-12-28 17:15:01时间之前的所有的mysql历史数据全部写到odps base表的27号分区去,作历史数据) 2.实时任务部分,将2021-12-28 17:15:01时间之后的数据增量写到log表的相应的分区内。作增量数据。(排查实时同步任务日志中点位记录,见下图)
用户侧mysql中updatetime为12.28号08:33的数据不在这个实时同步任务位点时间之后,其被认定为历史数据。 如何解决:当同步解决方案希望添加或者删除某些表,实时任务启动时可充值位点为当日时间0点0分0秒,如此可将增量数据全部捕获并写入目的端maxc 的log表中,第二天log表和base表合并时会将当日分区数据归纳到当日分区中去。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/518457?spm=a2c6h.14164896.0.0.2e3958a2Wkahua
问题四:MaxCompute处理后的数据sparkonmc支持么?
MaxCompute处理后的数据sparkonmc支持么?spark读取mc数据之后转成pdf对象,然后foreach写入到oss里面
参考回答:
是的,阿里云MaxCompute处理后的数据可以通过SparkOnMaxCompute进行处理。SparkOnMaxCompute是一种在MaxCompute上运行Spark作业的技术,它提供了完全兼容的Spark API,使得用户可以使用Spark生态系统中的各种工具和库来处理MaxCompute中的数据。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/500088?spm=a2c6h.14164896.0.0.2e3958a2Wkahua
问题五:maxcompute ospacmd除了开启数据保护,有没有其他权限控制方法,限制用户导出数据?
maxcompute ospacmd除了开启数据保护,有没有其他权限控制方法,限制用户导出数据?专有云
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/518254?spm=a2c6h.14164896.0.0.2e3958a2Wkahua