问题一:请问大数据计算MaxCompute中有没有类似mysql中这样的设置事务级别的变量的方法?
请问大数据计算MaxCompute中有没有类似mysql中这样的设置事务级别的变量的方法?,通过set实现了MaxCompute系统变量,怎么将他给读取出来应用到sql中呢?
参考答案:
可以看下MaxCompute的脚本模式。https://help.aliyun.com/zh/maxcompute/user-guide/sql-in-script-mode?spm=a2c4g.11186623.0.i2
如果是常量的设置,可以用DataWorks的调度配置。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581911
问题二:大数据计算MaxCompute dataworks离线数据集成,是这样的关系么?
大数据计算MaxCompute dataworks离线数据集成,底层用的是datax的odpsreader,odpsreader底层用的是mc tunnel,是这样的关系么?
参考答案:
是的。datax的odpsreader 调用的MaxCompute Tunnel接口。 实际还是走的Tunnel 接口
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581910
问题三:大数据计算MaxCompute datax如果上云后,这个性能是这样,差距太大了?
大数据计算MaxCompute datax单并发 odpsreader是50MB/s,tunnel单并发是207KB/s,差了不是一点点,这个影响对我们较大,之前我们都是用自己搭建的datax的,如果上云后,这个性能是这样,差距太大了?
参考答案:
了解了一下背景。文档给出的速率是参考值。在实际同步任务中,字段的数量、数据类型、带宽的上限、都会对MaxCompute reader产生同步速率影响。
我建议找一张表,实际测试一下。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581909
问题四:大数据计算MaxCompute dataworks数据同步,是否可以设置超时重跑呀?
大数据计算MaxCompute dataworks数据同步,是否可以设置超时重跑呀?
参考答案:
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/581908
问题五:大数据计算MaxCompute这里说Tunnel读mc的性能比datax 低20倍以上,什么原因?
大数据计算MaxCompute这里说Tunnel读mc的性能比datax odpsredader低20倍以上?
参考答案:
同步任务影响速率的因素有很多,带宽、任务并发、服务端本身的读写性能、任务配置的限流设置。
关于本问题的更多回答可点击进行查看: