问题一:中移的实时计算平台从2015年至今经历了哪些主要的技术演进阶段?
中移的实时计算平台从2015年至今经历了哪些主要的技术演进阶段?
参考回答:
中移的实时计算平台从2015年到2016年使用Apache Storm作为第一代实时计算引擎;2017年开始调研Apache Spark Streaming;2018年发现Apache Flink更能满足业务需求;2019年至2020年,实现云服务并将实时计算平台上线至公有云和私有云;2020年至2021年,调研实时数仓并将LakeHouse上线移动云。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/674875
问题二:目前Flink在中移的实时计算平台中主要用于哪些场景?
目前Flink在中移的实时计算平台中主要用于哪些场景?
参考回答:
目前Flink主要用于中移信令数字的处理、实时用户画像和埋点、实时数仓、实时运维监控、实时推荐以及移动云的数据管道服务。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/674877
问题三:中移的实时计算平台功能分为哪三大部分?
中移的实时计算平台功能分为哪三大部分?
参考回答:
中移的实时计算平台功能分为服务管理、SQL支持和任务运维三大部分。服务管理支持任务生命周期的托管、Flink和SQL作业、Spark Streaming作业以及引擎多版本的支持;SQL支持提供在线Notebook编写、SQL语法检测、UDF管理和元数据管理;任务运维支持实时任务的日志检索、实时性能指标采集以及消息延迟报警和任务反压报警等。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/674878
问题四:为什么中移的实时计算平台引入了引擎多版本设计?
为什么中移的实时计算平台引入了引擎多版本设计?
参考回答:
中移的实时计算平台引入引擎多版本设计是因为在日常任务场景中,用户程序调试成本高,尝试新版本引擎周期长,且无法规避用户hack引擎功能及任务运行失败无异常信息的问题。多版本设计可以极大降低低价值bug的定位成本,使作业升级和回退版本更加方便,并提高作业的稳定性和安全性。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/674879
问题五:如何避免用户作业包中包含Flink的core包?
如何避免用户作业包中包含Flink的core包?
参考回答:
为避免用户作业包中包含Flink的core包,中移的实时计算平台在平台侧进行了检测。在用户上传jar包的过程中,平台会主动检测用户包里是否包含core包。如果发现作业包含了非法核心包,则会阻止用户提交。
关于本问题的更多问答可点击原文查看: