B站引入了 Flink 生态下的 AIFlow 系统有哪些特性？
已解决B站引入了 Flink 生态下的 AIFlow 系统有哪些特性？
写回答
-
推荐回答B站引入了 Flink 生态下的 AIFlow 系统。AIFlow本身的定位就是做机器学习链路的管理，核心的机器计算引擎是 Flink，这和B站的诉求不谋而合。这套系统有三个主要的特性符合B站的业务需求。
• 第一，流批的混合调度。在B站实际的业务生产上，一套完整的实时链路都会夹杂着实时和离线两种类型的任务。AIFlow 支持流批的混合调度，支持数据依赖与控制依赖，能够很好地支持B站现有的业务形态， 并且未来在 Flink 流批一体方面也会有更多的发挥空间；
• 第二，元数据的管理，AIFlow 对所有数据和模型都支持版本管理。有了版本管理，各种实验效果和实验参数就都可追溯；
• 第三，开放的通知机制。整个链路中存在很多的外部系统节点，难以归纳到平台内部，但是通过通知机 制，可以打通 AIFlow 内部节点与外部节点的依赖。整套系统的部署分为三部分，notification service、meta service 以及 scheduler，扩展性也很好，B站在内部化的过程中实现了很多自己的扩展。AIFlow 的构建使用 Python 进行描述，运行时会有可视化的节点展示，可以很方便地追踪各个节点的状态，运 维也可以做到节点级的管理，不需要做整个链路级别的运维。
以上内容摘自《Apache Flink 案例集（2022版）》电子书，点击https://developer.aliyun.com/ebook/download/7718 可下载完整版
2022-08-31 12:47:53赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关电子书
更多
