一、场景
公司A购买了Dataphin的独立部署版本,但是想要体验实时研发的功能,可以怎么做?
二、解决方案及功能
首先,实时研发基于 Apache Flink,因此需要一个独立的 Flink 集群。Dataphin 提供了基于 Kubernetes 的 Flink 部署模式,允许利用调度集群运行flink任务。
需要注意以下几点:
- 目前仅独立部署和半托管可以使用该部署模式
- 调度集群必须基于 Kubernetes 架构,不能采用 Mesos 架构
- 指定checkpoint存储,目前已支持NFS、Amazon S3、Azure Blob Storage进行存储,并确保存储服务与调度集群之间的网络是通畅的
确定了以上内容后,就可以按照以下步骤进行配置:
1、配置Flink计算源,部署模式选择Kubernetes,填写NFS的信息
2、创建项目时绑定实时计算源
3、创建实时任务自定义资源组,用于分配运行实时任务的资源
4、创建实时任务时选择自定义资源组
5、运维界面启动任务