作为新一代流计算引擎,Flink的发展速度是惊人的,尤其是在其母公司被阿里巴巴收购后,Flink在国内工业界已经得到了广泛地应用。本文讲解如何在CDH7.1.1上部署Flink1.10.1。后续会有多篇文章详细介绍Flink的使用和源码分析,并且基于工业界的实际场景和需求,探讨如何扩展Flink,二次开发等等。此外,我们会深入研究有关流计算的内容。
安装Flink
下载Flink1.10.0的csd文件,发送到Cloudera Manager Server服务器/opt/cloudera/csd目录下,重启Cloudera Manager Server服务
下载Flink1.10.0的Parcel包并部署到httpd服务的/var/www/html/flink1.10.1目录下
在CM页面左侧菜单栏点击Parcel按钮,进入Parcles管理界面配置parcel包地址
进行下载、分配、激活操作
在CM主页点击”添加服务”,选择添加Flink服务
选择Flink History Server以及Gateway节点,点击继续
审核更改
等待Flink History Server启动成功,完成后点击继续
完成
Flink运行示例
执行Flink自带的example的wordcount例子,使用flink run提交到YARN
在YARN和Flink的界面上都能看到这个任务。