Centos7下Apache Flink1.12安装部署

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 笔记

安装环境准备:

jdk1.8.0_281

scala-2.11.12

hadoop-2.8.5

flink-1.12.1-bin-scala_2.11.tgz


(1)Flink下载安装


Flink下载地址:


https://flink.apache.org/zh/downloads.html#section-96.png

选择第二个Binaries下载,然后选择对应的Scala版本,我这里使用的是Scala2.11.12,所以我下载flink对应Scala的版本。网上有的教程是安装的flink1.9版本,从flink1.9的官方文档看出需要Hadoop2.8.3编译Flink。7.png


对比flink1.12的版本,1.12的官方文档和1.9的官方文档有差距,flink1.12不需要Hadoop编译!


(2)安装配置


Flink1.12官方文档安装部署:


https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/resource-providers/standalone/

对文件赋予权限

chmod u+x flink-1.12.1-bin-scala_2.11.tgz 

解压软件

tar -zxvf flink-1.12.1-bin-scala_2.11.tgz -C /opt/modules/

创建软链接

ln -s flink-1.12.1/ flink

配置standalone集群模式,我配置一台master节点,三台worker节点。

修改conf/flink-conf.yaml

jobmanager.rpc.address: bigdata-pro-m07

配置conf/masters

bigdata-pro-m07:8081

配置conf/workers

bigdata-pro-m07
bigdata-pro-m08
bigdata-pro-m09

分发到其他节点

scp -r flink-1.12.1/ bigdata-pro-m08:/opt/modules/
scp -r flink-1.12.1/ bigdata-pro-m09:/opt/modules/
ln -s flink-1.12.1/ flink


(3)服务启动


集群模式服务启动:

bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m08.
Starting taskexecutor daemon on host bigdata-pro-m09.

查看进程:

8721 StandaloneSessionClusterEntrypoint
9113 Jps
9018 TaskManagerRunner

访问WEB UI:1.jpeg

(4)运行测试

启动NC

nc -lk 9999
java java python 
java java
hive
hive
hbase
java java java hive hadoop
java hive

运行官网demo

bin/flink run -jar examples/streaming/SocketWindowWordCount.jar --port 9999

查看运行结果

cd /opt/modules/flink/log
cat flink-root-taskexecutor-0-bigdata-pro-m07.out 
java : 4
python : 1
hive : 2
hbase : 1
java : 3
hadoop : 1
hive : 1
java : 1
hive : 1

查看web监控

8.png

我们可以看出做的是每隔5秒做一次窗口聚合。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
25天前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
313 33
The Past, Present and Future of Apache Flink
|
3月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
896 13
Apache Flink 2.0-preview released
|
3月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
114 3
|
3月前
|
Linux 网络安全 Apache
CentOS 7.2配置Apache服务httpd(上)
CentOS 7.2配置Apache服务httpd(上)
336 1
|
4月前
|
监控 前端开发 Linux
centos7系统安装部署zabbix5.0
【9月更文挑战第23天】在CentOS 7系统上部署Zabbix 5.0的步骤包括:安装MariaDB数据库及必要软件包,配置Zabbix仓库,设置数据库并导入Zabbix数据库架构,配置Zabbix服务器与前端参数,启动相关服务,并通过浏览器访问Web界面完成安装向导。
275 0
|
2月前
|
Oracle 关系型数据库 MySQL
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
|
3月前
|
存储 消息中间件 druid
大数据-150 Apache Druid 安装部署 单机启动 系统架构
大数据-150 Apache Druid 安装部署 单机启动 系统架构
57 1
|
3月前
|
分布式计算 监控 大数据
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
92 1
|
3月前
|
Linux PHP Apache
CentOS 7.2配置Apache服务httpd(下)
CentOS 7.2配置Apache服务httpd(下)
60 1
|
3月前
|
存储 Linux 开发者
虚拟机centos7.9一键部署docker
本文介绍了如何在 CentOS 7.9 虚拟机上安装 Docker 社区版 (Docker-ce-20.10.20)。通过使用阿里云镜像源,利用 `wget` 下载并配置 Docker-ce 的 YUM 仓库文件,然后通过 `yum` 命令完成安装。安装后,通过 `systemctl` 设置 Docker 开机自启并启动 Docker 服务。最后,使用 `docker version` 验证安装成功,并展示了客户端与服务器的版本信息。文中还提供了列出所有可用 Docker-ce 版本的命令。
269 0
虚拟机centos7.9一键部署docker