Flink入坑指南 第一章 - 简介

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介:

Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。

Flink是什么

这是个很玄妙的问题。在以下网站上做了很专业的介绍。

如果你是大数据从业人士,简单理解,在功能上:flink>storm=jstorm=spark streaming。玩过大数据的同学对这些系统应该都不陌生。作为流计算领域的后起之秀,flink架构设计先进,ms级延时,支持Exactly once语义等,逐渐受到广大工程师的青睐,有越来越多的公司开始入坑Flink。

如果你是大数据小白,应该怎么理解Flink呢?

  • Flink是个分布式实时计算引擎
  • 可以通过SQL/DataStream API来提交Flink作业
  • 可以解决低延时/大数量/精确计算的业务需求
    还不理解?那么就跟我们的文章一步步来探索吧。

有问题?点我提问

实时计算产品是什么

官方介绍 -- 阿里云实时计算(Alibaba Cloud Realtime Compute)(原阿里云流计算)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛应用于流式数据处理、离线数据处理、DataLake计算等场景。

实时计算底层计算引擎用的就是Flink,并且底层Flink版本与开源相比,在SQL解析层以及Runtime层都做了大量优化,SQL支持更完善,性能更优秀。实时计算产品使用的Flink版本中的各项feature会开源,逐步推回社区。

实时计算产品在Ali内部的引擎上,做了产品化包装,开发了一套开发+运维IDE,并且与其他阿里云产品的交互做了大量工作。在核心功能上,实时计算产品=Flink,因此以后系列文章中,用Flink代替产品名称。

有问题?点我提问

本教程适合人群

对Flink有浓厚兴趣,想用Flink解决实际生产中的各种问题。
如果你是:

  • 技术小白,不会写SQL。 请移步google/百度,先学习一下SQL的基本知识。
  • 有一定技术基础,并且会写SQL。恭喜你,你已经具备了学习Flink的基础知识。
  • 大数据从业人员,从本教程中,也可以学到很多原理性知识,从而成长称为优秀的Flink高阶开发人员。

有问题?点我提问

适合场景

Flink能解决什么问题?如果你的场景:

  • 流量大:单机搞不定
  • 实时性要求高:s/ms级延时
  • 计算逻辑复杂:有各种聚合/分组/关联等复杂操作
    恭喜你,入坑实时计算/Flink

也可以参考目前我们收集的用户案例,来判断Flink是否适合你的场景。
如果你有任何Flink使用的优质案例,欢迎投稿,联系我们:点我提问

如果你不确定Flink是否适合解决你的问题?点我提问
如果你不确定你的需求在Flink中如何实现?点我提问
如果你对实时计算产品/Flink有任何问题?点我提问

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
7月前
|
分布式计算 API 数据处理
Flink【基础知识 01】(简介+核心架构+分层API+集群架构+应用场景+特点优势)(一篇即可大概了解flink)
【2月更文挑战第15天】Flink【基础知识 01】(简介+核心架构+分层API+集群架构+应用场景+特点优势)(一篇即可大概了解flink)
172 1
|
Prometheus 监控 Cloud Native
Flink Metrics 简介
Fink Metrics 是 Flink 内部的一个度量系统,除了可以在 Flink UI 上展示运行时的指标,也可以对外暴露接口集成到第三方系统,本文详述了这两方面的应用
|
分布式计算 Java Hadoop
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
|
存储 SQL 分布式计算
Flink 引擎简介 | 青训营笔记
从产品技术来看,Flink 具备如下流计算技术特征:完全一次保证:故障后应正确恢复有状态运算符中的状态;低延迟:越低越好。许多应用程序需要亚秒级延迟;高吞吐量:随着数据速率的增长,通过管道推送大量数据至关重要;强大的计算模型:框架应该提供一种编程模型,该模型不限制用户并允许各种各样的应用程序在没有故障的情况下,容错机制的开销很低;流量控制:来自慢速算子的反压应该由系统和数据源自然吸收,以避免因消费者缓慢而导致崩溃或降低性能;乱序数据的支持:支持由于其他原因导致的数据乱序达到、延迟到达后,计算出正确的结果;完备的流式语义:支持窗口等现代流式处理语义抽象;
225 0
Flink 引擎简介 | 青训营笔记
|
存储 SQL 资源调度
环境篇之 flink 简介|学习笔记
快速学习环境篇之 flink 简介
145 0
环境篇之 flink 简介|学习笔记
|
消息中间件 分布式计算 大数据
Flink原理简介和使用(3)
Flink原理简介和使用(3)
218 0
Flink原理简介和使用(3)
|
流计算
Flink原理简介和使用(2)
Flink原理简介和使用(2)
227 0
Flink原理简介和使用(2)
|
Java 流计算
Flink原理简介和使用(1)
Flink原理简介和使用(1)
237 0
Flink原理简介和使用(1)
|
资源调度 Kubernetes 监控
Flink部署、使用、原理简介(下)
Flink部署、使用、原理简介(下)
159 0
Flink部署、使用、原理简介(下)
|
流计算
Flink部署、使用、原理简介(上)
Flink部署、使用、原理简介(上)
149 0
Flink部署、使用、原理简介(上)

热门文章

最新文章

相关产品

  • 实时计算 Flink版