Apache Zeppelin(二)| 学习笔记

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 快速学习 Apache Zeppelin。

开发者学堂课程【Apache Flink 入门到实战 - Flink 开源社区出品 Apache Zeppelin(二)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/632/detail/10038


Apache Zeppelin(二)


四,Notebook Storage

就是存储写的那些代码,那些 note 那些 paragraph 都要振作起来,本身notebook 它支持就是说各种各样的存储系统,一种比如说是 local prices 或者是也可以 HDFS 或者是一些云存储也是可以的。然后第四个最重要一点,比较重要的就是说他也支持就是版本控制,版本控制对一些开发人员来说也是比较重要的

 

五,Security

organization 可以简单理解为就是控制,整个的 logo 就是登录,登录到这个simply 的话,首先它是一个多住户的一个产品,可以允许多个用户 share 共享一个 cpu 的话,再用 zippo 的时候是需要登录的。登录的话会输入用户密码,所以这个就是一个如果没有登录这一层的话,就是有可能会很多人滥用这个系统。

第二个就是 organization organization 这一层主要是关于 note 的 permission,比如说如果写了一个 note,分享给别人,然后让他接下去做一些事情的时候,肯定要付给他写的权限,或那他能够继续往下写,如果有些东西是比较私密的,那这个默写之后,就只能让自己来读写,其他人是可能连读都没有这个权限。

这个就是 Note 的权限这方面的一些管理

 

六,Flink Interpreter

在C语言里面去用这个 Flint,在这里面用 Internet 主要有两个渠道,一个渠道,我们用 flink 的 scholar API 阿斯 kpi,这层的话,我们可以用两种不同 API,一种是,底层 API 就是 kpi 另外,也可以用 tabletable,除了用 scar 之外,你也可以用语言C语言,可以有两种类型,第一种叫 DML 就是全称叫dataregulation the language 数据操作员,其实就是凡是那些 select 语句,都是属于 DML,那第二就代表是 Definitionthe definition language这个就是关于一些数据定义的一些 secret。createdowntable willcreate view 这些都属于 DML 的范畴。

这块目前还不太成熟,这个就是我们在 cid 里面用 flink 的主要的几种方式。

image.png

左下角左下角这个就是最核心的一个组件首先它为大家创建了一些。就是说 flink 的入口,用 string exciting moment做streaming,然后可以用 battle environment 做 BAT 的一些工作,也可以用 stringtableenvironment 做 kpi 的一些事情。

这个 think Internet 也可以连接这个 high middayto 主要就是说如果要访问 have里面的数据,因为里面的数据是很多企业是比较常用可以通过 flink 来去访问数据,去查询数据,这样的话对本身的原来那些 Haier。查询会会应该会有一个质的提高。

notebook 这种环境其实不太适合做一些复杂的一些事情,如果要做一个工作,要设置上千行代码,不适合在 notebook 里面的,所以,如果你要写上千行的 scala 代码是不建议这么做的。

但是 SQL 是 flink circle 它是一个非常简洁,又有用的这样一个东西。如果用 API 实现一些东西,总能够找到相应的 SQL 语句,然后去实现同样的功能。

这个是搜狗它所具有的能力,但是这个本身有一些限制,他有自己的规范,不可能什么东西都让 think 来做,所以当你有些东西不能够用 think 来表达的时候,你就需要用 DF 的话,就是说 sphinx 它本身提供F的那个 interface 你只要实现它的interface 然后写一个用 SQL 语言写一个简单 ugf 就可以了。所以大部分个人经验就是说,大部分的一些工作,基本上都可以用 CTRL 加 DF 这种方式来来完成,基本上90%工作,基本上都可以通过这种方式来完成。


七,怎样在 Flink 里开发程序

1,数据查询

flink 一个多租户的一个产品,可以有多个用户一起来用,这边的配置是每个用户共享的。如果某一个用户他有自己的一些定制定制化要求的话,就可以用这种方式的,这种方式来定制。比如说我这边我可以来弄一下对,你看它这边就会有结果出来了,这个就像在我们传统 ID 里面,跑的结果,还会有一个链接告诉你这个flinkjob 的 urlurl 在哪里。

如果发生异常的时候,可以点去自己去看。一个新的概念,叫 dynamicphone,是notebook 里面特有的概念,这里有个 paragraph

2,例子

进行实验,结果出来后,这就是一个最基本的,这个就在我们传统ID里面,跑的结果,会有一个链接,可以看到,这边都已经完成了。点进去看具体的一些细节的情况。

特别是 Frank 提供的一个,更 high level 的这种 API,如果用 API 的话,要首先要创建一张 table那创建 table 就是用这样的 API这个是时间已经创建好的这样一个环境变量。

比如执行一下这个比较快的,因为他并没有去跑,另外一种情况就是我们要写 SQL语句来去查询数据,接下来,写完之后可以去跑了,如果它跳出来了,说明这个脚本已经起来了,这边有个进度,跑完之后可以看到,这边他有这边是用柱状图来显示。这个就是有很多不同的可视化方法,那这就是我们的那个 flink 里面的notebook 里面就可视化的一些方式。

下一个例子叫 dynamicphone,是 notebook 里面特有的概念,他是 registered 一个新的 table 我已经去 read 一个文件,然后 table 名字就叫 bank 银行,其实就是这个数据源半个点。

跑完之后,这边就像 Frank 的就是一条语句,现在写这个语句做查询了,现在已经有了一张 table 数据了,那我现在去查询。

首先点一下,然后它就可以查询了,这边有一个比较特殊情况,看到这边一个Dollar 然后里面 max 就等于30。这个是代表可以去写,可以去让某个字段或某个变量可以去用一种 dynamic phone 的方式来定制化,其实这种方式就是对应的一个文本框,如果一开始文本框里什么都不写,那默认值就是30,改掉之后,它就会重新去跑。

所以这种方式的话是特别适合共享给别人,别人可以在这个上面自己来做一些操作,然后去做一些定制化的查询。所以这个 notebook 本质上也可以作为一个,像Facebook、像仪表盘这样的功能。用 crucif 这种方式在 notebook 里面去做做一些操作,那这边基本上是一条 SQL 语句。

一个例子,这边就是一个 DF,那这个F其实就是把一些把这个字符串转化为大写。然后转换大写之后,就 registered 这个 df,然后这个名字叫 MYAPP

当然邮件比较简单,其实不用这个 APP,这个是内置的一个 F我们可以看到下面这条语句。道具前面的道具一样也是 global,唯一不一样的地方,用了这个邮件APP,把这个CC class的名字全部转化为大写,再去跑一下。看看最后会跑出来什么样的结果。

跑完之后,数据是一样的,但是唯一不一样,下面做这些都变成大写 largemediumsmall,这个就是,如何在 notebook 环境里面用 SQL 这种方式,然后解决大部分的问题。这个就是在 notebook 环境里面用 flink 的这样简单的一个demo 例子。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
6月前
|
SQL 分布式计算 数据可视化
Apache Zeppelin系列教程第一篇——安装和使用
Apache Zeppelin系列教程第一篇——安装和使用
325 0
|
6月前
|
算法 NoSQL Java
Apache Zeppelin系列教程第八篇——LRU算法在Apache Zeppelin中的应用
Apache Zeppelin系列教程第八篇——LRU算法在Apache Zeppelin中的应用
59 0
|
6月前
|
SQL Java 数据库连接
Apache Zeppelin系列教程第十篇——SQL Debug In Zeppelin
Apache Zeppelin系列教程第十篇——SQL Debug In Zeppelin
104 0
|
6月前
|
SQL 缓存 分布式计算
Apache Zeppelin系列教程第九篇——Zeppelin NoteBook数据缓存
Apache Zeppelin系列教程第九篇——Zeppelin NoteBook数据缓存
151 0
|
6月前
|
Java 数据库连接 Apache
Apache Zeppelin系列教程第五篇——Interpreter原理分析
Apache Zeppelin系列教程第五篇——Interpreter原理分析
111 0
|
存储 SQL 分布式计算
走进 Apache Flink(一)|学习笔记
快速学习走进 Apache Flink
203 0
走进 Apache  Flink(一)|学习笔记
|
传感器 存储 Shell
走进 Apache Flink(二)|学习笔记
快速学习走进 Apache Flink
218 0
走进 Apache  Flink(二)|学习笔记
|
消息中间件 分布式计算 安全
Hadoop 1(二)|学习笔记
快速学习 Hadoop 1(二)
106 0
Hadoop 1(二)|学习笔记
|
存储 分布式计算 资源调度
Hadoop 2(二)|学习笔记
快速学习 Hadoop 2(二)
120 0
Hadoop 2(二)|学习笔记
|
存储 SQL 分布式计算
Hadoop 1(三)|学习笔记
快速学习 Hadoop 1(三)
164 0
Hadoop 1(三)|学习笔记

推荐镜像

更多
下一篇
无影云桌面