开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段):Zeppelin_安装_配置】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/682/detail/11846
Zeppelin_安装_配置
内容介绍:
一、配置的相关内容
二、端口如何配置
三、如何修改端口
四、如何指定 Spar 的路径
五、内存不足时,如何改变内存
六、如何配置权限
一、配置的相关内容
1、了解配置文件
首先配置大致分为三个部分,第一部分先去了解配置文件,配置文件在哪,都有哪些配置,文件是做什么用的。
打开小窗口并进入,第一件事进入到 zeppelin 的 conf 目录,进入到目录之后清空一下。
注意当前目录是在 zeppelin 下 conf 内,输入 ls 可以看到 conf 内 是 zeppelin 的所有配置文件。
第一应该去关注的是 zeppelin-site.xml.template 这样的文件。这个文件配置就是zeppelin自身的一些配置。 Java 的一些配置 ,包括是否允许匿名用户登录或者是端口是什么这样的配置。
有一些配置比如在启动zeppelin,java 虚拟机的时候,内存的参数比如说内存的持久带、整个内存最大应该占多少,这些虚拟机的配置和参数在 zeppelin-env.sh.template 当中,包括每一个解释器运行的时候 所占内存也在其中。Shiro.ini.template 也需要关注。Zeppelin 使 shiro 作为权限控制,与 shiro 相关的配置在 Shiro.ini.template 这个文件中。文件中包含用户名,密码这样的一些配置。
2、了解要去修改的配置如何修改
3、运行相关的内容。
二、端口如何配置
首先需要去做的第一个配置是做一个端口。端口在
zeppelin-site.xml.template目录当中配置。配置端口是因为
zeppelin 当中默认端口是 java 的程序使用 site 服务器。简单来
说 zeppelin的整个结构,zeppelin 最外层提供Zeppelin Server,
Zeppelin Server 对外提供的功能有:用户访问 Zeppelin的时候都
是访问的Zeppelin Server 来实现相应的功能比如写笔记、查看笔
记等。Zeppelin Server 自身通过一些解释器来实现相应的功能比
如想要执行Spark 代码,那么这时候就会有一个解释器叫做 Spark
解释器;如果想执行 Python 代码,那么就会有一个 Python 的解
释器;想执行 R 语言的代码,就会有一个 R 的解释器。每一个解
释器是一个独立的进程,是一个独立的 jbm。
Zeppelin Serve 是使用 Jetty 来进行相应的编写,Spark 解释器、
Python 解释器、R 解释器 则是普通的 Java 工程。Zeppelin在
需要功能的时候通过 swift 即 RPC 的工具来访问对应的解释器
的程序。因为 Zeppelin Serve 使用 Jetty,所以默认占用8080端
口。在服务器中如果想部署 Java 的程序,template 服务器不会默
认占用8080 端口,所以会主动修改 Zeppelin 服务器,主动修改
Zeppelin 的端口。
三、如何修改端口
修改文件第一步修改端口首先要将zeppelin-site.xml.template中的 template 去掉,改成zeppelin-site.xml然后复制,接下来vi zeppelin-site.xml。在site.xml当中第一个要去改的就是端口配置,找不到直接搜索“/port”回车就可以找到。如果想要继续往下搜索在键盘上按“N”就可以了。找到端口之后,将8080改为8090,这样就结束了第一个配置。然后保存刚刚改好的文件。
四、如何指定Spark的路径
指定 Spark 的路径,由于主动装过 Spark,如果不去指定 Spark目录在哪里,zeppelin 就会有一个默认的自己的集成的 Spark 的版本,但是那个版本不易控制。
配置文件也不容易改,一般情况都会改 Spark 的位置。改变 Spark 的位置要通过zeppelin-env.sh.template 文件,这属于环境变量的一部分。
输入cp zeppelin-env.sh.template改为zeppelin-env.sh,这样就改变了 env 的配置文件。
然后复制一份 vi zeppelin-env.sh进入到另一个文件当中另起一行输入export SPARK_HOME=/export/servers/spark/,指定 HOME 路径。输入完检查一下防止写错。这个时候就指定了 Spark 的路径。
五、内存不足时,如何改变内存
内存不够的时候改变 zeppelin 的内存。首先在指定 Spark 的路径的页面继续输入export ZEPPELIN_MEM=“-Xms512m -Xml512m -XX:MaxPermSize=256m”-Xms512m -Xml512m 即最小内存和最大内存都是512m(兆)。还可以再将内存改小一点,但不能低于256m,低于256m可能会出现问题。
“-XX:MaxPermSize=256m”指的是方法区的大小。这时就已经修改完毕。修改完毕之后,在文件的结尾输入 wq 退出 env 文件。内存的代码如何写,代码如何配在笔记中会有体现。
六、如何配置权限
配置权限,在 zeppelin 默认状态启动之后所有人都可以访问非常不安全,首先要禁用匿名用户权限,不能让匿名用户登录进来。
第二步指定账号密码,首先输入vi zeppelin-site.xml,然后搜索anonymous.allowed(是否允许匿名),
搜索之后找到anonymous.allowed</name>默认状态下是 true 改为 false。然后在文件末尾输入 wq 保存退出。这样就禁用了陌生人的登录。禁用陌生人登录之后自己如何登录, zeppelin 使用 shiro 来进行权限控制,所以所有的初始账号密码在shiro. ini. Template文件当中配置的。
首先要先输入 shiro. ini. Template输入之后去掉template,然后输入vi shiro. ini. 进去之后可以看到账号和密码,注意 user1 有 role1(角色1),role2;user2 有 role3;user3 有role2,但其实role1,2,3没有什么意义。
可以把 admin 这个角色打开,把 admin 前面的“#”去掉,把 admin 的密码password1改为 admin 保存并退出,这样配置就完成了。
总结一下做了哪些配置:
(1)改端口
(2)改路径
(3)改内存
(4)改权限






