Zeppelin_安装_配置| 学习笔记

简介: 快速学习 Zeppelin_安装_配置

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段)Zeppelin_安装_配置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/682/detail/11846


Zeppelin_安装_配置

内容介绍:

一、配置的相关内容

二、端口如何配置

三、如何修改端口

四、如何指定 Spar 的路径

五、内存不足时,如何改变内存

六、如何配置权限

 

一、配置的相关内容

1、了解配置文件

首先配置大致分为三个部分,第一部分先去了解配置文件,配置文件在哪,都有哪些配置,文件是做什么用的。

打开小窗口并进入,第一件事进入到 zeppelin conf 目录,进入到目录之后清空一下。

注意当前目录是在 zeppelin conf 内,输入 ls 可以看到 conf 内 是 zeppelin 的所有配置文件。

第一应该去关注的是 zeppelin-site.xml.template 这样的文件。这个文件配置就是zeppelin自身的一些配置。 Java 的一些配置 ,包括是否允许匿名用户登录或者是端口是什么这样的配置。

有一些配置比如在启动zeppelin,java 虚拟机的时候,内存的参数比如说内存的持久带、整个内存最大应该占多少,这些虚拟机的配置和参数在 zeppelin-env.sh.template 当中,包括每一个解释器运行的时候 所占内存也在其中。Shiro.ini.template 也需要关注。Zeppelin 使  shiro  作为权限控制,与 shiro 相关的配置在 Shiro.ini.template 这个文件中。文件中包含用户名,密码这样的一些配置。

image.png

2、了解要去修改的配置如何修改

3、运行相关的内容。

 

二、端口如何配置

首先需要去做的第一个配置是做一个端口。端口在

zeppelin-site.xml.template目录当中配置。配置端口是因为

zeppelin 当中默认端口是 java 的程序使用 site 服务器。简单来

zeppelin的整个结构,zeppelin 最外层提供Zeppelin Server

Zeppelin Server 对外提供的功能有:用户访问 Zeppelin的时候都

是访问的Zeppelin Server 来实现相应的功能比如写笔记、查看笔

记等。Zeppelin Server 自身通过一些解释器来实现相应的功能比

如想要执行Spark 代码,那么这时候就会有一个解释器叫做 Spark

解释器;如果想执行 Python 代码,那么就会有一个 Python 的解

释器;想执行 R 语言的代码,就会有一个 R 的解释器。每一个解

释器是一个独立的进程,是一个独立的 jbm

Zeppelin Serve  是使用 Jetty 来进行相应的编写,Spark 解释器、

Python 解释器、R 解释器 则是普通的 Java 工程。Zeppelin

需要功能的时候通过 swift   RPC 的工具来访问对应的解释器

的程序。因为 Zeppelin Serve 使用 Jetty,所以默认占用8080

口。在服务器中如果想部署 Java 的程序,template 服务器不会默

认占用8080 端口,所以会主动修改 Zeppelin 服务器,主动修改

Zeppelin 的端口。

 image.png


三、如何修改端口

修改文件第一步修改端口首先要将zeppelin-site.xml.template中的 template 去掉,改成zeppelin-site.xml然后复制,接下来vi zeppelin-site.xml。在site.xml当中第一个要去改的就是端口配置,找不到直接搜索“/port”回车就可以找到。如果想要继续往下搜索在键盘上按“N”就可以了。找到端口之后,将8080改为8090,这样就结束了第一个配置。然后保存刚刚改好的文件。

image.png

 

四、如何指定Spark的路径

指定 Spark 的路径,由于主动装过 Spark,如果不去指定 Spark目录在哪里,zeppelin 就会有一个默认的自己的集成的 Spark 的版本,但是那个版本不易控制。

配置文件也不容易改,一般情况都会改 Spark 的位置。改变 Spark 的位置要通过zeppelin-env.sh.template 文件,这属于环境变量的一部分。

输入cp  zeppelin-env.sh.template改为zeppelin-env.sh,这样就改变了 env 的配置文件。

然后复制一份 vi zeppelin-env.sh进入到另一个文件当中另起一行输入export SPARK_HOME=/export/servers/spark/,指定 HOME 路径。输入完检查一下防止写错。这个时候就指定了 Spark 的路径。

image.png


五、内存不足时,如何改变内存

内存不够的时候改变 zeppelin 的内存。首先在指定 Spark 的路径的页面继续输入export  ZEPPELIN_MEM=-Xms512m -Xml512m -XX:MaxPermSize=256m-Xms512m -Xml512m 即最小内存和最大内存都是512m(兆)。还可以再将内存改小一点,但不能低于256m,低于256m可能会出现问题。

-XX:MaxPermSize=256m指的是方法区的大小。这时就已经修改完毕。修改完毕之后,在文件的结尾输入 wq 退出 env 文件。内存的代码如何写,代码如何配在笔记中会有体现。

 

六、如何配置权限

配置权限,在 zeppelin 默认状态启动之后所有人都可以访问非常不安全,首先要禁用匿名用户权限,不能让匿名用户登录进来。

第二步指定账号密码,首先输入vi zeppelin-site.xml,然后搜索anonymous.allowed(是否允许匿名),

image.png

搜索之后找到anonymous.allowed</name>默认状态下是 true 改为 false。然后在文件末尾输入 wq 保存退出。这样就禁用了陌生人的登录。禁用陌生人登录之后自己如何登录, zeppelin 使用 shiro 来进行权限控制,所以所有的初始账号密码在shiro. ini. Template文件当中配置的。

 

首先要先输入 shiro. ini. Template输入之后去掉template,然后输入vi shiro. ini. 进去之后可以看到账号和密码,注意 user1 role1(角色1,role2user2 role3user3 role2,但其实role1,2,3没有什么意义。

image.png

可以把 admin 这个角色打开,把 admin 前面的“#”去掉,把 admin 的密码password1改为 admin 保存并退出,这样配置就完成了。

image.png

总结一下做了哪些配置:

1)改端口

2)改路径

3)改内存

4)改权限

相关文章
|
1月前
|
安全 Ubuntu 应用服务中间件
基于code-server的云端编程环境部署
本文档描述如何在 Ubuntu 主机上部署 code-server(即“网页版 VS Code”),并通过 autossh 将服务反向隧道到跳板机、使用 Nginx 反向代理域名访问、以及使用 certbot 配置 HTTPS。适合在多设备间共享同一开发环境、并解决个人主机动态公网 IP 的访问问题。
522 5
|
SQL 安全 数据库
通义灵码的代码安全增强措施
在数字化时代,软件代码安全至关重要。通义灵码作为一款强大的AI代码生成工具,通过自动参数化查询、输入验证、访问控制等措施,有效防止SQL注入、XSS等常见安全漏洞,同时集成自动代码审查和漏洞扫描功能,确保生成的代码安全可靠。
1216 31
通义灵码的代码安全增强措施
|
9月前
|
消息中间件 JSON 数据库
探索Flink动态CEP:杭州银行的实战案例
探索Flink动态CEP:杭州银行的实战案例
337 5
|
分布式计算 负载均衡 监控
p2p网络架构模型
P2P(Peer-to-Peer)模式是一种网络架构模型,在这种模型中,每个节点(peer)既是服务的提供者也是服务的消费者。这意味着每个参与的节点都可以直接与其他节点通信,并且可以相互提供资源和服务,例如文件共享、流媒体传输等。
563 6
|
分布式计算 API 对象存储
Ray是一个开源的分布式计算框架,用于构建和扩展分布式应用。它提供了简单的API,使得开发者可以轻松地编写并行和分布式代码,而无需担心底层的复杂性。
Ray是一个开源的分布式计算框架,用于构建和扩展分布式应用。它提供了简单的API,使得开发者可以轻松地编写并行和分布式代码,而无需担心底层的复杂性。
2641 11
|
分布式计算 安全 Hadoop
kyuubi提交任务异常报错Unauthorized connection for super-user from IP
最终,因为系统配置可能相当复杂,如果问题仍然没法解决,建议联系相关的系统管理员或寻求专业支持。
287 3
|
关系型数据库 MySQL 数据库连接
UiPath 连接 Mysql 报错: 在指定的 DSN 中,驱动程序和应用程序之间的体系结构不匹配
UiPath 连接 Mysql 报错: 在指定的 DSN 中,驱动程序和应用程序之间的体系结构不匹配
625 0
|
并行计算 PyTorch Linux
pytorch安装GPU版本 (Cuda12.1)教程: Windows、Mac和Linux系统快速安装指南
pytorch安装GPU版本 (Cuda12.1)教程: Windows、Mac和Linux系统快速安装指南
5621 0
|
JavaScript 编译器
TS中const和readonly的区别
TS中const和readonly的区别
353 0