Apache Doris-部署

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 建议使用使用 Docker 开发镜像编译

1.使用现成的镜像

docker pull apachedoris/doris-dev:build-env-1.3

1.1拉取镜像

docker pull apachedoris/doris-dev:build-env-1.3

1.2运行镜像

docker run -it --name doris apachedoris/doris-dev:build-env-1.3

1.3查看镜像是否运行成功

docker ps -a

image.png

如图,运行成功。进入容器

1.4mkdir创建doris

mkdir doris

1.5进入doris

wget <https://mirrors.bfsu.edu.cn/apache/incubator/doris/0.13.0-incubating/apache-doris-0.13.0-incubating-src.tar.gz>

1.6解压

tar -zxvf apache-doris-0.13.0-incubating-src.tar.gz


1.7编译

编译之前需要修改maven配置

.进入maven

cd usr/share/maven/conf

.修改setting.xml 换仓库地址

<mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url><https://maven.aliyun.com/repository/public></url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>alimaven-central</id>
        <name>aliyun maven central</name>
        <url><https://maven.aliyun.com/repository/central></url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>alimaven-spring</id>
        <name>aliyun maven-spring</name>
        <url><https://maven.aliyun.com/repository/spring></url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>central</id>
        <name>Maven Repository Switchboard</name>
        <url><https://repo1.maven.org/maven2/></url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>jboss-public-repository-group</id>
        <mirrorOf>central</mirrorOf>
        <name>JBoss Public Repository Group</name>
        <url><http://repository.jboss.org/nexus/content/groups/public></url>
    </mirror>
    <mirror>
        <id>spring-snapshots</id>
        <mirrorOf>central</mirrorOf>
        <name>Spring Snapshots</name>
        <url><https://repo.spring.io/snapshot></url>
    </mirror>
    <mirror>
        <id>spring-milestones</id>
        <mirrorOf>central</mirrorOf>
        <name>Spring Milestones</name>
        <url><https://repo.spring.io/milestone></url>
    </mirror>

修改fe中的配置文件

.进入之前创建doris/apache-doris-0.13.0-incubating-src/fe 路径

cd /root/doris/apache-doris-0.13.0-incubating-src/fe

.修改pom.xml文件

<!-- for java-cup -->
<repository>
   <id>cloudera-thirdparty</id>
   <url><https://repository.cloudera.com/content/repositories/third-party/></url>
    // 将上面两行配置**改为**下面两行**
   <id>cloudera-public</id>                                          <url><https://repository.cloudera.com/artifactory/public/>
   </url>
</repository>
 <pluginRepositories>
  <!-- for cup-maven-plugin -->
   <pluginRepository>
   <id>spring-plugins</id>
   <url><https://repo.spring.io/plugins-release/></url>
    // 将上面两行配置**改为**下面两行**
   <id>cloudera-public</id>                                          <url><https://repository.cloudera.com/artifactory/public/></url>
   </pluginRepository>
</pluginRepositories>

1.8直接编译

sh bulid.sh

image.png

image.png

编译成功会产出output文件

1.9部署和启动FE

将编译好的文件output里面fe cp复制到宿主机opt/doris/fe

.创建文件夹doris-meta存放元数据

mkdir  /opt/doris/fe/doris-meta  //路径必须提前创建好

.修改fe.conf文件

vi ./conf/fe.conf

.添加下面的配置

//如果因为内存原因无启动,修改启动内存大小 4g初始
meta_dir = /opt/doris/fe/doris-meta
priority_networks = 192.168.220.133/22 ip地址

image.png

启动fe

cd /opt/doris/fe/bin
sh start_sh --daemon 后台启动
#发生错误请通过查看fe/log/fe.log 或者 fe/log/fe.out 查看错误信息

关闭防火墙或者开放相应端口

打开浏览器访问,进入可视化的界面

<http://192.168.220.145:8030/>

image.png

1.10 部署和启动BE

将编译好的文件output里面be cp复制到宿主机opt/doris/be

创建be存储数据的文件夹

mkdir -p /opt/doris/be/storage ####路径必须提前创建好

.启动be

cd /opt/doris/be/bin
sh start_be.sh --daemon

.BE 启动失败的情况处理

image.png

.修改最大文件句柄数

echo "* soft nofile 204800" >> /etc/security/limits.conf
echo "* hard nofile 204800" >> /etc/security/limits.conf
echo "* soft nproc 204800" >> /etc/security/limits.conf
echo "* hard nproc 204800 " >> /etc/security/limits.conf
修改 /etc/sysctl.conf
加入 echo fs.file-max = 6553560 >> /etc/sysctl.conf

.查看是否成功

cat /etc/security/limits.conf
cat /etc/sysctl.conf

.重启生效

reboot -h now

.重新启动be即可

cd /opt/doris/be/bin
sh start_be.sh --daemon

1.11 通过mysql client连接

.

.安装mysql

yum install -y mysql

.通过mysql客户端连接doris

ip地址
 mysql -h 192.168.220.145 -p 9030 -uroot

image.png

.添加be

ALTER SYSTEM ADD BACKEND "192.168.220.146:9050"

.关闭防火墙

systemctl disable firewalld

.查看fe和be节点状态

show proc ‘/frontends’;
show proc ‘/backends’;

.fe节点连接状态如图

image.png

.be节点连接状态如图

image.png

.删除fe 命令

mysql> ALTER SYSTEM DROPP FOLLOWER "192.168.220.145:9050";

.删除be命令

ALTER SYSTEM DROP BACKEND "192.168.220.146:9050";

(可能因为各种原因编译不成功的情况)可以下载0.13以上预编译的版本。直接使用文件里面编译好的组件。

doris预编译下载地址

预编译版本下载

下一篇:Doirs数据表实践

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
存储 自然语言处理 BI
|
1月前
|
Apache Java 数据库连接
Apache Doris 2.0.15 版本发布
Apache Doris 2.0.15 版本已于 2024 年 9 月 30 日正式与大家见面,该版本提交了 157 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。
|
2月前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
6天前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
1天前
|
SQL 存储 Java
Apache Doris 2.1.7 版本正式发布
亲爱的社区小伙伴们,**Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。**2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。
|
7天前
|
监控 Cloud Native BI
8+ 典型分析场景,25+ 标杆案例,Apache Doris 和 SelectDB 精选案例集(2024版)电子版上线
飞轮科技正式推出 Apache Doris 和 SelectDB 精选案例集 ——《走向现代化的数据仓库(2024 版)》,汇聚了来自各行各业的成功案例与实践经验。该书以行业为划分标准,辅以使用场景标签,旨在为读者提供一个高度整合、全面涵盖、分类清晰且易于查阅的学习资源库。
|
7天前
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
|
14天前
|
数据处理 Apache 数据库
将 Python UDF 部署到 Apache IoTDB 的详细步骤与注意事项
【10月更文挑战第21天】将 Python UDF 部署到 Apache IoTDB 中需要一系列的步骤和注意事项。通过仔细的准备、正确的部署和测试,你可以成功地将自定义的 Python UDF 应用到 Apache IoTDB 中,为数据处理和分析提供更灵活和强大的支持。在实际操作过程中,要根据具体情况进行调整和优化,以确保实现最佳的效果。还可以结合具体的代码示例和实际部署经验,进一步深入了解和掌握这一过程。
19 2
|
29天前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
24天前
|
存储 小程序 Apache
10月26日@杭州,飞轮科技 x 阿里云举办 Apache Doris Meetup,探索保险、游戏、制造及电信领域数据仓库建设实践
10月26日,由飞轮科技与阿里云联手发起的 Apache Doris 杭州站 Meetup 即将开启!
53 0

推荐镜像

更多