AI 助理
备案控制台
开发者社区 云原生 文章 正文

Docker搭建分布式图数据库nebula

2022-08-10 754
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 被老大按着完成nebula分布式容器化部署。

大家好，我是脚丫先生 (o^^o)

最近在做数据融合分析平台。需要搭建一个分布式图数据库，第一想法就是面向百度和官网搜索，但是大多数只看到单节点搭建，分布式搭建都是基于k8s。自己不想那么把项目搞这么重，于是考利用docker-compose进行分布式搭建。下面进行阐述搭建过程，希望能帮助到大家。

在这里插入图片描述

一、图数据库nebula

Nebula Graph 是开源的第三代分布式图数据库，不仅能够存储万亿个带属性的节点和边，而且还能在高并发场景下满足毫秒级的低时延查询要求。不同于 Gremlin 和 Cypher，Nebula 提供了一种 SQL-LIKE 的查询语言 nGQL，通过三种组合方式（管道、分号和变量）完成对图的 CRUD 的操作。在存储层 Nebula Graph 目前支持 RocksDB 和 HBase 两种方式。

二、集群规划

主机名 IP Nebula服务
spark1 192.168.239.128 graphd0, metad-0, storaged-0
spark2 192.168.239.129 graphd1, metad-1, storaged-1
spark3 192.168.239.130 graphd2, metad-2, storaged-2

对于运维来说，之前搭建原生的环境，非常之麻烦，大部分时候搭建一个环境需要很多时间，而且交付项目，运维项目，都想把客户掐死。阿西吧

2.1 spark1节点的docker-compose

version: '3.4'
services:
  metad0:
    image: vesoft/nebula-metad:v2.0.0
    privileged: true
    network_mode: host
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=192.168.239.128:9559,192.168.239.129:9559,192.168.239.129:9559
      - --local_ip=192.168.239.128
      - --ws_ip=0.0.0.0
      - --port=9559
      - --ws_http_port=19559
      - --data_path=/data/meta
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://192.168.239.128:19559/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9559
      - 19559
      - 19560
    volumes:
      - ./data/meta0:/data/meta
      - ./logs/meta0:/logs
    restart: on-failure
  
  storaged0:
    image: vesoft/nebula-storaged:v2.0.0
    privileged: true
    network_mode: host
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=192.168.239.128:9559,192.168.239.129:9559,192.168.239.130:9559
      - --local_ip=192.168.239.128
      - --ws_ip=0.0.0.0
      - --port=9779
      - --ws_http_port=19779
      - --data_path=/data/storage
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad0
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://192.168.239.128:19779/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9779
      - 19779
      - 19780
    volumes:
      - ./data/storage0:/data/storage
      - ./logs/storage0:/logs
    restart: on-failure

  graphd0:
    image: vesoft/nebula-graphd:v2.0.0
    privileged: true
    network_mode: host
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=192.168.239.128:9559,192.168.239.129:9559,192.168.239.130:9559
      - --port=9669
      - --ws_ip=0.0.0.0
      - --ws_http_port=19669
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad0
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://192.168.239.128:19669/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - "9669:9669"
      - 19669
      - 19670
    volumes:
      - ./logs/graph:/logs
    restart: on-failure

注意：

  • 修改参数meta_server_addrs：

全部Meta服务的IP地址和端口。多个Meta服务用英文逗号（,）分隔

  • 修改参数local_ip：
    Meta服务的本地IP地址。本地IP地址用于识别nebula-metad进程，如果是分布式集群或需要远程访问，请修改为对应地址。

    • 默认参数ws_ip：

    HTTP服务的IP地址。预设值：0.0.0.0。

    2.2 spark2节点的docker-compose(配置与spark1同理)

version: '3.4'
services:
  metad1:
    image: vesoft/nebula-metad:v2.0.0
    privileged: true
    network_mode: host
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=192.168.239.128:9559,192.168.239.129:9559,192.168.239.129:9559
      - --local_ip=192.168.239.129
      - --ws_ip=0.0.0.0
      - --port=9559
      - --ws_http_port=19559
      - --data_path=/data/meta
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://192.168.239.129:19559/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9559
      - 19559
      - 19560
    volumes:
      - ./data/meta1:/data/meta
      - ./logs/meta1:/logs
    restart: on-failure
  
  storaged1:
    image: vesoft/nebula-storaged:v2.0.0
    privileged: true
    network_mode: host
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=192.168.239.128:9559,192.168.239.129:9559,192.168.239.130:9559
      - --local_ip=192.168.239.129
      - --ws_ip=0.0.0.0
      - --port=9779
      - --ws_http_port=19779
      - --data_path=/data/storage
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad1
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://192.168.239.129:19779/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9779
      - 19779
      - 19780
    volumes:
      - ./data/storage1:/data/storage
      - ./logs/storage1:/logs
    restart: on-failure
  
  graphd1:
    image: vesoft/nebula-graphd:v2.0.0
    privileged: true
    network_mode: host
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=192.168.239.128:9559,192.168.239.129:9559,192.168.239.130:9559
      - --port=9669
      - --ws_ip=0.0.0.0
      - --ws_http_port=19669
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad1
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://192.168.239.129:19669/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - "9669:9669"
      - 19669
      - 19670
    volumes:
      - ./logs/graph1:/logs
    restart: on-failure

2.3 spark3节点的docker-compose(配置与spark1同理)

version: '3.4'
services:
  metad2:
    image: vesoft/nebula-metad:v2.0.0
    privileged: true
    network_mode: host
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=192.168.239.128:9559,192.168.239.129:9559,192.168.239.129:9559
      - --local_ip=192.168.239.130
      - --ws_ip=0.0.0.0
      - --port=9559
      - --ws_http_port=19559
      - --data_path=/data/meta
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://192.168.239.130:19559/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9559
      - 19559
      - 19560
    volumes:
      - ./data/meta3:/data/meta
      - ./logs/meta3:/logs
    restart: on-failure
  
  storaged2:
    image: vesoft/nebula-storaged:v2.0.0
    privileged: true
    network_mode: host
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=192.168.239.128:9559,192.168.239.129:9559,192.168.239.130:9559
      - --local_ip=192.168.239.130
      - --ws_ip=192.168.239.130
      - --port=9779
      - --ws_http_port=19779
      - --data_path=/data/storage
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad2
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://192.168.239.130:19779/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - 9779
      - 19779
      - 19780
    volumes:
      - ./data/storage3:/data/storage
      - ./logs/storage3:/logs
    restart: on-failure
  
  graphd2:
    image: vesoft/nebula-graphd:v2.0.0
    privileged: true
    network_mode: host
    environment:
      USER: root
      TZ:   "${TZ}"
    command:
      - --meta_server_addrs=192.168.239.128:9559,192.168.239.129:9559,192.168.239.130:9559
      - --port=9669
      - --ws_ip=0.0.0.0
      - --ws_http_port=19669
      - --log_dir=/logs
      - --v=0
      - --minloglevel=0
    depends_on:
      - metad2
    healthcheck:
      test: ["CMD", "curl", "-sf", "http://192.168.239.128:19669/status"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 20s
    ports:
      - "9669:9669"
      - 19669
      - 19670
    volumes:
      - ./logs/graph:/logs
    restart: on-failure

三、客户端

不说这么花里胡哨的，直接上docker-compose

version: '3.4'
services:
  client:
    image: vesoft/nebula-http-gateway:v2
    environment:
      USER: root
    ports:
      - 8080
    networks:
      - nebula-web
  web:
    image: vesoft/nebula-graph-studio:v2
    environment:
      USER: root
      UPLOAD_DIR: ${MAPPING_DOCKER_DIR}
    ports:
      - 7001
    depends_on:
      - client
    volumes:
      - ${UPLOAD_DIR}:${MAPPING_DOCKER_DIR}:rw
    networks:
      - nebula-web
  importer:
    image: vesoft/nebula-importer:v2
    networks:
      - nebula-web
    ports:
      - 5699
    volumes:
      - ${UPLOAD_DIR}:${MAPPING_DOCKER_DIR}:rw
    command:
      - "--port=5699"
      - "--callback=http://nginx:7001/api/import/finish"
  nginx:
    image: nginx:alpine
    volumes:
      - ./nginx/nginx.conf:/etc/nginx/conf.d/nebula.conf
      - ${UPLOAD_DIR}:${MAPPING_DOCKER_DIR}:rw
    depends_on:
      - client
      - web
    networks:
      - nebula-web
    ports:
      - 7001:7001

networks:
  nebula-web:

谷歌浏览器访问web界面： http://192.168.239.128:7001
在这里插入图片描述

利用SHOW HOSTS;在这里插入图片描述

文章标签：
图数据库
容器
NoSQL
运维
Docker
Kubernetes
Hbase
存储
分布式数据库
关键词：
分布式数据库
Docker数据库
Docker分布式
分布式docker
图数据库分布式
相关实践学习
阿里云图数据库GDB入门与应用
图数据库（Graph Database，简称GDB）是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言，可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发，具备如下优势： 标准图查询语言：支持属性图，高度兼容Gremlin图查询语言。 高度优化的自研引擎：高度优化的自研图计算层和存储层，云盘多副本保障数据超高可靠，支持ACID事务。 服务高可用：支持高可用实例，节点故障迅速转移，保障业务连续性。 易运维：提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能，大幅降低运维成本。 产品主页：https://www.aliyun.com/product/gdb
大数据指北
目录
相关文章
宁波阿成.
|
9月前
|
关系型数据库 MySQL 数据库
docker MySQL删除数据库时的错误（errno: 39）
docker MySQL删除数据库时的错误（errno: 39）
宁波阿成.
172 0
江湖有缘
|
3月前
|
SQL 关系型数据库 数据库
国产数据实战之docker部署MyWebSQL数据库管理工具
【10月更文挑战第23天】国产数据实战之docker部署MyWebSQL数据库管理工具
江湖有缘
242 4
国产数据实战之docker部署MyWebSQL数据库管理工具
yuanzhengme
|
4月前
|
关系型数据库 MySQL 数据库
使用Docker部署的MySQL数据库，数据表里的中文读取之后变成问号，如何处理？
【10月更文挑战第1天】使用Docker部署的MySQL数据库，数据表里的中文读取之后变成问号，如何处理？
yuanzhengme
113 3
yuanzhengme
|
4月前
|
关系型数据库 MySQL 数据库
使用Docker部署的MySQL数据库如何设置忽略表名大小写？
【10月更文挑战第1天】使用Docker部署的MySQL数据库如何设置忽略表名大小写？
yuanzhengme
547 1
yuanzhengme
|
4月前
|
关系型数据库 MySQL 数据库
如何使用Docker部署MySQL数据库？
【10月更文挑战第1天】如何使用Docker部署MySQL数据库？
yuanzhengme
303 0
shiningrise
|
4月前
|
关系型数据库 MySQL 数据库
docker mysql表名和数据库名不区分大小写
docker mysql表名和数据库名不区分大小写
shiningrise
34 0
wljslmz
|
6月前
|
Linux 数据库 数据安全/隐私保护
在Linux环境中利用T-SQL与Docker实现MSSQL数据库复制
【8月更文挑战第20天】
wljslmz
84 2
蓝易云
|
5月前
|
关系型数据库 数据库 网络虚拟化
Docker环境下重启PostgreSQL数据库服务的全面指南与代码示例
由于时间和空间限制，我将在后续的回答中分别涉及到“Python中采用lasso、SCAD、LARS技术分析棒球运动员薪资的案例集锦”以及“Docker环境下重启PostgreSQL数据库服务的全面指南与代码示例”。如果你有任何一个问题的优先顺序或需要立即回答的，请告知。
蓝易云
90 0
热爱技术的小郑
|
6月前
|
关系型数据库 MySQL 数据库
成功解决：Navicat 连接虚拟机Docker中的mysql数据库失败（仅限某些特殊情况）
这篇文章介绍了在Ubuntu环境中使用Docker部署Flask项目的方法，包括创建测试项目、设置数据库、构建Flask和Nginx镜像以及容器编排，其中使用了MySQL 5.7作为数据库，Flask 2.0.2作为Web框架，Gunicorn 20.1.0作为应用服务器，Nginx 1.21.4作为反向代理，并解决了Navicat连接Docker中的MySQL数据库失败的问题。
热爱技术的小郑
280 0
土木林森
|
6月前
|
Java Nacos Docker
"揭秘！Docker部署Seata遇上Nacos，注册成功却报错？这些坑你不得不防！一网打尽解决秘籍，让你的分布式事务稳如老狗！"
【8月更文挑战第15天】在微服务架构中，Nacos搭配Seata确保数据一致性时，Docker部署Seata后可能出现客户端连接错误，如“can not connect to services-server”。此问题多由网络配置不当、配置文件错误或版本不兼容引起。解决策略包括：调整Docker网络设置确保可达性；检查并修正`file.conf`和`registry.conf`中的Nacos地址和端口；验证Seata与Nacos版本兼容性；修改配置后重启服务；参考官方文档和最佳实践进行配置。通过这些步骤，能有效排除故障，保障服务稳定运行。
土木林森
449 0

热门文章

最新文章

  • 1
    分布式大模型训练的性能建模与调优
  • 2
    分布式系统架构6：链路追踪
  • 3
    分布式系统架构8：分布式缓存
  • 4
    分布式Python计算服务MaxFrame测评
  • 5
    MaxFrame：链接大数据与AI的高效分布式计算框架深度评测与实践！
  • 6
    有奖评测，基于分布式 Python 计算服务 MaxFrame 进行数据处理
  • 7
    如何设计一个分布式配置中心？
  • 8
    产品测评 | 上手分布式Python计算服务MaxFrame产品最佳实践
  • 9
    云产品评测｜分布式Python计算服务MaxFrame
  • 10
    MaxFrame 产品评测：大数据与AI融合的Python分布式计算框架
  • 1
    Oracle数据库协议适配器错误解决方法
    677
  • 2
    云原生一体化数据库技术是一个具有潜力的领域
    131
  • 3
    构建高性能数据库的秘诀
    111
  • 4
    新一代数据库技术：融合AI的智能数据管理系统
    365
  • 5
    新一代数据库技术：融合人工智能与分布式系统的未来前景
    394
  • 6
    使用 Python 访问数据库的基本方法
    83
  • 7
    数据库解决方案
    116
  • 8
    mysql 设置环境变量与未设置环境变量连接数据库的区别
    190
  • 9
    服务器Linux系统配置mysql数据库主从自动备份
    249
  • 10
    SQLite数据库介绍以及安装
    130

    • 相关课程

    更多
  • Docker 快速入门
  • Docker完全自学手册图文教程
  • 分布式文件存储系统技术及实现
  • AI开发者的Docker实践
  • 分布式协调系统 Zookeeper 快速入门
  • Docker 入门

    • 相关电子书

    更多
  • 分布式高并发缓存6.0
  • Graph图数据库基础介绍及场景
  • PostgresChina2018_邵宗文_图数据库及应用场景

    • 相关实验场景

    更多
  • 部署并使用Docker（AlibabaCloud Linux 3）
  • 体验PolarDB-X透明分布式
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 云原生HTAP数据库，让你的交易和分析一库搞定
  • 快速体验PolarDB开源数据库
  • Docker Compose部署案例

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • alpine
    • 下一篇
    阿里云上1分钟搞定幻兽帕鲁联机服务器搭建