翀举_个人页

2024年05月

• 05.27 16:34:42
  发表了文章 2024-05-27 16:34:42

  Spline部署&测试

  Spline是Spark的元数据管理和血缘追踪工具，通过Docke部署。安装涉及下载docker-compose.yml和.env文件，使用`docker compose up -d`命令启动，包括rest-server（核心，处理血缘数据并存储在ArangoDB）、arangodb（多模型数据库）、ui（Web服务）等组件。测试中使用pyspark进行血缘捕获，通过spark-submit命令指定Spline相关依赖并连接到Spline服务器。成功后，血缘数据可在Spline UI中查看。未来计划在DolphinScheduler上测试Spark SQL任务并启用血缘追踪。