【开源分享】-6期- Linkis 一款支持多种计算存储引擎的企业级计算中间件
一款支持多种计算存储引擎的企业级计算中间件。打通了 Spark、TiSpark、Hive 等存储引擎，提供统一作业执行服务，支持提交 SQL、PySpark、HQL 等各种脚本的计算请求。
特征
-
统一作业执行服务：一种分布式REST / WebSocket服务，用于处理来自用户的脚本执行请求。
到目前为止可用的计算引擎：Spark，Python，TiSpark，Hive和Shell。
到目前为止可用的语言：SparkSQL，Spark Scala，PySpark，R，Python，HQL和Shell。
-
资源管理服务：可从系统和用户的数量和负载两个角度实时控制/限制资源使用。使用动态的资源统计图，可以方便地监视和管理系统和用户的资源使用情况。
到目前为止可用的资源类型：纱线队列资源，服务器（CPU和内存），每个用户的并发实例数。
-
应用程序管理服务：管理全局用户应用程序，包括脱机批处理应用程序，交互式查询应用程序和实时流应用程序。还提供了强大的可重用性，尤其是对于脱机和交互式应用程序而言，具有完整的生命周期管理功能，可以自动为用户释放空闲的应用程序。
-
统一存储服务：通用IO体系结构可以与各种存储系统快速集成，并提供统一的可调用入口。它还与大多数常用数据格式高度集成，并且易于使用。
-
统一上下文服务：统一用户和系统的资源文件（JAR，ZIP，属性）。通过对用户，系统和引擎的参数/变量进行统一管理，可以实现在随机位置的修改将自动反映在所有其他位置。
-
物料库：系统和用户级物料管理，能够共享，传输物料和自动生命周期管理。
-
元数据服务：实时显示数据集表结构和分区。
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
