QingHub企业级应用作业编排

本文涉及的产品
Serverless 应用引擎 SAE,800核*时 1600GiB*时
应用实时监控服务ARMS - 应用监控,每月50GB免费额度
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
简介: QingHub作业编排中心是一个通过插件化方式,提供数据从采集,转化,计算,存储为一体的全流程数据处理方案,他一方面为前端应用提供数据源,同时也为前端应用与数据源头的通信搭建起桥梁,实现数据的双向沟通,适合任何业务应用数据采集,数据库数据采集,网站数据抓取,物联网设备数据采集,其中预置的HTTP协议,TCP协议,MQTT协议,OPC协议,Modbus协议等可以快速的实现物联设备数据的采集,以及上下行数据数据通信。预置的大量数据库数据的同步采集组件,可以快速实现数据融合汇聚。

QingHub作业编排中心是一个通过插件化方式,提供数据从采集,转化,计算,存储为一体的全流程数据处理方案,他一方面为前端应用提供数据源,同时也为前端应用与数据源头的通信搭建起桥梁,实现数据的双向沟通,适合任何业务应用数据采集,数据库数据采集,网站数据抓取,物联网设备数据采集,其中预置的HTTP协议,TCP协议,MQTT协议,OPC协议,Modbus协议等可以快速的实现物联设备数据的采集,以及上下行数据数据通信。预置的大量数据库数据的同步采集组件,可以快速实现数据融合汇聚。

QingHub作业编排中心底层采用master,worker的方式,理论上可以无限制扩展多节点,解决数据采集传输过程中的大数据量处理瓶颈问题。  架构上,支持独立执行,嵌入式执行,核心功能通过开发独立组件,轻量级的数据解析,转换组件可以直接采用脚本的方式在线编码,应对复制多变的应用场景。

组件管理

QingHub 广场有足量的系统预置作业组件能满足普通场景的需求,同时用户可自定义新增作业组件。已发布的组件可完成数据开发作业的搭建满足各种协议的数据采集等场景的应用。

组件信息的维护:

  • 组件的新增
  • 编辑
  • 新建版本
  • 发布
  • 上架
  • 下架
  • 删除

作业编排

通过组件化、可拖拽、可配置的方式创建数据开发作业。提供丰富的组件库供用户使用。组件默认为最新版本,按用户需要也可以切换使用旧版本。

作业编辑器页面介绍

作业编辑器分为6大区域:

  • 功能控件:设有7个功能按钮:应用、作业、部署3个公共的功能按钮 ;停止、保存、发布、一键换肤的作业相关的功能按钮。
  • 主组件工具栏:组件、执行空间、作业。
  • 作业列表:作业数据的管理。
  • 操作面板:创建作业后,页面中间的白色画板为作业操作区域,可拖拽组件并关联组件的关系。
  • 组件编辑面板:当我们在操作面板中任意选中一个组件时,右侧弹出组件相关属性。
  • 运行结果:启动作业或组件时,能实时查看运行结果和日志。

作业编排详细操作请参见QingHub操作手册。

【QingHub企业级应用作业编排】可配合Qinghub Studio 其他几个模块配合工作,但同时也可以独立的为用户提供服务,没有强依赖关系。相关模块参见

【QingHub企业级应用统一部署】

QingHub企业级应用开发管理】

相关文章
|
资源调度 Kubernetes Cloud Native
资源调度的最佳实践|学习笔记
快速学习资源调度的最佳实践
616 0
资源调度的最佳实践|学习笔记
|
2月前
|
弹性计算 运维 Kubernetes
实践篇:灵活调度,高效编排,容器化管理云上应用
【7月更文第8天】阿里云容器服务Kubernetes版(ACK)作为业界领先的容器管理和编排服务,凭借其强大的技术实力和丰富的云服务生态,为企业级用户提供了一系列卓越的优势,助力现代化应用的快速构建、部署与运维。
71 1
|
2月前
|
运维 监控 调度
《<灵活调度,高效编排,容器化管理云上应用>解决方案测评》
在这次测评中,聚焦于技术细节、引导帮助、代码示例、容器托管优势及云产品体验五大方面。技术细节展示出色但需深化复杂场景的优化策略;文档和引导能满足基本需求,但关键步骤应增强提示;代码示例有价值,但遇到实际使用问题;容器化托管带来快速部署、资源隔离和自动化管理的优势,受到高度评价;云产品功能齐全,性能良好,但高级功能配置和手册可读性有待提升。总体而言,解决方案有亮点,期待持续改进。
149 13
《<灵活调度,高效编排,容器化管理云上应用>解决方案测评》
|
1月前
|
运维 Kubernetes 监控
|
4月前
|
存储 Kubernetes Cloud Native
云原生离线工作流编排利器 -- 分布式工作流 Argo 集群
云原生离线工作流编排利器 -- 分布式工作流 Argo 集群
105202 2
|
人工智能 资源调度 Kubernetes
Koordinator 异构资源/任务调度实践
Koordinator 异构资源/任务调度实践
15250 10
|
存储 资源调度 Kubernetes
企业级运维之云原生与Kubernetes实战课程 - 第二章第3讲 Kubernetes调度和资源管理
本小节主要内容为Pod调度和资源管理,包括Pod调度过程、资源源调度和关系调度、调度相关的配置和使用、K8s组件控制器、SVC创建及使用、Pod生命周期管理及Kubectl常用命令和使用技巧。
企业级运维之云原生与Kubernetes实战课程 - 第二章第3讲 Kubernetes调度和资源管理
|
弹性计算 Kubernetes Cloud Native
企业级运维之云原生与Kubernetes实战课程 第四章第6讲 实验四:流水线部署
本实验通过在ack集群上部署jenkins,来实现一键式自动拉取github仓库上的代码,编译、构建镜像、部署deployment,来完成流水线部署的目的。
企业级运维之云原生与Kubernetes实战课程 第四章第6讲 实验四:流水线部署
|
资源调度 分布式计算 运维
基于任务调度的企业级分布式批处理方案
分布式任务调度平台 SchedulerX 为企业级分布式批处理提供来完善的解决方案,为用户提供了快速易用的接入模式,并支持定时调度、可视化运行跟踪、可管控简运维、高可用的调度服务,同时配套企业级监控大盘、日志服务、监控报警等能力。
基于任务调度的企业级分布式批处理方案
|
存储 Prometheus Kubernetes
集群镜像:实现高效的分布式应用交付
Docker 解决了单个容器的镜像化问题,而 sealer 通过把整个集群打包,实现了分布式软件的 Build Share Run。
1883 0
集群镜像:实现高效的分布式应用交付