《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同

简介: 《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同

云边协同

云边协同通道,可以看做是边缘云计算场景下的消息中间件,它主要解决边缘云计算过程中的中

心云-边缘云节点间的管控信令通信问题。相比传统中心云,边缘云计算作为一种分布式系统,其

节点间的信息交互不再局限于单一机房、单一城市或者有限的若干城市,而是需要在全球范围内具

备可靠的消息通信链路,这条链路很难直接使用互联网IP,原因如下:

第一,场景受限。不是所有的场景都是边缘云主动请求到中心的,今天在边缘云管控系统中,中心

会有大量的管控请求主动请求到边缘,单一场景远不能满足业务诉求。

第二,安全受限。边缘云节点是依托ISP网络之上的,由于ACL,安全管控策略等原因,在边缘云

节点内一直遵守着只出不入的原则,确保节点在物理上不会被外部网络直接访问,保证一定的安全

性。

第三,资源/运维受限。在IPv4资源越来越紧张的今天,若按每个业务都申请分配VIP-Server,在

资源上无法满足未来的需求,另一方面,运维成本也相当大,耗费人力和物力,造成重复建设与资

源浪费。

边缘云系统中的云边协同通道应具备以下能力:


类似传统消息中间件,解耦消息生产者和消费者,实现系统间的异步调用;

提供高可用性和稳定性的保障,具备一定的异常处理能力。全球范围内的网络链路是不可靠

的,云边协同通道需要在不可靠的物理信道中构建可靠的信息通路,统一解决分布式通信的疑

难问题;

解决数据安全问题,提供统一的ACL模型,对消息的各个参与方进行身份验证和数据权限,精确

控制每个端的安全策略;

管理消息收发管控策略,根据业务优先级设置不同的消息QOS,保障重要业务的消息可达率。

协同管控,相较于传统数据中心的管控方案,边缘云管控平台需要管理更大规模的分布式边缘云节

点。中心云管与边缘云节点间的连接通常是基于不可靠的互联网链路建立的,在此物理环境下,

为了应对日益扩大的边缘云节点资源规模的需求、支持边缘云业务在断网、弱网状态下可持续运

行,“云边协同管控”和“边缘云节点有限自治”方案就成为了管控技术发展的必然选择。

云边协同管控的主要挑战在于如下:

第一

管理节点数量多,资源规模大。随着边缘云节点数量持续增加,如何有效应对资源规模化增长带来

的中心管控压力,成为了中心管控亟待解决的问题。

第二

云边弱网,连接不可靠。在云边管控通道不稳定时,边缘节点依然需要持续提供服务,如何解决云

边失联情况下数据一致性的问题是第二个技术难点。

第三

带宽成本高,分发效率低。如何快速分发系统镜像到边缘节点并支持大规模并发,以同时提升数据

分发和业务创建效率,也是云边协同重点要解决的问题。

为了解决上述问题,云边协同应具备以下技术方案和能力:

云边两级管控架构

将部分管控能力下沉至边缘,收敛云边交互,降低回传到云的数据压力,可以有效降低因节点数量

增加给中心管控带来的并发压力。

云边状态感知

中心和边缘两级管控架构中,增加云边状态感知能力:在云边失联时,边缘云节点进入自治状态,

边缘业务可持续运行;当云边连接恢复时,边缘云节点能够退出自治状态,并与中心同步,保持数

据一致性。

云边数据协同

通过引入边边网络加速能力,建立云边协同的数据服务系统,既提升了性能,降低了互联网带宽成

本,又能确保服务的高可靠性。

image.png

图15 云边系统管控架构

相关文章
|
2月前
|
存储 运维 安全
盘古分布式存储系统的稳定性实践
本文介绍了阿里云飞天盘古分布式存储系统的稳定性实践。盘古作为阿里云的核心组件,支撑了阿里巴巴集团的众多业务,确保数据高可靠性、系统高可用性和安全生产运维是其关键目标。文章详细探讨了数据不丢不错、系统高可用性的实现方法,以及通过故障演练、自动化发布和健康检查等手段保障生产安全。总结指出,稳定性是一项系统工程,需要持续迭代演进,盘古经过十年以上的线上锤炼,积累了丰富的实践经验。
|
2月前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
62 7
|
2月前
|
存储 人工智能 边缘计算
AI时代下, 边缘云上的技术演进与场景创新
本文介绍了AI时代下边缘云的技术演进与场景创新。主要内容分为三部分:一是边缘云算力形态的多元化演进,强调阿里云边缘节点服务(ENS)在全球600多个节点的部署,提供低时延、本地化和小型化的价值;二是边缘AI推理的创新发展与实践,涵盖低时延、资源广分布、本地化及弹性需求等优势;三是云游戏在边缘承载的技术演进,探讨云游戏对边缘计算的依赖及其技术方案,如多开技术、云存储和网络架构优化,以提升用户体验并降低成本。文章展示了边缘云在未来智能化、实时化解决方案中的重要性。
126 3
|
3月前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
148 4
|
4月前
|
存储 运维 负载均衡
构建高可用性GraphRAG系统:分布式部署与容错机制
【10月更文挑战第28天】作为一名数据科学家和系统架构师,我在构建和维护大规模分布式系统方面有着丰富的经验。最近,我负责了一个基于GraphRAG(Graph Retrieval-Augmented Generation)模型的项目,该模型用于构建一个高可用性的问答系统。在这个过程中,我深刻体会到分布式部署和容错机制的重要性。本文将详细介绍如何在生产环境中构建一个高可用性的GraphRAG系统,包括分布式部署方案、负载均衡、故障检测与恢复机制等方面的内容。
261 4
构建高可用性GraphRAG系统:分布式部署与容错机制
|
4月前
|
机器学习/深度学习 人工智能 分布式计算
【AI系统】分布式通信与 NVLink
进入大模型时代后,AI的核心转向大模型发展,训练这类模型需克服大量GPU资源及长时间的需求。面对单个GPU内存限制,跨多个GPU的分布式训练成为必要,这涉及到分布式通信和NVLink技术的应用。分布式通信允许多个节点协作完成任务,而NVLink则是一种高速、低延迟的通信技术,用于连接GPU或GPU与其它设备,以实现高性能计算。随着大模型的参数、数据规模扩大及算力需求增长,分布式并行策略,如数据并行和模型并行,变得至关重要。这些策略通过将模型或数据分割在多个GPU上处理,提高了训练效率。此外,NVLink和NVSwitch技术的持续演进,为GPU间的高效通信提供了更强的支持,推动了大模型训练的快
91 0
|
5月前
|
消息中间件 中间件 数据库
NServiceBus:打造企业级服务总线的利器——深度解析这一面向消息中间件如何革新分布式应用开发与提升系统可靠性
【10月更文挑战第9天】NServiceBus 是一个面向消息的中间件,专为构建分布式应用程序设计,特别适用于企业级服务总线(ESB)。它通过消息队列实现服务间的解耦,提高系统的可扩展性和容错性。在 .NET 生态中,NServiceBus 提供了强大的功能,支持多种传输方式如 RabbitMQ 和 Azure Service Bus。通过异步消息传递模式,各组件可以独立运作,即使某部分出现故障也不会影响整体系统。 示例代码展示了如何使用 NServiceBus 发送和接收消息,简化了系统的设计和维护。
98 3
|
5月前
|
传感器 边缘计算 自动驾驶
|
5月前
|
存储 开发框架 .NET
C#语言如何搭建分布式文件存储系统
C#语言如何搭建分布式文件存储系统
113 2
|
5月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现?
消息队列系统中的确认机制在分布式系统中如何实现?