极速同步:网关间多点协同实现数据共享最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
日志服务 SLS,月写入数据量 50GB 1个月
简介: 背景 网关网关提供了从OSS到NAS协议转换,依托于OSS的稳定性和经济性,降低了用户的使用成本,又具备了传统NAS的易用性和POSIX兼容性,可以与用户的已有应用无缝对接,满足了中小企业客户的需求。

背景

网关网关提供了从OSS到NAS协议转换,依托于OSS的稳定性和经济性,降低了用户的使用成本,又具备了传统NAS的易用性和POSIX兼容性,可以与用户的已有应用无缝对接,满足了中小企业客户的需求。随着企业规模的增大,用户的分支机构也增多,多地共享数据的需求也逐渐凸显。云存储网关上线一年多的时间里,不断的在收集用户的需求,推出新的功能,解决用户的痛点。今天我们就来看一下网关是如何解决多地共享数据这个难题的。

网关协同场景一

如果用户使用同一个区域的线上网关共享数据,并且在不同网关间进行负载均衡。如下图,就是一个典型的同区域的多网关高效共享Bucket数据的拓扑图。
vpc_1

线上网关在同一个VPC内,或者通过云企业网打通,通过VPC endpoint高速访问OSS,可以将文件快速上传至OSS。这里的难点是如何将其他网关的上传文件信息推送给其他网关,让每个网关在最短的时间内可以看到相同的共享数据的视图。极速同步功能为共享的Bucket创建OSS事件通知规则,并创建对应的MNS消息主题和消息队列,当网关有文件上传到OSS时,OSS会匹配事件通知规则,将该文件的变更信息以MNS消息的方式投递到MNS消息主题,消息主题会分发消息给订阅的各个消息队列,同步组的每个共享监听和接收对应的消息队列的消息。共享解析获取到的消息,再从OSS上获取对应对象的完整元数据信息,实现了增量的同步更新。由于MNS也在同一个区域内,网关可以通过MNS VPC endpoint接收消息,时延很小。在批量上传的场景下,网关可以多路并发接收消息,每秒可以处理上千个OSS通知消息,实现高效极速同步。
vpc_express

网关协同场景二

在更加复杂的协同办公环境下,文件网关还有可能部署在线下机房,通过专线或者公网访问OSS,如果考虑到多地跨区域共享的话,异地的文件网关只能通过广域网发起访问,拓扑图如下:
nonvpc_1

如果线下机房有专线连接阿里云,只要配置好OSS endpoint,就能在同一个VPC内高速访问OSS;如果线下机房只能公网访问阿里云,配置网关共享的时候只能选择公网OSS endpoint作为访问点。同样的,跨地域的网关想要访问OSS,创建共享的时候需要勾选跨域选项,这时候选择OSS所在区域的公网endpoint。由于公网复杂多变,有时延高,带宽受限,网络抖动等诸多限制,如果要共享Bucket中的数据,用扫描Bucket对象的方式去同步元数据,是相当低效的。极速同步功能的推出,将共享从公网定期扫描云上对象的泥潭中解放出来,用增量的方式去及时获取云上数据的变化,无惧Bucket中有海量数据的事实,轻松在秒级获取最新的元数据。实验数据表明,在线下或者跨域公网访问MNS消息队列时,并发处理OSS事件消息的数量可以达到百级,除了初始的全量扫描之外,避免了后续全量扫描文件的开销,满足了大部分广域网协同共享数据的需求,具体的拓扑图如下:
nonvpc_express

小结

本文分别从同VPC多网关共享数据和线下/跨域网关通过公网共享数据这两个典型的场景分析了全量扫描同步元数据的挑战以及利用云存储网关的极速同步功能如何有效解决这个问题,极速同步让多网关间秒级同步共享,高效协同成为现实。

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
7月前
|
缓存 安全 API
【亿级数据专题】「高并发架构」盘点本年度探索对外服务的百万请求量的API网关设计实现
公司对外开放的OpenAPI-Server服务,作为核心内部系统与外部系统之间的重要通讯枢纽,每天处理数百万次的API调用、亿级别的消息推送以及TB/PB级别的数据同步。经过多年流量的持续增长,该服务体系依然稳固可靠,展现出强大的负载能力。
174 9
【亿级数据专题】「高并发架构」盘点本年度探索对外服务的百万请求量的API网关设计实现
|
2月前
|
人工智能 Cloud Native 安全
从云原生到 AI 原生,网关的发展趋势和最佳实践
本文整理自阿里云智能集团资深技术专家,云原生产品线中间件负责人谢吉宝(唐三)在云栖大会的精彩分享。讲师深入浅出的分享了软件架构演进过程中,网关所扮演的各类角色,AI 应用的流量新特征对软件架构和网关所提出的新诉求,以及基于阿里自身实践所带来的开源贡献和商业能力。
219 12
|
3月前
|
Cloud Native 关系型数据库 Serverless
基于阿里云函数计算(FC)x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践
本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。该最佳实践会指导大家基于开源WebChat组件LobeChat和阿里云函数计算(FC)构建企业生产级别LLM Chat应用。实现同一个WebChat中既可以支持自定义的Agent,也支持基于Ollama部署的开源模型场景。
572 22
|
5月前
|
物联网
好的资源链接,gitee全糖咖啡,B站视频转成mp4,全糖咖啡 / 物联网网关数据上传,,全糖咖啡 / springboot+百度智能车牌检测
好的资源链接,gitee全糖咖啡,B站视频转成mp4,全糖咖啡 / 物联网网关数据上传,,全糖咖啡 / springboot+百度智能车牌检测
|
7月前
|
负载均衡 Cloud Native 安全
云原生最佳实践系列 6:MSE 云原生网关使用 JWT 进行认证鉴权
本文档介绍了如何在 MSE(Microservices Engine)云原生网关中集成JWT进行全局认证鉴权。
1029 23
|
7月前
|
弹性计算 监控 安全
通过NAT网关和云防火墙防护私网出站流量安全的最佳实践
针对云上企业出站流量安全攻击,企业可以通过采用“NAT网关+NAT边界防火墙”方案实现出向流量有效监控保护,有效降低恶意软件攻陷风险、内部人员风险、数据泄露风险、供应链风险、出站流量合规风险等
140 3
|
10月前
|
运维 Kubernetes 应用服务中间件
Higress × OpenKruiseGame 游戏网关最佳实践
本文将演示 Higress 如何无缝对接 OKG 游戏服,并为其带来的优秀特性。
134525 11
|
7月前
|
Dubbo Cloud Native 应用服务中间件
调研 7 个开源项目后,这家数据合规平台如何构建高性能网关
调研 7 个开源项目后,这家数据合规平台如何构建高性能网关
|
Kubernetes 安全 Serverless
为什么 Higress 是 Knative 入口网关的最佳实践
Knative Serving 是一款基于 K8s 的 Serverless 开源平台,用于构建和管理现代化、可拓展、流量驱动、无服务器的应用程序。本文重点关注 Knative 网络层能力的实现。
455 21
为什么 Higress 是 Knative 入口网关的最佳实践
|
网络协议 安全 数据安全/隐私保护
云存储网关SMB共享加入AD域实践
本文通过实践展示了如何将云存储网关中SMB共享加入到AD域来搭建一个WIndow文件共享服务器,以及通过具体的权限配置,来提高文件访问安全性。
434 0