背靠中台实现基于大数据驱动的国际化电商架构(二)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 一、背景 老生常谈国际化的技术挑战: 1)国际电商面临的是全球消费者,天然延时大; 2)面临国际互联互通的网络质量问题; 3)国际电商技术还将面临如何快速应对合规、政策等问题; 4)需要发展本地化业务来补足消费者需求,而本地化将面临与全球各地的第三方Service Provider对接; 5)全球范围内的灾备; 6)全球数据一致性; 7)竞争环境及很多的不确定性,需要我们快速迭代试错 这些挑战需要我们用智能高效的技术解决方案。

一、背景

老生常谈国际化的技术挑战:
1)国际电商面临的是全球消费者,天然延时大;
2)面临国际互联互通的网络质量问题;
3)国际电商技术还将面临如何快速应对合规、政策等问题;
4)需要发展本地化业务来补足消费者需求,而本地化将面临与全球各地的第三方Service Provider对接;
5)全球范围内的灾备;
6)全球数据一致性;
7)竞争环境及很多的不确定性,需要我们快速迭代试错

这些挑战需要我们用智能高效的技术解决方案。另外我们又是一个基于微服务的较轻量级的技术体系,我们容易做架构上的调整。因此我们坚定的基于大数据驱动更加智能的基础技术体系,实现高性能,高可用,高效率,实现合规问题解决方案。未来也将实现有竞争力的低成本!

二、技术方案介绍

2.1 数据视角架构

屏幕快照 2016-12-08 下午5.43.50.png
架构方面不论是稳定性,还是性能,还是成本效率,依赖的数据甚至体系都是一致的。比如Latency变长会导致PV下降,最终会引起订单下跌引起故障。因此上图中心思想就是让数据流到一起,再按不同的主题进行加工,落地到不同的工具中去做架构的治理优化,这样可以发挥数据规模优势,也让数据相互依赖发挥整合优势。

2.2 基础设施视角架构

屏幕快照 2017-05-10 下午4.44.24.png

从基础设施视角分为两种内容,三段处理。三段是指:
1)边缘节点,一般 是指CDN提供的服务,负责静态内容缓存加速;
2)GTR Service(Global Traffic Routing Service),指全球流量路由服务,它的职责是将需要回到IDC的请求从客户端转发到源端。需要回到IDC的请求包含静态内容的回源和动态内容的请求两部分。GTR Service详细请参考后续章节;
3)IDC是指我们的网站部署所在地。提供动态内容和静态内容的源。

两种内容是指:
1)静态内容,指图片或静态的样式文件或JS文件。一般边缘节点的缓存直接返回,若更新经过GTR Service去IDC中获取;
2)动态内容,这一部分内容的提供是由IDC提供,但是请求是通过GTR Service转发。

区域化部署架构解决了IDC端的问题,GTR Service基于实时大数据按需排列组合以提供最好的性能及可用性,此外,我们还将探索在POP点或CDN的NetStorage上缓存数据以获得更好的性能,并在双十一等高峰期缓解源站压力。更多详情仔细看图或阅读文章后续章节

2.3 多租户视角架构

屏幕快照 2017-05-10 下午4.45.09.png

这里的多租户是指所有的国际业务都是一个租户。所有国际业务面临的技术挑战都是一样的,AE在这方面有经验积累。
尤其是在基础技术方面,用于解决性能,稳定,效率,成本,合规等问题。这些方面一般是业务属性无关的,也是所有国际业务必须面临的问题,我们随时准备用这些基础技术能力支撑多租户。
具体的基础技术包含两方面:
1)区域化部署相关的核心服务:GTR Service,Service Routing Service,Data Routing and Replication Service, Global Failover Service。这些服务基本可以解决国际化的主要技术挑战,包含合规问题
2)基于大数据驱动的基础技术工具:性能工具,SRE工具,未来的成本工具,效率工具。这些工具也是与区域化部署体系和基础设施架构紧密相关的,业务必性无关的,也可以用于服务多租户。性能相关的AGP已经在多个业务中使用。

2.4 各子模块介绍

1)区域化部署相关的四个服务已经构建完成
2)GTR Service: 通过大数据实时监控和实时决策能力,对CDN动态加速,POP节点,IDC进行排列组合,找到最适合某一类用户最合适的网络访问链路,为用户提供最好的性能,在容灾时也可以为用户提供更好的。GTR Service可以按需独立提供对外服务
3)大数据驱动的SRE构建中
4)大数据驱动性能优化构建中

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
20天前
|
运维 监控 负载均衡
动态服务管理平台:驱动微服务架构的高效引擎
动态服务管理平台:驱动微服务架构的高效引擎
22 0
|
29天前
|
大数据
【赵渝强老师】大数据主从架构的单点故障
大数据体系架构中,核心组件采用主从架构,存在单点故障问题。为提高系统可用性,需实现高可用(HA)架构,通常借助ZooKeeper来实现。ZooKeeper提供配置维护、分布式同步等功能,确保集群稳定运行。下图展示了基于ZooKeeper的HDFS HA架构。
|
2月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
123 1
|
2月前
|
存储 分布式计算 大数据
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
63 3
|
29天前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
115 3
【赵渝强老师】基于大数据组件的平台架构
|
2月前
|
消息中间件 监控 NoSQL
驱动系统架构
【10月更文挑战第29天】
30 2
|
2月前
|
SQL 存储 分布式计算
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
37 9
|
2月前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
129 1
|
2月前
|
存储 分布式计算 druid
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
65 3
|
2月前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化