1 前言
亚马逊云科技于 10/28/2021 开展了数据驱动创新在线大会,笔者在线收看了主题演讲直播,今天提炼了下会议精彩观点跟大家分享下,同时也提供了会议相关资料的下载链接,以飨读者。
2 会议精彩观点 - 智能湖仓/数据湖仓/湖仓一体
AWS 提出了智能湖仓的概念,这点其实跟业界最近一直倡导的数据湖仓/湖仓一体,是一致的:
- 组织需要建立一个集中式数据资源池,即“数据湖”,用于整合不同类型、形式和来源的所有数据,并通过分析获得对业务现状的整体认识。例如,我们可以整合来自网页、移动应用、店内消费等多个终端的客户数据,并在打通这些数据的关联后进行基于数据的业务创新,从而更好地为客户提供个性化内容和产品。
- 同时,根据具体工作需求,使用一系列专用数据存储和分析服务构建智能湖仓架构,便捷地以特定的方式使用数据;除此之外,与一体化决方案相比,这种使用专用构建服务的方式,成本更低,但性能更好、功能更强、规模更大。通过降低成本、提高安全性和灵活性并使用恰当的工具,组织可以为成为数据驱动型企业做好准备并在机遇出现时,及时抓住这些机遇。
数据仓库,数据湖于智能湖仓/数据湖仓/湖仓一体的概要对比如下:
在这种智能湖仓/数据湖仓/湖仓一体架构下,企业可以通过可扩展的数据湖来整合数据孤岛,对数据资产进行集中治理,在统一的数据安全护航下,将数据转化为洞察。
3 会议精彩观点 - 数据驱动战略下,企业的全栈式数据服务全景图
AWS 给出了数据驱动战略下,全栈式数据服务全景图,重点强调了,围绕着中心数据湖,和外围多种专用数据存储和分析服务,数据的移动方向有三种:
- 数据环湖运动
- 由外而内的数据移动
- 由内而外的数据移动
4 会议精彩观点 - 智能湖仓/数据湖仓/湖仓一体下,AWS对数据的摄取/存储/目录/处理/消费/安全与治理各层的解决方案
在智能湖仓/数据湖仓/湖仓一体下,AWS 围绕着数据的摄取/存储/目录/处理/消费/安全与治理,各层解决方案对应的具体组件如下: