《数据虚拟化:商务智能系统的数据架构与管理》一 1.11 数据集成的其他方式

简介: 本节书摘来自华章出版社《数据虚拟化:商务智能系统的数据架构与管理》一 书中的第1章,第1.11节,作者:[荷]里克 F. 范德兰斯(Rick F. van der Lans),更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.11 数据集成的其他方式

使用数据虚拟化可以集成数据,但是这并不是集成来自不同数据存储中数据的唯一方式。正如1.4节所讲,存在不同的技术方法来集成数据,包括ETL、ELT和复制。本节会简要解释这些其他方式,更多信息参见2.7节。
ETL(提取-转换-装载)是数据集成的一种方式,它在数据仓库环境中被大量使用。使用ETL,集成化可以通过从多个源数据存储中复制数据来实现,通过将集成的、转换的结果存储在独立的目标数据存储中来实现。保留集成化数据需要后者。目标数据存储可能是数据使用者正在访问的数据存储(如图1-10所示)。因为目标数据存储中的所有数据都是以某种方式从源数据存储中的数据导出的,所以它也被称为派生数据存储。

screenshot

在复制过程中,数据被结合、转换和清洗。通常这个复制过程是预先安排好的。在确定的时间间隔内,新数据从数据源里被提取出来,集成并存储到派生数据存储中。如果数据虚拟化提供按需集成,那么ETL提供预定好的集成。
ELT(提取-装载-转换)从某种程度上来讲是ETL的一种特殊版本。通过ELT,数据仍然是被拷贝到一个派生的数据存储里并且转换也是预定好的。ETL和ELT的主要区别是动作执行的顺序。在ETL中,在派生数据存储中的数据已经被转换和清洗。在ELT中,提取的数据首先被存储在派生数据存储中,随后被转换和清洗,这导致了存储的第二种形式(如图1-11所示)。从某种程度上来讲,所有数据都被存储两遍。
第三种数据集成方法叫作复制。鉴于ETL和ELT,复制过程是预先安排好的,并且分批传送数据,当源数据已经被插入或现存数据已经被更新或删除,复制就开始了。实际上,就在这个改变发生之后,数据就会被复制到一个目标数据存储中。所以数据不是被分批复制的,而是或多或少地作为独立记录或小组记录。通常,复制只需要几微秒。
因为通过复制,拷贝就发生在源数据被改变之后,并且因为拷贝进程本身的速度是非常快的(只有一些记录),目标数据存储中的数据有一个非常低的接近于最新的延时。
复制通常被归类为一种数据集成技术,但这实际上可能不正确。尽管一些数据复制技术可以从多个数据源中复制并集成数据,但这不是它的强项。换句话说,复制与其说是一种数据集成技术,不如说是一种具有有限集成和转换特征的快速数据拷贝技术。实际上,复制的强项是拷贝数据的速度和保持目标数据存储中数据与源数据存储中数据同步的能力。

screenshot

相关文章
|
4月前
|
机器学习/深度学习 存储 人工智能
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
本文将深入分析这两种编码架构的技术原理、数学基础、实现流程以及各自的优势与局限性,并探讨混合架构的应用策略。
326 10
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
|
4月前
|
存储 人工智能 分布式计算
数据不用搬,AI直接炼!阿里云AnalyticDB AI数据湖仓一站式融合AI+BI
阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版(以下简称ADB)诞生于高性能实时数仓时代,实现了PB级结构化数据的高效处理和分析。在前几年,为拥抱大数据的浪潮,ADB从传统数仓拓展到数据湖仓,支持Paimon/Iceberg/Delta Lake/Hudi湖格式,为开放的数据湖提供数据库级别的性能、可靠性和管理能力,从而更好地服务以SQL为核心的大规模数据处理和BI分析,奠定了坚实的湖仓一体基础。
|
9月前
|
人工智能 自然语言处理 数据可视化
大模型+BI:一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期
随着大模型技术突破,全球企业迎来数据智能革命。Gartner预测,到2027年,中国80%的企业将采用多模型生成式AI策略。然而,数据孤岛与高门槛仍阻碍价值释放。
380 8
大模型+BI:一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期
|
8月前
|
运维 监控 数据可视化
产品测评 | 大模型时代下全场景数据消费平台的智能BI—Quick BI深度解析
Quick BI是阿里云旗下的全场景数据消费平台,助力企业实现数据驱动决策。用户可通过连接多种数据源(如本地文件、数据库等)进行数据分析,并借助智能小Q助手以对话形式查询数据或搭建报表。平台支持数据可视化、模板快速构建视图等功能,但目前存在不支持JSON格式文件、部分功能灵活性不足等问题。整体而言,Quick BI在数据分析与展示上表现出强大能力,适合业务类数据处理,未来可在智能化及运维场景支持上进一步优化。
|
9月前
|
SQL 人工智能 自然语言处理
颠覆传统BI认知:Quick BI如何用“傻瓜式”操作重塑数据决策?
Quick BI是阿里云推出的一款零代码+AI数据分析工具,专为业务人员设计。通过简洁的界面和强大的功能,它让数据“开口说话”。从Excel秒变智能资产,到拖拽式构建高定看板,再到自然语言查询与预测分析,菜鸟也能轻松上手。企业微信集成、移动端优化等功能,助力实时决策。Quick BI打破技术壁垒,推动数据民主化,让每个岗位都能用业务语言对话数据,实现真正的数据驱动转型。
|
9月前
|
数据可视化 数据挖掘 BI
基于烟草零售商订单数据的Quick BI体验报告
Quick BI旨在通过智能的数据分析和可视化能力帮助企业构建高效的分析系统。在我初步了解该产品后,发现它不仅支持创建美观的仪表板、复杂的电子表格以及动态大屏,还能够无缝集成到现有的业务流程中,极大地提升了工作效率。尤其对于需要频繁展示数据分析结果给管理层或客户的场景来说,Quick BI提供了一个便捷且专业的解决方案。
|
10月前
|
人工智能 BI 自然语言处理
【瓴羊数据荟】 共话AI×Data的企业应用进化,瓴羊「数据荟」MeetUp城市行上海场顺利收官!
瓴羊「数据荟」Meet Up城市行系列活动第四期活动将于3月7日在上海举办,由中国信息通信研究院与阿里巴巴瓴羊专家联袂呈现,共同探讨AI时代的数据应用实践与企业智能DNA的革命性重构。
428 0
【瓴羊数据荟】  共话AI×Data的企业应用进化,瓴羊「数据荟」MeetUp城市行上海场顺利收官!
|
12月前
|
存储 JavaScript 开发工具
基于HarmonyOS 5.0(NEXT)与SpringCloud架构的跨平台应用开发与服务集成研究【实战】
本次的.HarmonyOS Next ,ArkTS语言,HarmonyOS的元服务和DevEco Studio 开发工具,为开发者提供了构建现代化、轻量化、高性能应用的便捷方式。这些技术和工具将帮助开发者更好地适应未来的智能设备和服务提供方式。
基于HarmonyOS 5.0(NEXT)与SpringCloud架构的跨平台应用开发与服务集成研究【实战】
|
9月前
|
数据可视化 数据挖掘 BI
Quick BI评测报告:从IT开发视角评测“全场景数据消费式BI平台”
Quick BI评测报告:从IT开发视角评测“全场景数据消费式BI平台”
330 0
|
供应链 监控 安全
基于Quick BI的多部门组织下的数据共享及管理方案
本文介绍了企业在使用Quick BI时面临的数据共享与安全控制需求,涵盖技术、财务、销售等部门的具体挑战,并提出了基于角色组授权、工作空间隔离、行级权限管理等解决方案,确保数据既能高效共享又能安全可控。
502 5
基于Quick BI的多部门组织下的数据共享及管理方案

热门文章

最新文章