开发者社区> 数据库> 数据仓库

数据仓库

关注

阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。

0
今日
2696
内容
13
活动
1938
关注
|
存储 SQL 关系型数据库
|

AnalyticDB PostgreSQL构建一站式实时数仓实践

本文介绍通过 AnalyticDB PostgreSQL 版基于实时物化视图,构建流批一体的一站式实时数仓解决方案,实现一套系统、一份数据、一次写入,即可在数仓内完成实时数据源头导入到实时分析全流程。

2861 5
|
SQL 存储 JSON
|

ClickHouse 23.7 版本发布说明

本文描述了部分特别值得我们重点关注的新功能。但值得注意的是,现在有几个功能已经在生产环境就绪,或处于默认启用的状态。您可以在这篇文章的末尾找到它们。

1082 0
|
存储 分布式计算 OLAP
|

AnalyticDB基于Apache Hudi构建低成本Lakehouse实践

基于低成本对象存储OSS + Apache Hudi 构建Lakehouse的挑战与实践

643 0
|
SQL 关系型数据库 MySQL
|

边锋 x AnalyticDB MySQL:打造一站式游戏数据分析平台

杭州边锋网络技术有限公司是国内领先的休闲游戏开发商、运营商、发行商。20余年来,边锋网络一直是中国棋牌游戏的开拓者和变革者。  边锋网络市场覆盖20余个省份,注册用户过亿,月活跃用户上千万,是国家级重点软件企业(一类)。公司大数据分析系统"反应堆"目前支持着包括雀神广东麻将、边锋斗地主、蜀山四川麻将、功夫川麻等10余款休闲游戏产品;

1739 6
|
存储 SQL 数据库
|

一文教你使用ClickHouse的字典(dictionary)

在本文中,我们将借此机会提示用户:字典在加速查询方面的强大作用 - 尤其是包含JOIN的查询,以及一些使用技巧。此外,本文中的所有示例都可以在我们的play.clickhouse.com环境中复现(参见 blogs 数据库)。

2799 6
|
存储 分布式计算 OLAP
|

深度干货|谈谈阿里云AnalyticDB Spark如何构建低成本数据湖分析

本文将分享AnalyticDB MySQL Spark助力构建低成本数据湖分析的最佳实践。

1270 1
|
数据挖掘 关系型数据库 MySQL
|

阿里云AnalyticDB MySQL训练营-带你玩转数据分析,畅赢耳机/充电宝等大礼

免费数仓资源、热门游戏数据集的分析体验、畅赢耳机、充电宝、卫衣等大礼!

1036 5
|
存储 JSON 算法
|

新手避坑:盘点使用ClickHouse最容易犯的12个错误

在这篇文章中,我们突出了新手用户遇到的最常见的12个问题,这些问题是由于在使用ClickHouse的过程中,不遵循最佳实践,甚至反最佳实践而导致的。对于每一个问题,我们都推荐了一个解决方案或正确的使用方法。

9096 18
|
Cloud Native 关系型数据库 数据挖掘
|

AnalyticDB PostgreSQL版7.0版本公测期间,享优先购买福利!一次性购买6个月资源,可享0.1折!

云原生向量数据库AnalyticDB PostgreSQL版全新发布7.0公测版本!版本性能较开源实现开箱5X性能提升!

393 1
|
弹性计算 API 数据库
|

大模型规模化落地,企业AIGC应用支持多个大语言模型(LLM)切换及GPU规划化管理(PAI-EAS + ADB-PG)

随着年初的ChatGPT引爆大语言模型市场, LLM的集中爆发,大部分企业已经完成了AIGC产品的调研,并进入第二阶段, 即寻求大规模落地的AIGC产品解决方案。本文介绍了如何企业规模化大语言模型落地,支持多个模型的快速使用,包括通义千问-7b,ChatGLM-6b,Llama2-7b ,Llama2-13b,百川-13b和Falcon-7b。

3155 9
|
存储 关系型数据库 MySQL
|

如何实现基于Flink的高吞吐、精确一致性数据入湖

APS(ADB Pipeline Service)简介:ADB湖仓版在深化自身湖仓能力建设的同时,还推出了APS(ADB Pipeline Service)数据通道组件,为客户提供实时数据流服务实现数据低成本、低延迟入湖入仓。本文以数据源SLS如何通过APS实现高速精确一致性入湖为例,介绍相关的挑战和解决方法。

1942 8
|
数据采集 数据可视化 数据挖掘
|

如何使用Python爬虫清洗和处理摘要的数据

如何使用Python爬虫清洗和处理摘要的数据

555 0
|
存储 监控 测试技术
|

ClickHouse中的异步数据插入

ClickHouse中的异步数据插入

1894 1
|
分布式计算 Cloud Native 大数据
|

Forrester云数仓报告:国内唯一,阿里云连续两次进入卓越表现者象限

国际权威咨询机构Forrester发布最新云数据仓库研究报告 《The Forrester Wave™: Cloud Data Warehouses, Q2 2023》,凭借产品性能和市场规模等方面的表现,阿里云连续第二次进入卓越表现者象限,是国内唯一挺进该象限的科技公司。

738 2
|
SQL Cloud Native 关系型数据库
|

找不到目标用户?云原生数仓AnalyticDB MySQL秒级圈人功能大揭秘

营销域中的洞察分析/智能圈人/经营报表等场景是OLAP分析型数据库的重要应用场景,阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL在淘宝、饿了么、菜鸟、优酷、盒马等业务的营销场景有比较长时间的积累和沉淀,我们将通过一系列文章来介绍AnalyticDB MySQL在营销域数据产品中的落地与应用,之前文章介绍了“漏斗分析”的实现与应用,本文主要介绍“秒级圈人&画像分析”的实现与应用。

46418 32
|
存储 关系型数据库 MySQL
|

一文读懂AnalyticDB MySQL过滤条件智能下推原理

在常规认知中,过滤条件肯定是推的越靠近底层越好,将尽可能多的过滤条件更贴近存储层数据源,以使查询时能跳过无关的数据,但是过滤条件下推到存储层一定会快吗?

1307 6
|
SQL 存储 算法
|

Clickhouse中支持的Join类型

此为Join探索系列的第一篇

1543 0
|
SQL 关系型数据库 MySQL
|

10倍性能提升!一文读懂AnalyticDB MySQL秒级漏斗分析函数

营销域中的洞察分析/智能圈人/经营报表等场景是OLAP分析型数据库的重要应用场景,云原生数据仓库AnalyticDB MySQL在淘宝、饿了么、菜鸟、优酷、盒马等业务的营销场景有比较长时间的积累和沉淀,我们将通过一系列文章来介绍AnalyticDB MySQL在营销域数据产品中的落地与应用,本文主要介绍“漏斗分析”的实现与应用。

48208 37
|
存储 SQL NoSQL
|

ClickHouse v23.6

• 10 new features. • 12 performance optimisations. • 31 bug fixes.

660 0
|
存储 SQL 缓存
|

技术干货|云原生数仓AnalyticDB MySQL实时存储引擎演进之路

AnalyticDB MySQL作为一款实时数仓产品,在传统数仓的能力基础上为了支持低延迟的写入、更新场景,架构上设计了实时存储引擎;用户的写入、更新会以append_only的方式写入实时存储引擎,经过compact之后构建索引以支持复杂的计算场景。

24000 7
|
存储 运维 监控
|

Redis 持久化及集群架构

本篇技术博文将深入探讨 Redis 持久化机制的原理、配置和使用方式。我们将介绍两种常用的持久化方式:RDB 持久化和 AOF 持久化。您将了解到它们的工作原理、优缺点以及如何根据需求选择合适的持久化方式。 通过深入学习 Redis 持久化及集群架构,您将能够构建稳定、可靠并具备高可用性的 Redis 存储解决方案。这有助于提升系统的性能和稳定性,确保数据安全并能够应对高并发和大规模应用的需求。

729 2
|
C语言 Windows
|

C语言驱动开发之内核解锁与强删文件

在某些时候我们的系统中会出现一些无法被正常删除的文件,如果想要强制删除则需要在驱动层面对其进行解锁后才可删掉,而所谓的解锁其实就是释放掉文件描述符(句柄表)占用,文件解锁的核心原理是通过调用ObSetHandleAttributes函数将特定句柄设置为可关闭状态,然后在调用ZwClose将其文件关闭,强制删除则是通过ObReferenceObjectByHandle在对象上提供相应的权限后直接调用ZwDeleteFile将其删除,虽此类代码较为普遍,但作为揭秘ARK工具来说也必须要将其分析并讲解一下。

149 0
|
SQL 存储 分布式计算
|

AnalyticDB MySQL带你深入浅出SQL优化器原理

SQL优化器是数据库、数据仓库、大数据等相关领域中最复杂的内核模块之一,它是影响查询性能的关键因素。比如大家熟知的开源产品 MySQL、PostgreSQL、Greenplum DB、Hive、Spark、Presto,都有自己的优化器。本文将由浅入深地带读者了解其中技术原理。

44452 34
|
SQL 运维 监控
|

Clickhouse运维之你最需要知道的SQL总结

Clickhouse运维之你最需要知道的SQL总结

1309 1
|
Cloud Native 架构师 关系型数据库
|

天弘基金引入阿里云瑶池数据库,实现百亿级数据处理和分析

天弘基金采用AnalyticDB云原生实时数据仓库后,实现了此前架构无法完成的百亿级数据实时处理与分析,逐步从数据支持业务升级到数据驱动业务

1241 3
|
人工智能 Cloud Native 关系型数据库
|

阿里云数据库国际峰会首度在印尼召开,AnalyticDB向量引擎支持定制AIGC应用

阿里云瑶池数据库面向海外市场正式升级云原生一站式数据管理与服务平台

1097 1
|
SQL 存储 缓存
|

降本增效|云原生数仓AnalyticDB MySQL的Serverless弹性技术解析

作者:李伟(花名:沐远), 云原生数据仓库AnalyticDB MySQL核心研发人员,专注于数据仓库的云原生及Serverless弹性。 通过此文带你深入了解ADB MySQL湖仓版弹性技术解密!

3257 9
|
存储 SQL 自然语言处理
|

如何使用AnalyticDB PostgreSQL 版实现“一站式全文检索”业务

本文从阿里云用户使用云原生数据仓库AnalyticDB PostgreSQL版(以下简称ADB PG)的实际体验出发,介绍ADB PG如何实现“一站式全文检索”业务,并详细阐述ADB PG使用的优势技术,最后提供对应业务案例分析。

32694 33
|
存储 SQL 分布式计算
|

AnalyticDB MySQL升级为湖仓一体架构:从湖到仓,打造云原生一站式数据分析平台

AnalyticDB MySQL湖仓版同时支持低成本离线处理和高性能在线分析,适合ETL/BI报表/交互式查询/APP应用等多场景,并可无缝替换CDH/TDH/Databricks/Presto/Spark/Hive等

26593 34
|
SQL 存储 机器学习/深度学习
|

2023 Databricks Data+AI Summit:All in AI

Databricks Data+AI Summit 7月初在旧金山召开,整个发布会看下来,最大的感受就是All in AI和All in One。

1601 3
|
存储 SQL 弹性计算
|

《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(1)

《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(1)

1063 1
|
存储 Cloud Native 前端开发
|

《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(2)

《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(2)

734 1
|
存储 Cloud Native 关系型数据库
|

《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(3)

《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(3)

766 1
|
存储 弹性计算 运维
|

《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(4)

《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(4)

725 1
|
存储 SQL Cloud Native
|

《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(5)

《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(5)

638 1
|
SQL Cloud Native 安全
|

10倍性能提升,一文读懂AnalyticDB秒级漏斗分析函数

AnalyticDB MySQL秒级漏斗分析函数助力企业简单快速研判用户增长

10973 2
|
存储 SQL 人工智能
|

用C++写出比MySQL快800倍的数据库,ClickHouse创始人:融合数据库该“卷”的还是性能和速度

ClickHouse经历了怎样的演进迭代历程?当前数据库行业面临哪些挑战?AIGC火热发展会给数据库带来哪些新机遇?

601 0
|
存储 SQL 人工智能
|

ClickHouse创始人:融合数据库该“卷”的还是性能和速度

在刚刚结束的阿里云瑶池数据库峰会上,阿里云宣布与全球流行的开源分析型数据库 ClickHouse 正式签订战略合作协议,成为 ClickHouse 在中国独家的云服务提供商,并提供具备独有企业能力的 ClickHouse 版本。借此机会,王一鹏有幸独家专访了 ClickHouse 创始人兼 CTO Alexey Milovidov、阿里云数据库事业部 OLAP 产品部负责人林亮,围绕 ClickHouse 演进迭代的历程、双方此次合作的契机、当前数据库技术所面临的挑战和机遇,以及 OLAP 数据库未来发展趋势等问题展开深度对谈。

59250 3
|
存储 SQL Cloud Native
|

一文读懂AnalyticDB MySQL过滤条件智能下推原理

AnalyticDB智能优化功能,加速用户查询,把简单交给用户

498 0
|
SQL 运维 Cloud Native
|

附白皮书下载 | 国产化数仓升级最佳实践:从Teradata迁移至AnalyticDB

内附《数据仓库升级交付标准化白皮书》

1203 0

《ClickHouse中国开发者和用户沙龙》活动现场及线上直播预约火热进行中!

ClickHouse如何帮助企业实现降本提效?在海量数据场景下ClickHouse如何落地实践?阿里云ClickHouse产品如何更好的上手及应用? 3月25日,我们不见不散!

821 0
|
存储 运维 监控
|

客户说|阿里云AnalyticDB助力诺亚财富,开启金融业数据分析新范式

云原生数据库仓库AnalyticDB助力诺亚财富数字化能力和分析能力新突破

609 1
|
Cloud Native 数据库
|

聊一聊 ClickHouse 和云原生

《数据库风向标》是一档聚焦数据库新趋势与新技术的视频栏目,节目每期会请到几位资深技术大咖,与大家共话数据库热点话题。

363 0
|
运维 Cloud Native 关系型数据库
|

今日14点开播!云原生AnalyticDB MySQL湖仓版如何支撑「DAS」高吞吐入湖和高性能查询

《数据库风向标》是一档聚焦数据库新趋势与新技术的视频栏目,节目每期会请到几位资深技术大咖,与大家共话数据库热点话题。

359 0
|
存储 分布式计算 算法
|

云原生数仓AnalyticDB如何支撑淘系十万亿级数据的实时湖仓一体分析?

数据银行是阿里官方打造的品牌商消费者运营商业数据产品。

921 1
|
存储 SQL Cloud Native
|

厚积薄发|云原生数据仓库AnalyticDB再战双11

今年的云栖大会上ADB重磅发布了湖仓版公测,帮助用户打造云原生一体化数据分析平台。

697 0
|
存储 运维 分布式计算
|

2022云栖精选—小米大数据运维管理体系的建设与实践

刘志杰 小米大数据运维负责人

2889 0
|
弹性计算 运维 监控
|

2022云栖精选—AnalyticDB MySQL 湖仓版在B站的最佳实践

陈浩 哔哩哔哩Bilibili资深数据开发专家

798 1
|
存储 Cloud Native 关系型数据库
|

阿里云PolarDB、RDS获评信通院数据库Serverless认证最高“先进级”,AnalyticDB获“增强级”

在日前中国信通院组织的数据库产品能力评测中,阿里云PolarDB for MySQL、RDS MySQL数据库顺利完成了首批事务型数据库Serverless能力分级测试,获最高“先进级”评级;AnalyticDB MySQL和AnalyticDB PostgreSQL顺利完成了首个分析型数据库Serverless能力分级测试,获评“增强级”评级。

1604 2
我要发布