阿里云瑶池数据库SelectDB_个人页

2024年09月

• 09.13 11:19:11
  发表了文章 2024-09-13 11:19:11

  查询性能提升 10 倍、存储空间节省 65%，Apache Doris 半结构化数据分析方案及典型场景

  本文我们将聚焦企业最普遍使用的 JSON 数据，分别介绍业界传统方案以及 Apache Doris 半结构化数据存储分析的三种方案，并通过图表直观展示这些方案的优势与不足。同时，结合具体应用场景，分享不同需求场景下的使用方式，帮助用户快速选择最合适的 JSON 数据存储及分析方案。

  
• 09.11 18:11:25
  发表了文章 2024-09-11 18:11:25

  阿里云数据库 SelectDB 多计算集群核心设计要点揭秘与场景应用

  在云原生存算分离架构下，多计算集群的实现从技术方案上看似乎并不存在过多难题。但从产品的角度而言，具备成熟易用的多计算集群能力且能运用于用户实际业务场景中，还有较多核心要点需要深度设计

  
• 09.11 18:06:03
  发表了文章 2024-09-11 18:06:03

  Apache Doris Flink Connector 24.0.0 版本正式发布

  该版本新增了对 Flink 1.20 的支持，并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
• 09.06 14:21:36
  发表了文章 2024-09-06 14:21:36

  兼容Trino Connector，扩展Apache Doris数据源接入能力｜Lakehouse 使用手册（四）

  通过兼容 Connector 插件，Apache Doris 能够支持 Trino/Presto 可对接的所有数据源，而无需改动 Doris 的内核代码。

  

2024年08月

• 08.29 19:06:15
  发表了文章 2024-08-29 19:06:15

  招联金融基于 Apache Doris 数仓升级：单集群 QPS 超 10w，存储成本降低 70%

  招联内部已有 40+ 个项目使用 Apache Doris ，拥有超百台集群节点，个别集群峰值 QPS 可达 10w+ 。通过应用 Doris ，招联金融在多场景中均有显著的收益，比如标签关联计算效率相较之前有 6 倍的提升，同等规模数据存储成本节省超 2/3，真正实现了降本提效。

  
• 08.22 18:48:25
  发表了文章 2024-08-22 18:48:25

  AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统，PB 数据秒级查询响应

  早期 MiniMax 基于 Grafana Loki 构建了日志系统，在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案，并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统，新系统已接入 MiniMax 内部所有业务线日志数据，数据规模为 PB 级， 整体可用性达到 99.9% 以上，10 亿级日志数据的检索速度可实现秒级响应。

  
• 08.02 17:14:53
  发表了文章 2024-08-02 17:14:53

  Apache Doris + Iceberg 快速搭建指南｜Lakehouse 使用手册（三）

  如何在 Docker 环境下快速搭建 Apache Doris + Apache Iceberg 测试 & 演示环境，并展示各功能的使用操作

  

2024年07月

• 07.25 14:44:03
  发表了文章 2024-07-25 14:44:03

  Apache Doris + Paimon 快速搭建指南｜Lakehouse 使用手册（二）

  为大家介绍 Lakehouse 使用手册（二）之 Apache Doris + Apache Paimon 搭建指南。
• 07.25 14:42:54
  发表了文章 2024-07-25 14:42:54

  Apache Doris 2.1.5 版本正式发布

  在湖仓一体、多表物化视图、半结构化数据分析等方面进行了全面更新及改进，同时在倒排索引、查询优化器、查询引擎、存储管理等 10 余方向上完成了若干问题修复
• 07.18 18:59:13
  发表了文章 2024-07-18 18:59:13

  计算效率提升 30 倍、存储资源节省 90%，雨润集团基于 Apache Doris 的统一实时数据仓库建设实践

  数字化转型的浪潮中，高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库，实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍，为智能化、高效化转型指明了方向。

  
• 07.11 14:41:51
  发表了文章 2024-07-11 14:41:51

  Apache Doris + Apache Hudi 快速搭建指南｜Lakehouse 使用手册（一）

  本文将在 Docker 环境下，为读者介绍如何快速搭建 Apache Doris + Apache Hudi 的测试及演示环境，并对各功能操作进行演示，帮助读者快速入门。

  
• 07.03 19:09:09
  发表了文章 2024-07-03 19:09:09

  从 ClickHouse 到阿里云数据库 SelectDB 内核 Apache Doris：快成物流的数智化货运应用实践

  目前已经部署在 2 套生产集群，存储数据总量达百亿规模，覆盖实时数仓、BI 多维分析、用户画像、货运轨迹信息系统等业务场景。

2024年06月

• 06.28 16:28:23
  发表了文章 2024-06-28 16:28:23

  Apache Doris 2.0.12 版本正式发布

  Apache Doris 2.0.12发布，含99项改进和修复。
• 06.28 16:26:15
  发表了文章 2024-06-28 16:26:15

  网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构

  随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张，目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次，整体查询性能得到 10-20 倍提升。

  
• 06.26 19:30:22
  发表了文章 2024-06-26 19:30:22

  阿里云数据库 SelectDB 版内核 Apache Doris 2.1.4 版本正式发布

  亲爱的社区小伙伴们，Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。
• 06.26 12:12:06
  发表了文章 2024-06-26 12:12:06

  抖音集团基于 SelectDB 内核 Apache Doris 的实时数据仓库实践

  在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资源浪费等。

  
• 06.18 18:26:49
  发表了文章 2024-06-18 18:26:49

  《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布｜立即下载

  作为基于 Apache Doris 打造的现代化数据仓库，SelectDB 不拘泥于传统数仓的限制，针对日志数据的特点引入了多项创新性技术，使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台， 截至目前已在近百家行业内知名企业中落地。

  
• 06.18 17:16:15
  发表了文章 2024-06-18 17:16:15

  基于阿里云数据库 SelectDB 版内核 Apache Doris 全新分区策略 Auto Partition 应用场景与功能详解

  自动分区的出现进一步简化了复杂场景下的 DDL 和分区表的维护工作，许多用户已经使用该功能简化了工作流程，并且极大的便利了从其他数据库系统迁移到 Doris 的工作，自动分区已成为处理大规模数据和应对高并发场景的理想选择。
• 06.06 18:41:25
  发表了文章 2024-06-06 18:41:25

  Apache Doris 2.0.11 版本正式发布

  Apache Doris 2.0.11 版本已于 2024 年 6 月 5 日正式与大家见面，该版本提交了 123 个改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。
• 06.06 16:48:37
  发表了文章 2024-06-06 16:48:37

  毫秒级查询性能优化实践！基于阿里云数据库 SelectDB 版内核：Apache Doris 在极越汽车数字化运营和营销方向的解决方案

  毫秒级查询性能优化实践！基于阿里云数据库 SelectDB 版内核：Apache Doris 在极越汽车数字化运营和营销方向的解决方案

  

2024年05月

• 05.31 18:27:08
  发表了文章 2024-05-31 18:27:08

  基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构，赋能中国联通 5G 全连接工厂解决方案

  数据是 5G 全连接工厂的核心要素，为支持全方位的数据收集、存储、分析等工作的高效进行，联通 5G 全连接工厂从典型的 Lambda 架构演进为 All in [Apache Doris](https://c.d4t.cn/vwDf8R) 的实时/离线一体化架构，并凭借 Doris 联邦查询能力打造统一查询网关，数据处理及查询链路大幅简化，为联通 5G 全连接工厂带来数据时效性、查询响应、存储成本、开发效率全方位的提升。

  
• 05.30 17:20:11
  发表了文章 2024-05-30 17:20:11

  现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜！

  现代化实时数仓 SelectDB 在时隔两年后再次完成登顶，在全部近百款数据库和数十种机型中，性能位居总榜第一！

  
• 05.23 19:32:50
  发表了文章 2024-05-23 19:32:50

  阿里云数据库 SelectDB 版全面商业化！开启现代化实时数据仓库的全新篇章

  2024 年 5 月 21 日，由阿里云联合飞轮科技共同举办的「阿里云数据库 SelectDB 版商业化产品发布会」于线上召开。阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞宣布，阿里云数据库 SelectDB 版在中国站及国际站全面发布，正式开启商业化的全新篇章！

  
• 05.22 12:11:24
  发表了文章 2024-05-22 12:11:24

  Apache Doris 2.1.3 版本正式发布

  Apache Doris 2.1.3 版本正式发布！该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新，进一步简化湖仓一体架构、加速了查询性能。 欢迎大家下载体验~
• 05.16 15:42:09
  发表了文章 2024-05-16 15:42:09

  从 Volcano 火山模型到 Pipeline 执行模型，阿里云数据库 SelectDB 内核 Apache Doris 执行模型的迭代

  一个合适的执行模型对于提高查询效率和系统性能至关重要。本文全面剖析 Apache Doris Pipeline 执行模型的设计与改造历程，并在 2.1 版本对并发执行模式与调度模式进一步优化，解决了执行并发受限、执行及调度开销大等问题。

  
• 05.11 14:21:31
  发表了文章 2024-05-11 14:21:31

  从离线到实时：无锡锡商银行基于 Apache Doris 的数据仓库演进实践

  从离线到实时：无锡锡商银行基于 Apache Doris 的数据仓库演进实践
• 05.06 11:27:04
  发表了文章 2024-05-06 11:27:04

  查询提速11倍、资源节省70%，阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践

  网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理，取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能，相比 Elasticsearch，查询速度提升至少 11 倍，存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能，优化了日志和时序数据的存储与分析，降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中，Doris 显示出显著的性能优势，成功应对了数据增长带来的挑战。

  
• 04.29 18:29:33
  发表了文章 2024-04-29 18:29:33

  阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读

  阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读

  
• 04.22 17:28:07
  发表了文章 2024-04-22 17:28:07

  手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移｜实用指南

  本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX，下载 DataX 并编写配置文件，通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能，将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC，设置 OceanBase 环境，配置 Flink 连接器，实现实时数据同步。

  
• 04.17 17:32:02
  发表了文章 2024-04-17 17:32:02

  Doris Manager 24.0 版本正式发布！

  Doris Manager 24.0，SelectDB 的 Apache Doris 集群管理工具，迎来重大更新，包括管控模式升级至安全的 Agent 模式、新增任务审计、主机监控、计算节点部署支持等。此版本已获上千企业用户认可。新特性如 Agent 与 Server 间的 HTTP 通信，提升安全性；任务审计记录操作详情；监控模块扩展主机指标；集群巡检支持定时检查。此外，Doris Manager 提供了集群部署、扩缩容、升级、参数配置、日志查看、告警和审计等一系列高效管理功能。体验新版本，请参考安装和使用手册。

  
• 04.17 17:30:20
  发表了文章 2024-04-17 17:30:20

  Apache Doris 2.1.2 版本正式发布！

  Apache Doris 2.1.2 版本正式发布！该版本提交了若干改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验！
• 04.08 18:51:13
  发表了文章 2024-04-08 18:51:13

  更高效准确的数据库内部任务调度实践，阿里云数据库SelectDB 内核 Apache Doris 内置 Job Scheduler 的实现与应用

  Apache Doris 2.1 引入了内置的 Job Scheduler，旨在解决依赖外部调度系统的问题，提供秒级精确的定时任务管理。
• 04.07 11:34:15
  发表了文章 2024-04-07 11:34:15

  Apache Doris 2.1.1 版本正式发布

  Apache Doris 2.1.1 版本正式发布
• 03.29 21:03:07
  发表了文章 2024-03-29 21:03:07

  钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离

  钱大妈基于 阿里云 SelectDB 内核 Apache Doris 搭建了实时数仓，为业务提供实时精准分析的数据查询及分析服务。凭借 Apache Doris 强大的性能，钱大妈能够实时监控生鲜产品的流通情况，为商品结构的优化和食品新鲜度的保障提供坚实的数据支撑。
• 03.26 17:06:56
  发表了文章 2024-03-26 17:06:56

  Apache Doris 支持 Arrow Flight SQL 协议，数据传输效率实现百倍飞跃

  近年来，随着数据科学、数据湖分析等场景的兴起，对数据读取和传输速度提出更高的要求。而 JDBC/ODBC 作为与数据库交互的主流标准，在应对大规模数据读取和传输时显得力不从心，无法满足高性能、低延迟等数据处理需求。为提供更高效的数据传输方案，Apache Doris 在 2.1 版本中基于 Arrow Flight SQL 协议实现了高速数据传输链路，使得数据传输性能实现百倍飞跃。
• 03.22 18:24:15
  发表了文章 2024-03-22 18:24:15

  阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布

  阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
• 03.22 18:13:53
  发表了文章 2024-03-22 18:13:53

  阿里云数据库 SelectDB 内核 Apache Doris 如何基于自增列满足高效字典编码等典型场景需求｜Deep Dive 系列

  自增列的实现，使得 Apache Doris 可以在处理大规模时展示出更高的稳定性和可靠性。通过自增列，用户能够高效进行字典编码，显著提升了字符串精确去重以及查询的性能。使用自增列作为主键来存储明细数据，可以完美的解决明细数据更新的问题。同时，基于自增列，用户可以实现高效的分页机制，轻松应对深分页场景，有效过滤掉大量非必需数据，从而减轻数据库的负载压力，为用户带来了更加流畅和高效的数据处理体验。
• 03.22 11:10:12
  发表了文章 2024-03-22 11:10:12

  阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移

  阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具， Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案，满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移。

  
• 03.18 14:47:55
  发表了文章 2024-03-18 14:47:55

  阿里云 SelectDB 携手 DTS ，一键实现 TP 数据实时入仓

  DTS 作为阿里云核心的数据交互引擎，以其高效的实时数据流处理能力和广泛的数据源兼容性，为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合，为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务，一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库，迁移或同步至阿里云数据库 SelectDB 的实例中，帮助企业在短时间内完成数据迁移或同步，并即时获得深度洞察。

  
• 03.14 13:02:02
  发表了文章 2024-03-14 13:02:02

  揭秘 Variant 数据类型：灵活应对半结构化数据，JSON查询提速超 8 倍，存储空间节省 65%

  在最新发布的阿里云数据库 SelectDB 的内核 Apache Doris 2.1 新版本中，我们引入了全新的数据类型 Variant，对半结构化数据分析能力进行了全面增强。无需提前在表结构中定义具体的列，彻底改变了 Doris 过去基于 String、JSONB 等行存类型的存储和查询方式。

  
• 03.11 18:43:53
  发表了文章 2024-03-11 18:43:53

  阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布：开箱盲测性能大幅优化，复杂查询性能提升 100%

  亲爱的社区小伙伴们，Apache Doris 2.1.0 版本已于 2024 年 3 月 8 日正式发布，新版本开箱盲测性能大幅优化，在复杂查询性能方面提升100%，新增Arrow Flight接口加速数据读取千倍，支持半结构化数据类型与分析函数。异步多表物化视图优化查询并助力仓库分层建模。引入自增列、自动分区等存储优化，提升实时写入效率。Workload Group 资源隔离强化及运行时监控功能升级，保障多负载场景下的稳定性。新版本已经上线，欢迎大家下载使用！

  
• 03.04 11:25:19
  发表了文章 2024-03-04 11:25:19

  众安保险 CDP 平台：借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛，人群圈选提速4倍

  随着业务在金融、保险和商城领域的不断扩展，众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合，这不仅导致数据分析形成数据孤岛，还带来高昂的管理及维护成本。为解决该问题，众安保险引入 Apache Doris，替换了早期复杂的技术组合，不仅降低了系统的复杂性，打破了数据孤岛，更提升了数据处理的效率。

  
• 02.26 10:56:49
  发表了文章 2024-02-26 10:56:49

  360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践

  为了提供更好的日志数据服务，360 企业安全浏览器设计了统一运维管理平台，并引入 Apache Doris 替代了 Elasticsearch，实现日志检索与报表分析架构的统一，同时依赖 Doris 优异性能，聚合分析效率呈数量级提升、存储成本下降 60%....为日志数据的可视化和价值发挥提供了坚实的基础。

  
• 01.29 14:06:58
  发表了文章 2024-01-29 14:06:58

  Apache Doris 2.0.4 版本正式发布

  亲爱的社区小伙伴们，[Apache Doris 2.0.4 ](https://doris.apache.org/download/) 版本已于 2024 年 1 月 26 日正式发布，该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新，使 Apache Doris 能够适配更广泛的场景。此外，该版本进行了若干的改进与优化，以提供更加稳定高效的性能体验。新版本已经上线，欢迎大家下载使用！
• 01.29 14:06:06
  发表了文章 2024-01-29 14:06:06

  百川终入海 ，一站式海量数据迁移工具 X2Doris 正式发布

  在这一过程中，如何将海量历史数据进行高效迁移成为用户的痛点所在。基于这一目标，我们启动了名为“百川入海”的专项开发任务，开发了**一站式海量数据迁移工具 X2Doris**，集自动建表和数据迁移于一体、提供了对 Apache Hive、ClickHouse、Apache Kudu 以及 StarRocks 等多个数据源的支持，全程界面化、可视化操作，仅通过鼠标操作即可完成大规模数据同步至 Doris 中，并提供了极速和稳定的迁移体验。在经过数个月的公开测试和近百家企业的打磨后，今天我们很高兴地宣布， **X2Doris 正式发布、面向所有社区用户免费下载使用**，数据迁移至 Apache Do

  
• 01.26 14:59:56
  发表了文章 2024-01-26 14:59:56

  文本检索性能提升 40 倍，Apache Doris 倒排索引深度解读

  如何充分利用倒排索引以及 NGram Bloom Filter 索引进行查询加速，并详细解析其工作原理与最佳实践。

  
• 01.11 11:16:07
  发表了文章 2024-01-11 11:16:07

  银联商务：阿里云数据库 SelectDB 版内核 Apache Doris 赋能“科技银商”，助力金融机构挖掘增长新机遇

  银联商务基于 Apache Doris 构建了新一代实时数据仓库架构，使数据导入性能提升 2-5 倍、ETL 场景性能提升 3-12 倍、查询分析响应速度提升 10-15 倍。
• 01.10 15:26:18
  发表了文章 2024-01-10 15:26:18

  Apache Doris 入门 10 问

  本文解答了Apache Doris 在读写流程、副本一致性机制、 存储机制、高可用机制等方面的常见疑问点，欢迎订阅。

  
• 01.10 11:51:59
  发表了文章 2024-01-10 11:51:59

  Apache Doris 聚合函数源码阅读与解析｜源码解读系列

  Apache Doris Active Contributor 隐形通过本文记录下对源码的理解，以方便新人快速上手源码开发。