数据仓库

云原生数据仓库AnalyticDB MySQL湖仓版架降价23%！持续提供高性价比的产品服务

2023年10月31日-11月2日，云栖大会在杭州举办，阿里云正式对外发布了云原生全托管产品——“阿里云数据库 SelectDB 版”，SelectDB 是基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品，通过深度融合云随需而用的特性，构建起云原生存算分离的全新架构，面向企业海量数据的实时分析需求提供极速实时、融合统一、简单易用的云上数仓服务。

本文介绍了如何使用ClickHouse进行向量搜索。总体来说，本文通俗易懂地介绍了如何使用ClickHouse进行向量搜索，包括概念、实现、高级功能和应用示例，对使用ClickHouse进行向量搜索提供了很好的概述。

依托于阿里云瑶池数据库AnalyticDB，推出一站式AIGC解决方案

在刚刚过去的北京Doris Summit Asia 2023，玖章算术技术副总裁陈长城受邀参加并做了《NineData面向Doris实时数仓集成的技术实践》报告。

对大模型应用跃跃欲试，但奈何技术栈复杂难以下手？已经进行试水，但缺乏调优手段无法保障召回率和问答准确度？自行搭建大模型、向量检索引擎、服务API等基础组件难以运维？大模型种类繁多，但缺乏行业模型和应用模板？阿里云百炼 x AnalyticDB向量引擎推出一站式企业专属大模型开发和应用平台，像搭积木一样轻松完成企业专属大模型应用的开发，提供应用API，可一键接入企业自己的业务应用对外提供服务。

平安人寿作为保险行业领军企业，坚持技术创新，以数据业务双轮驱动的理念和更加开放的思路来应对不断增长的数据分析和应用需求；以深挖数据价值、保障业务用数效率为目标持续升级大数据产品体系。自 2022 年起平安人寿开始引入开源实时数据仓库 Apache Doris 并基于此统一 OLAP 技术栈，通过统一的数据开发与服务打破了原有系统的数据“孤岛”、降低了需求的开发成本、加速了业务需求的交付周期，并满足了业务方更高数据时效性与查询响应度的要求，最终形成更开放、灵活、可扩展的企业级管理与分析大数据产品体系，实现数据价值的最大化释放，助力企业由“粗放型”业务增长转变为“精细化”效益提升。

本文介绍了向量搜索的概念，即使用数学向量来存储和检索数据。向量可以捕捉数据的语义关系，提高搜索效率。文章还提到了向量搜索在推荐、问题回答、图像/视频搜索等方面的应用。向量搜索可以应用于文本数据、图像数据、音频数据等不同类型的数据。最后，文章总结了向量搜索的挑战和现有技术，并展望了未来的研究方向。

在全球经济增长放缓的大背景之下，企业在加强数字化建设的过程中，降本增效成为一个绕不开的话题。云原生数仓AnalyticDB MySQL湖仓版（以下简称ADB MySQL） 在发布之初提供了定时弹性功能，帮助业务有规律的客户定时升降配计算资源以节省成本。时隔一年，ADB MySQL针对用户痛点，在今年云栖大会上重磅推出Multi-Cluster弹性资源模式，它具备贴合用户负载、自动配置、性能线性提升等优点，进一步帮用户节省成本，提高计算效率。

ClickHouse具有强大的工具，可以高效地存储和处理时序数据，并可用于简单的解决方案和数据发掘，以及支持PB级的实时分析应用。

建立数据仓库的基本准则

论文提出了一个动态信息传递框架，及一个基于信息流依赖的自适应调度器，来进行执行中长查询的智能优化，有效提升查询性能

使用AnalyticDB Spark替换自建CDHSpark，助力科脉降本增效

本文以构建AIGC落地应用ChatBot和构建AI Agent为例，从代码级别详细分享AI框架LangChain、阿里云通义大模型和AnalyticDB向量引擎的开发经验和最佳实践，给大家快速落地AIGC应用提供参考。

AnalyticDB MySQL诊断监控平台则是一套全自研的、从零开始搭建的并紧密贴合分析型系统特征的诊断平台，包含数据的采集（诊断日志和监控数据）、数据缓存（削峰填谷）、清洗转换以及存储等，最终以多种服务形式提供实时的告警、监控、负载洞察、查询分析和诊断等功能。

异步爬虫实战：实际应用asyncio和aiohttp库构建异步爬虫

飞轮科技与阿里云瑶池数据库已经达成战略合作关系，飞轮科技在9月25日的线上发布会上正式发布 SelectDB 全新产品形态

湖仓一体（LakeHouse）是大数据领域的重要发展方向，提供了流批一体和湖仓结合的新场景。阿里云AnalyticDB for MySQL基于 Apache Hudi 构建了新一代的湖仓平台，提供日志、CDC等多种数据源一键入湖，在离线计算引擎融合分析等能力。本文将主要介绍AnalyticDB for MySQL基于Apache Hudi实现多表CDC全增量入湖的经验与实践。

数据仓库搭建

ClickHouse监控系统Prometheus+Grafana

ClickHouse同步MySQL数据

ClickHouse物化视图

ClickHouse快速入门

以下是ClickHouse 23.8 (LTS) 版本一些亮点功能...这次发布涵盖了向量的算术运算、tuple的连接、cluster/clusterAllReplicas的默认参数、从元数据中计数（对于Parquet来说速度提高了5倍）、文件内跳数（对Parquet有巨大提升）、从对象存储中流式消费数据，等等

上海兰姆达数据科技有限公司，基于ADB MySQL 湖仓版降本30%的数据湖最佳实践

云数据库 ClickHouse 企业版是阿里云和 ClickHouse, Inc 战略合作打造的云原生ClickHouse 产品。企业版推出专属 SharedMergeTree 云原生引擎，支持存算分离，Serverless 秒级实时弹性，集群吞吐和查询效率线性扩展及 Lightweight update 实时更新能力。本文将详细揭秘 SharedMergeTree 实现机制，实时弹性扩展实现原理，lightweight update 技术实现原理，同时对企业版和开源版进行详细的性能测试对比。

10分钟快速构建云原生数据仓库（二）

10分钟快速构建云原生数据仓库（一）

云原生数据仓库AnalyticDB MySQL版/PostgreSQL版（二）

云原生数据仓库AnalyticDB MySQL版/PostgreSQL版（一）

本案例对比了传统查询和使用向量索引执行查询的执行时间，助您体验使用向量索引查询带来的高效和快捷。

本场景介绍如何通过云原生数据仓库AnalyticDB MySQL实现多租户资源隔离的功能。

本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。

本场景介绍如何通过AnalyticDB进行学生成绩的数据可视化配置，一键生成学生成绩分布 的大屏和仪表盘，并通过任务编排按周期产出成绩报表。

云原生数据仓库AnalyticDB MySQL版具备灵活弹性的特性，可应对大量客户并发访问时的流量峰值。

AnalyticDB PostgreSQL版支持基于已有实例，快速克隆出一个完全相同的实例。

本案例介绍如何创建AnalyticDB PostgreSQL实例、生成测试数据、建表、导入数据，并跑通TPC-H查询。

本文带大家一起了解阿里云 AnalyticDB 技术负责人姚奕玮在 QCon 全球软件开发大会（北京站）2023 上的精彩演讲，解密 AnalyticDB 全自研企业级向量数据库核心技术，以及新一代向量数据库在云原生存算分离和 AI 原生上的技术演进路线。

阿里云对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云存储服务。通过和OSS团队的深入合作，AnalyticDB MySQL 的Spark能力 更好发挥了云原生数据湖方案的优势，本文为你详细解读！