灵杰开发者_个人页

2024年09月

• 09.19 18:15:51
  发表了文章 2024-09-19 18:15:51

  Apache Flink 流批融合技术介绍

  本文源自阿里云高级研发工程师周云峰在Apache Asia Community OverCode 2024的分享，内容涵盖从“流批一体”到“流批融合”的演进、技术解决方案及社区进展。流批一体已在API、算子和引擎层面实现统一，但用户仍需手动配置作业模式。流批融合旨在通过动态调整优化策略，自动适应不同场景需求。文章详细介绍了如何通过量化指标（如isProcessingBacklog和isInsertOnly）实现这一目标，并展示了针对不同场景的具体优化措施。此外，还概述了社区当前进展及未来规划，包括将优化方案推向Flink社区、动态调整算子流程结构等。

  
• 09.13 18:16:04
  发表了文章 2024-09-13 18:16:04

  饿了么基于Flink+Paimon+StarRocks的实时湖仓探索

  饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构，随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据，但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统，提升了数据一致性和研发效率，但仍面临新业务适应性等问题。最终，饿了么选择Paimon和StarRocks作为实时湖仓方案，显著降低了存储成本并提高了系统稳定性。未来，将进一步优化带宽瓶颈、小文件问题及权限控制，实现更多场景的应用。

  
• 09.13 16:12:10
  发表了文章 2024-09-13 16:12:10

  Text-to-SQL技术演进 - 阿里云OpenSearch-SQL在BIRD榜单夺冠方法剖析

  本文介绍了Text-to-SQL的技术演进，并对OpenSearch-SQL方法进行剖析。
• 09.12 17:42:25
  发表了文章 2024-09-12 17:42:25

  Flink全新周边正式上线！议题征集正在进行中！

  Flink Forward Asia 2024 将于 11 月 29 日至 30 日在上海举办，现正征集议题。参与者可通过官网或二维码提交议题或报名参会，享受早鸟优惠，并有机会获得精美周边。这是了解 Flink 最新动态、分享生产实践经验及交流技术成果的重要平台。议题涵盖流式湖仓、流批一体、Data+AI 等多个方向，欢迎开发者和数据领域从业者踊跃参与，共襄行业盛会！

  
• 09.05 18:02:19
  发表了文章 2024-09-05 18:02:19

  Flink Forward Asia 2024 议题征集令｜探索实时计算新边界

  Flink Forward Asia 2024 将于11月29日至30日在上海举行，现公开征集议题。作为Apache Flink社区的重要年度活动，大会旨在汇集行业最佳实践和技术动态。议题覆盖流式湖仓、流批一体、Al大模型、生产实践等方向，并特别关注 Apache Paimon 和 Flink CDC 等社区项目。所有议题将由专业委员会筛选，确保高质量内容。欢迎开发者及数据专业人士提交议题或参与报名，共享技术盛宴。

  
• 09.04 18:23:17
  发表了文章 2024-09-04 18:23:17

  Flink CDC 在货拉拉的落地与实践

  陈政羽在Apache Asia Community Over Code 2024上分享了《货拉拉在Flink CDC生产实践落地》。文章介绍了货拉拉业务背景、技术选型及其在实时数据采集中的挑战与解决方案，详细阐述了Flink CDC的技术优势及在稳定性、兼容性等方面的应用成果。通过实际案例展示了Flink CDC在提升数据采集效率、降低延迟等方面的显著成效，并展望了未来发展方向。

  

2024年08月

• 08.29 18:16:40
  发表了文章 2024-08-29 18:16:40

  用实时计算释放当下企业大数据潜能

  本文整理自阿里云高级产品解决方案架构师王启华（敖北）老师在 Flink Forward Asia 2023 中闭门会的分享。

  
• 08.28 09:55:12
  发表了文章 2024-08-28 09:55:12

  Flink CDC 在新能源制造业的实践

  本文撰写自某新能源企业的研发工程师 单葛尧 老师。本文详细介绍该新能源企业的大数据平台中 CDC 技术架构选型和 Flink CDC 的最佳实践。

  
• 08.23 14:47:05
  发表了文章 2024-08-23 14:47:05

  对接开源大模型应用开发平台最佳实践

  本文介绍如何使用OpenSearch LLM智能问答版对接大模型应用开发平台构建RAG系统。

  
• 08.23 10:24:53
  发表了文章 2024-08-23 10:24:53

  成本最高可降40%！揭秘DataWorks资源组的Serverless进化之路

  阿里云DataWorks为数据仓库/数据湖/湖仓一体等解决方案提供智能一站式开发治理平台能力。其中在资源组Serverless化方面，DataWorks实现了重大突破，不仅提高了资源利用率与灵活性，还降低了成本。DataWorks通过升级资源组管理模式，解决了传统资源组存在的复杂计费、资源利用率低等问题。Serverless资源组实现了资源的自动管理和分配，确保任务调度效率，并通过统一资源配额管理实现资源的高效利用和平滑扩缩。此外，容器运行时技术保障了数据和任务的安全隔离。Serverless资源组具备通用性强、付费形式灵活、支持运行中扩缩容等优势，有效提升了用户体验与安全性。

  
• 08.22 16:30:17
  发表了文章 2024-08-22 16:30:17

  Apache Paimon V0.9最新进展

  Apache Paimon V0.9 版本即将发布，此版本带来了多项新特性并解决了关键挑战。Paimon自2022年从Flink社区诞生以来迅速成长，已成为Apache顶级项目，并广泛应用于阿里集团内外的多家企业。

  
• 08.21 14:24:55
  发表了文章 2024-08-21 14:24:55

  阿里云Elasticsearch AI搜索实践

  本文介绍了阿里云 Elasticsearch 在AI 搜索方面的技术实践与探索。
• 08.16 10:11:04
  发表了文章 2024-08-16 10:11:04

  RAG效果优化：高质量文档解析详解

  本文介绍了如何通过高质量的文档解析提升RAG系统整体的效果。
• 08.15 15:57:04
  发表了文章 2024-08-15 15:57:04

  动手实践：高效构建企业级AI搜索

  本文介绍了基于阿里云 Elasticsearch的AI搜索产品能力、业务价值、场景应用，以及搭建演示等。
• 08.09 16:39:08
  发表了文章 2024-08-09 16:39:08

  Elasticsearch 8 RAG 技术分享

  本文介绍了Elasticsearch 8 在RAG场景方面的发展历程、技术演进、未来发展方向和产品能力。
• 08.09 14:20:56
  发表了文章 2024-08-09 14:20:56

  基于RAG搭建企业级知识库在线问答

  本文介绍如何使用搜索开发工作台快速搭建基于RAG开发链路的知识库问答应用。
• 08.08 15:43:15
  发表了文章 2024-08-08 15:43:15

  畅捷通基于Flink的实时数仓落地实践

  本文整理自畅捷通总架构师、阿里云MVP专家郑芸老师在 Flink Forward Asia 2023 中闭门会上的分享。

  
• 08.06 14:55:29
  发表了文章 2024-08-06 14:55:29

  阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别

  国际数据公司（IDC）首度发布《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》，阿里云荣登领导者地位。报告评估了13家厂商，涵盖互联网、云服务及大数据领域。阿里云凭借其在实时湖仓领域的创新能力，特别是Apache Paimon及与Flink的集成，实现了高效流批处理和AI增强功能，为企业提供了一体化的湖仓解决方案，支持多种数据管理和AI应用场景，展现出了强大的市场领导力和技术实力。
• 08.02 17:20:50
  发表了文章 2024-08-02 17:20:50

  官宣｜Apache Flink 1.20 发布公告

  Apache Flink 1.20.0 已发布，这是迈向 Flink 2.0 的最后一个小版本，后者预计年底发布。此版本包含多项改进和新功能，涉及 13 个 FLIPs 和 300 多个问题解决。亮点包括引入物化表简化 ETL 管道开发，统一检查点文件合并机制减轻文件系统压力，以及 SQL 语法增强如支持 `DISTRIBUTED BY` 语句。此外，还进行了大量的配置项清理工作，为 Flink 2.0 铺平道路。这一版本得益于 142 位贡献者的共同努力，其中包括来自中国多家知名企业的开发者。

  

2024年07月

• 07.31 14:51:05
  发表了文章 2024-07-31 14:51:05

  阿里云Elasticsearch 企业级AI搜索方案发布

  本文从AI搜索落地的挑战、阿里云在RAG场景的实践、效果提升三个方面，深度解读阿里云Elasticsearch 企业级AI搜索方案。
• 07.31 14:30:41
  发表了文章 2024-07-31 14:30:41

  OSS数据源一站式RAG最佳实践

  本文介绍了如何使用OpenSearch LLM智能问答版通过OSS数据源一站式构建RAG系统。
• 07.30 16:27:01
  发表了文章 2024-07-30 16:27:01

  阿里云实时计算Flink在多行业的应用和实践

  本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践，对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术，并且提供一些在技术架构上的参考建议。

  
• 07.25 18:07:26
  发表了文章 2024-07-25 18:07:26

  活动预告｜8月3日 Streaming Lakehouse Meetup · Online 与你相约！

  Apache Paimon & StarRocks, 强强联合, 打造极速湖仓解决方案。8月3日14:00, 大咖云集, 包括Apache Paimon PMC, 阿里云, 饿了么等, 分享最佳实践与技术原理。预约直播, 不容错过!

  
• 07.25 14:21:03
  发表了文章 2024-07-25 14:21:03

  解锁数据洞察：通过 DataWorks 获得深度数据分析

  DataWorks提供了一种全新的数据洞察功能，通过深度数据分析和可视化，为您的业务决策提供有力支持。了解更多如何利用AI技术解析复杂数据。

  
• 07.25 10:08:59
  发表了文章 2024-07-25 10:08:59

  享受成本分析自由，体验账单数据订阅及查询分析功能

  使用DataWorks进行账单数据订阅和查询分析，您可以有效地管理和可视化您的阿里云消费数据。本指南提供了详细步骤和示例，帮助您快速入门实现账单数据的高效分析。

  
• 07.24 16:13:51
  发表了文章 2024-07-24 16:13:51

  阿里云Elasticsearch AI场景语义搜索最佳实践

  本文介绍了如何使用阿里云Elasticsearch结合搜索开发工作台搭建AI语义搜索。
• 07.23 14:32:02
  发表了文章 2024-07-23 14:32:02

  流模式vs批模式：你选对了吗？

  本文由阿里云 Flink 团队刘文聪老师在撰写。文章分析了 Flink 的流批模式在不同维度存在的特点与差异，帮助开发者朋友们更好地理解 Flink 的流批模式。

  
• 07.22 16:16:54
  发表了文章 2024-07-22 16:16:54

  多模态RAG：三步构建图文并茂的智能问答、电商导购助手

  本文介绍了如何使用OpenSearch LLM智能问答版，三步搭建一站式多模态RAG系统。
• 07.19 11:42:32
  发表了文章 2024-07-19 11:42:32

  参与开源大数据Workshop·杭州站，共探企业湖仓演进实践

  Apache Flink 诚邀您参加 7 月 27 日在杭州举办的阿里云开源大数据 Workshop，了解流式湖仓、湖仓一体架构的最近演进方向，共探企业云上湖仓实践案例。

  
• 07.18 17:14:48
  发表了文章 2024-07-18 17:14:48

  玳数科技集成 Flink CDC 3.0 的实践

  本文投稿自玳数科技工程师杨槐老师，介绍了 Flink CDC 3.0 与 ChunJun 框架在玳数科技的集成实践。

  
• 07.17 15:17:43
  发表了文章 2024-07-17 15:17:43

  解读阿里云搜索开发工作台如何快速搭建AI语义搜索及RAG链路

  本文介绍阿里云搜索开发工作台如何通过内置数据处理、查询分析、排序、效果测评、大模型等服务，结合阿里云搜索引擎及开源引擎，灵活打造AI语义搜索及RAG链路。
• 07.16 17:37:46
  发表了文章 2024-07-16 17:37:46

  Apache Paimon 在蚂蚁的应用

  本文整理自 Apache Paimon Committer 闵文俊老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享。Apache Paimon 是一种实时数据湖格式，设计用于流批一体处理，支持实时更新和OLAP查询。它采用LSM Tree结构，提供多种Changelog Producer和Merge Engine，支持高效的数据合并。Paimon适用于流读、批读及时间旅行查询，与多种查询引擎兼容。在蚂蚁集团的应用中，Paimon降低了资源开销，提升了查询性能，简化了研发流程，特别是在去重、核对场景和离线查询加速方面表现突出。

  
• 07.11 18:21:39
  发表了文章 2024-07-11 18:21:39

  Flink CDC：基于 Apache Flink 的流式数据集成框架

  本文整理自阿里云 Flink SQL 团队研发工程师于喜千（yux）在 SECon 全球软件工程技术大会中数据集成专场沙龙的分享。

  
• 07.09 17:05:55
  发表了文章 2024-07-09 17:05:55

  Flink+Paimon在阿里云大数据云原生运维数仓的实践

  构建实时云原生运维数仓以提升大数据集群的运维能力，采用 Flink+Paimon 方案，解决资源审计、拓扑及趋势分析需求。

  
• 07.09 15:08:50
  发表了文章 2024-07-09 15:08:50

  Elastic & 阿里云邀您参加 AI 搜索 Tech Day

  探索AI搜索未来，7月27日一同见证AI搜索新篇章

  
• 07.09 14:17:14
  发表了文章 2024-07-09 14:17:14

  通过云上数据库三步构建RAG系统

  本文介绍了如何使用OpenSearch LLM智能问答版通过云上数据库一站式构建RAG系统。
• 07.04 18:00:06
  发表了文章 2024-07-04 18:00:06

  【邀请函】相约CommunityOverCode Asia 2024，共探Flink、Paimon、Celeborn开源新境界！

  相约 CommunityOverCode Asia 2024，共探 Flink、Paimon、Celeborn 开源新境界！让我们在技术的浩瀚星海中，携手航行，共创辉煌！

  
• 07.04 15:47:03
  发表了文章 2024-07-04 15:47:03

  DataWorks Copilot：大模型时代数据开发的新范式

  阿里云DataWorks是一站式数据开发治理平台，支持多种大数据引擎，助力企业构建数据仓库、湖仓一体架构。DataWorks现推出Copilot，致力于打造智能SQL助手和AI Agent，通过生成SQL、优化SQL、提供查询帮助、注释生成、错误修正等功能，帮助数据开发工程师和数据分析师提升SQL 开发和分析的效率和体验。目前，DataWorks Copilot正开放邀测，欢迎大家体验。
• 07.02 18:30:23
  发表了文章 2024-07-02 18:30:23

  探索 Apache Paimon 在阿里智能引擎的应用场景

  本文整理自Apache Yarn && Flink Contributor，阿里巴巴智能引擎事业部技术专家王伟骏（鸿历）老师在 5月16日 Streaming Lakehouse Meetup · Online 上的分享。

  

2024年06月

• 06.28 11:40:22
  发表了文章 2024-06-28 11:40:22

  DataFunCon 2024·北京站｜Apache Paimon 实时湖仓存储底座

  阿里云开源大数据表存储负责人李劲松老师，7 月 6 日 15:30-16:10 “实时洞察，湖仓之力”论坛将带来主题为《Apache Paimon 实时湖仓存储底座》的精彩内容。

  
• 06.26 17:46:37
  发表了文章 2024-06-26 17:46:37

  Paimon 在汽车之家的业务实践

  本文分享自汽车之家的王刚、范文、李乾⽼师。介绍了汽车之家基于 Paimon 的一些实践，和一些背景。

  
• 06.24 17:29:43
  发表了文章 2024-06-24 17:29:43

  贝壳找房基于Flink+Paimon进行全量数据实时分组排序的实践

  本文投稿自贝壳家装数仓团队，在结合家装业务场景下所探索出的一种基于 Flink+Paimon 的排序方案。这种方案可以在实时环境对全量数据进行准确的分组排序，同时减少对内存资源的消耗。在这一方案中，引入了“事件时间分段”的概念，以避免 Flink State 中冗余数据对排序结果的干扰，在保证排序结果准确性的同时，减少了对内存的消耗。并且基于数据湖组件 Paimon 的聚合模型和 Audit Log 数据在数据湖内构建了拉链表，为排序结果提供了灵活的历史数据基础。

  
• 06.18 17:17:17
  发表了文章 2024-06-18 17:17:17

  Apache Paimon统一大数据湖存储底座

  Apache Paimon，始于Flink Table Store，发展为独立的Apache顶级项目，专注流式数据湖存储。它提供统一存储底座，支持流、批、OLAP，优化了CDC入湖、流式链路构建和极速OLAP查询。Paimon社区快速增长，集成Flink、Spark等计算引擎，阿里巴巴在内部广泛应用，旨在打造统一湖存储，打通Serverless Flink、MaxCompute等，欢迎大家扫码参与体验阿里云上的 Flink+Paimon 的流批一体服务。

  
• 06.13 17:59:44
  发表了文章 2024-06-13 17:59:44

  Flink 流批一体场景应用及落地情况

  本文由阿里云 Flink 团队苏轩楠老师撰写，旨在介绍 Flink 流批一体在几个常见场景下的应用。

  
• 06.13 11:36:33
  发表了文章 2024-06-13 11:36:33

  DataWorks重磅推出Serverless资源组，实现低成本灵活付费和动态平滑扩缩容

  DataWorks资源组2.0上线，提供低成本、动态扩缩容的数据计算资源服务。

  
• 06.11 17:23:50
  发表了文章 2024-06-11 17:23:50

  湖仓一体全面开启实时化时代

  本文整理自阿里云开源大数据平台负责人王峰（莫问）老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享，主要介绍在新一代湖仓架构上如何进行实时化大数据分析。

  
• 06.06 18:06:24
  发表了文章 2024-06-06 18:06:24

  Flink⼤状态作业调优实践指南：状态报错与启停慢篇

  本文整理自俞航翔、陈婧敏、黄鹏程老师所撰写的大状态作业调优实践指南。由于内容丰富，本文分享终篇状态报错与启停慢篇.