# 实时计算 Flink版 #
1
关注
33186内容
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构，随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据，但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统，提升了数据一致性和研发效率，但仍面临新业务适应性等问题。最终，饿了么选择Paimon和StarRocks作为实时湖仓方案，显著降低了存储成本并提高了系统稳定性。未来，将进一步优化带宽瓶颈、小文件问题及权限控制，实现更多场景的应用。
Flink全新周边正式上线！议题征集正在进行中！
Flink Forward Asia 2024 将于 11 月 29 日至 30 日在上海举办，现正征集议题。参与者可通过官网或二维码提交议题或报名参会，享受早鸟优惠，并有机会获得精美周边。这是了解 Flink 最新动态、分享生产实践经验及交流技术成果的重要平台。议题涵盖流式湖仓、流批一体、Data+AI 等多个方向，欢迎开发者和数据领域从业者踊跃参与，共襄行业盛会！
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持，并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
Flink实践：通过Flink SQL进行SFTP文件的读写操作
虽然 Apache Flink 与 SFTP 之间的直接交互存在一定的限制，但通过一些创造性的方法和技术，我们仍然可以有效地实现对 SFTP 文件的读写操作。这既展现了 Flink 在处理复杂数据场景中的强大能力，也体现了软件工程中常见的问题解决思路——即通过现有工具和一定的间接方法来克服技术障碍。通过这种方式，Flink SQL 成为了处理各种数据源，包括 SFTP 文件，在内的强大工具。
奇迹降临！解锁 Flink SQL 简单高效的终极秘籍，开启数据处理的传奇之旅！
【9月更文挑战第7天】在大数据处理领域，Flink SQL 因其强大功能与简洁语法成为开发者首选。本文分享了编写高效 Flink SQL 的实用技巧：理解数据特征及业务需求；灵活运用窗口函数（如 TUMBLE 和 HOP）；优化连接操作，优先采用等值连接；合理选择数据类型以减少计算资源消耗。结合实际案例（如实时电商数据分析），并通过定期性能测试与调优，助力开发者在大数据处理中更得心应手，挖掘更多价值信息。
揭秘数据脱敏神器：Flink SQL的神秘力量，守护你的数据宝藏！
【9月更文挑战第7天】在大数据时代，数据管理和处理尤为重要，尤其在保障数据安全与隐私方面。本文探讨如何利用Flink SQL实现数据脱敏，为实时数据处理提供有效的隐私保护方案。数据脱敏涉及在处理、存储或传输前对敏感数据进行加密、遮蔽或替换，以遵守数据保护法规（如GDPR）。Flink SQL通过内置函数和表达式支持这一过程。
大数据&AI产品月刊【2024年8月】
大数据& AI 产品技术月刊【2024年8月】，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据& AI 方面最新动态。
Flink Forward Asia 2024 议题征集令｜探索实时计算新边界
Flink Forward Asia 2024 将于11月29日至30日在上海举行，现公开征集议题。作为Apache Flink社区的重要年度活动，大会旨在汇集行业最佳实践和技术动态。议题覆盖流式湖仓、流批一体、Al大模型、生产实践等方向，并特别关注 Apache Paimon 和 Flink CDC 等社区项目。所有议题将由专业委员会筛选，确保高质量内容。欢迎开发者及数据专业人士提交议题或参与报名，共享技术盛宴。
Flink CDC 在货拉拉的落地与实践
陈政羽在Apache Asia Community Over Code 2024上分享了《货拉拉在Flink CDC生产实践落地》。文章介绍了货拉拉业务背景、技术选型及其在实时数据采集中的挑战与解决方案，详细阐述了Flink CDC的技术优势及在稳定性、兼容性等方面的应用成果。通过实际案例展示了Flink CDC在提升数据采集效率、降低延迟等方面的显著成效，并展望了未来发展方向。
阿里云 EMR StarRocks 在七猫的应用和实践
本文整理自七猫资深大数据架构师蒋乾老师在 《阿里云 x StarRocks：极速湖仓第二季—上海站》的分享。
免费试用