Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台
本文整理自 Lazada Group EVP 及供应链技术负责人陈立群在 Flink Forward Asia 2025 新加坡实时分析专场的分享。作为东南亚领先的电商平台，Lazada 面临在六国管理数十亿商品 SKU 的挑战。为实现毫秒级数据驱动决策，Lazada 基于阿里云实时计算 Flink 和 Hologres 打造端到端实时商品选品平台，支撑日常运营与大促期间分钟级响应。本文深入解析该平台如何通过流式处理与实时分析技术重构电商数据架构，实现从“事后分析”到“事中调控”的跃迁。
Fluss：重新定义实时数据分析与 AI 时代的流式存储
Apache Fluss（孵化中）是新一代流式存储系统，旨在解决传统架构中数据重复复制、高成本与复杂性等问题。它基于 Apache Arrow 构建，支持列式存储、实时更新与高效查询，融合流处理与湖仓架构优势，适用于实时分析、AI 与多模态数据场景。Fluss 提供统一读写、冷热分层与开放生态，已在阿里巴巴大规模落地，助力企业实现低成本、高效率的实时数据处理。
单机与分布式：社交媒体热点采集的实践经验
在舆情监控与数据分析中，单机脚本适合小规模采集如微博热榜，而小红书等大规模、高时效性需求则需分布式架构。通过Redis队列、代理IP与多节点协作，可提升采集效率与稳定性，适应数据规模与变化速度。架构选择应根据实际需求，兼顾扩展性与维护成本。
初始kafka
Kafka因高吞吐量被广泛使用，适合处理大量用户行为数据，支持实时推荐和数据展示。其优势包括提升响应速度、故障隔离、低耦合、流量削峰等。但也有架构复杂、依赖Broker等缺点。为避免消息丢失，可通过同步/异步发送、重试机制、设置ACK确认级别、副本机制及手动提交offset等方式保障消息可靠性。
