# 开源大数据平台 E-MapReduce #
0
关注
1509内容
EMR Serverless Spark：结合实时计算 Flink 基于 Paimon 实现流批一体
本文演示了使用实时计算 Flink 版和 Serverless Spark 产品快速构建 Paimon 数据湖分析的流程，包括数据入湖 OSS、交互式查询，以及离线Compact。Serverless Spark完全兼容Paimon，通过内置的DLF的元数据实现了和其余云产品如实时计算Flink版的元数据互通，形成了完整的流批一体的解决方案。同时支持灵活的作业运行方式和参数配置，能够满足实时分析、生产调度等多项需求。
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程，包括数据开发和生产调度以及交互式查询等场景。
阿里云 EMR Serverless StarRocks3.x，极速统一的湖仓新范式
EMR StarRocks 线上公开课第1期 ，直播主题：EMR Serverless StarRocks3.x，极速统一的湖仓新范式。
阿里巴巴的通义千问大模型
阿里巴巴通义千问是基于Transformer的大型语言模型，预训练于多样化数据集，支持18亿至720亿参数规模。在多模态英文任务中表现出色，且具备多语言对话及图片文本识别能力。可应用于搜索引擎、问答系统和对话交互，提供智能体验。然而，模型在逻辑题和指令理解上存在不足，需在特定领域进行优化。
Paimon 与 Spark 的集成（二）：查询优化
通过一系列优化，我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%，已基本和 Parquet x Spark 持平，本文对其中的关键优化点进行了详细介绍。
1688API接口推荐：1688口令转换真实链接接口
1688平台的item_password接口用于将淘口令短链接转为商品链接。开发者需注册获取API key和secret，通过POST或GET请求接口，输入淘口令代码和参数，返回结果包含商品ID和详细链接。商品详情可进一步通过商品详情接口获取。注意遵守1688平台的规定和条款，确保合法使用API。
实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
1688API接口推荐：1688按图搜索拍立淘数据接口
1688API接口推荐：1688按图搜索拍立淘数据接口
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度，从客户的需求出发，对于阿里云EMR-Trino集群的选型，外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录，模拟客户已有的业务场景，满足客户需求的同时对过程中的问题点进行解决、记录和分析，包括但不限于Mysql、ODPS、Hive connector的配置，Hive、Delta及Hudi等不同表格式读取的兼容，aws s3、阿里云 oss协议访问异常的解决等。
EMR Notebook 开启公测，提供交互式数据分析平台
EMR Notebook 是一个 Serverless 化的交互式数据分析和探索平台，满足大数据和 AI 融合下的数据处理需求，现已开启免费公测，欢迎体验！
免费试用