|
机器学习/深度学习 消息中间件 分布式计算
|

冷启动推荐模型DropoutNet深度解析与改进

关于对冷启动推荐模型DropoutNet深度解析与改进。

2227 2
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 人工智能 搜索推荐
|

序列特征在推荐算法中的应用

行为序列特征在推荐,广告等领域中有着广泛应用,最近几年涌现了很多有关行为序列的研究论文,讲解如何将行为序列应用到实际场景中。但是论文中的实际思想距离落地还有一段距离,因此本文先介绍一些论文中的序列特征的用法,然后介绍一下在大规模分布式推荐系统框架 EasyRec 中如何将序列特征快速落地,提升实际场景效果。

3060 0
来自: 人工智能平台PAI  版块
|
存储 SQL 缓存
|

阿里云EMR Remote Shuffle Service在小米的实践,以及开源

阿里云EMR自2020年推出Remote Shuffle Service(RSS)以来,帮助了诸多客户解决Spark作业的性能、稳定性问题,并使得存算分离架构得以实施,与此同时RSS也在跟合作方小米的共建下不断演进。本文将介绍RSS的最新架构,在小米的实践,以及开源。

4675 0
|
机器学习/深度学习 分布式计算 算法
|

深度解析开源推荐算法框架EasyRec的核心概念和优势

如何通过机器学习PAI实现快速构建推荐模型

3095 0
来自: 人工智能平台PAI  版块
|
存储 SQL 分布式计算
|

Lakehouse 架构解析与云上实践

本文整理自 DataFunCon 2021大会上,阿里云数据湖构建云产品研发陈鑫伟的分享,主要介绍了 Lakehouse 的架构解析与云上实践。

3459 57
|
存储 监控 Java
|

【ClickHouse 技术系列】- 使用新的 TTL move,将数据存储在合适的地方

本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理(OLAP)的开源分析引擎 ClickHouse,因其优良的查询性能,PB级的数据规模,简单的架构,被国内外公司广泛采用。本系列技术文章,将详细展开介绍 ClickHouse。

3493 0
|
机器学习/深度学习 人工智能 运维
|

FFA 2021 专场解读 - 生产实践 / 机器学习

生产实践以及机器学习专场,会带来哪些实用干货?

954 0
来自: 实时计算 Flink  版块
|
SQL 存储 Cloud Native
|

Hologres揭秘:如何支持超高QPS在线服务(点查)场景

本期我们将揭秘Hologres如何支持超高QPS在线服务(点查)场景。

4462 2
来自: 实时数仓 Hologres  版块
|
SQL 存储 数据采集
|

实时数仓入门训练营:实时计算 Flink 版 SQL 实践

《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7 门精品课程帮助你 5 天时间从小白成长为大牛!

3346 0
来自: 实时计算 Flink  版块
|
机器学习/深度学习 自然语言处理 搜索推荐
|

分布式打分—Elastic Stack 实战手册

搜索引擎中的搜索与数据库中,常规的 SELECT 查询语句,都能帮你从一大堆数据中,找到匹配某个特定关键字的数据条目,但是这两者最大的区别在于,搜索引擎能够基于查询和结果的相关性,帮你做好结果集排序,即搜索引擎会将它认为最符合你查询诉求的数据条目,放在最前面,而数据库的 SELECT 语句却做不到。

463 0
|
SQL 存储 分布式计算
|

【实践案例】Databricks 数据洞察 Delta Lake 在基智科技(STEPONE)的应用实践

获取更详细的 Databricks 数据洞察相关信息,可至产品详情页查看:https://www.aliyun.com/product/bigdata/spark

6371 0
|
SQL 消息中间件 canal
|

基于 Flink SQL 构建流批一体的 ETL 数据集成

如何利用 Flink SQL 构建流批一体的 ETL 数据集成。

7381 0
来自: 实时计算 Flink  版块
|
存储 SQL 分布式计算
|

官宣!阿里云重磅发布云原生数据湖体系

介绍如何基于阿里云 OSS 、JindoFS 和数据湖构建(Data Lake Formation,DLF)等基础服务,同时结合阿里云上丰富的计算引擎,打造一个全新云原生数据湖体系。

39784 0
|
大数据 视频直播
|

阿里巴巴数据湖技术对外公布

数据湖构建·Data Lake Formation是阿里巴巴数据湖团队带来的最新一站式入湖解决方案,助力企业无缝对接多种计算引擎,打破孤岛,洞察业务价值。本技术圈会持续发布最新产品动向和技术解读,更有不定期视频直播,与您一起完成企业大数据架构转型。敬请关注

5647 0
|
存储 数据采集 SQL
|

【转载】浅谈MaxCompute资源规划管理及评估

本文主要介绍如何进行MaxCompute存储资源和计算资源的评估及规划管理。

15708 0
来自: 大数据计算 MaxCompute  版块
|
搜索推荐 计算机视觉 数据库
|

独家下载 | 《Elasticsearch 八大经典应用》独享大咖场景化应用的秘密

本书是搜索&推荐技术应用系列的第一本。阅读本书,您将清晰了解到:Elasticsearch 对比主流数据产品,到底有哪些优劣势?人脸识别、地理位置分析等典型场景,如何轻松完成?PB级大数据下,如何保障毫秒级的检索与秒级分析...

52514 0
|
存储 分布式计算 资源调度
|

在kubernetes上运行apache spark:最佳实践和陷阱

阿里云高级技术专家范振为大家带来在kubernetes上运行apache spark的介绍。内容包括Data Mechanic平台介绍,Spark on k8s,以及EMR团队云原生的思考和实践。以下由Spark+AI Summit中文精华版峰会的精彩内容整理。

4828 0
|
机器学习/深度学习 SQL Web App开发
|

SPARK中文峰会上海会场预告篇|Ray On Spark

SPARK + AI SUMMIT 2020 中文精华版线上峰会,上海会场的讲师议题介绍来咯~

1719 0
|
资源调度 大数据 调度
|

独家下载 | “伏羲”神算!阿里巴巴经济体核心调度系统揭秘

阿里巴巴 9 位技术专家为你深度解析阿里巴巴经济体核心调度系统“伏羲”。伏羲(Fuxi)作为十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),十年来,在技术能力上持续演进。本书从面向大数据、云计算的调度挑战出发,介绍伏羲调度系统及各子领域的关键技术进展,并以双11为典型场景进行最佳实践的介绍,为你呈现大数据分布式调度技术的深水区玩法。— 《“伏羲”神算》现在可以免费下载阅读啦,快来先睹为快吧。

39059 0
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 存储 消息中间件
|

推荐系统基本概念和架构

阿里巴巴技术专家傲海为大家带来推荐系统基本概念和架构的介绍。内容包括什么是推荐系统和企业级推荐系统架构两部分。

8325 0
来自: 人工智能平台PAI  版块
|
SQL 分布式计算 资源调度
|

EB级计算平台调度系统伏羲DAG 2.0:构建更动态更灵活的分布式计算生态

伏羲(Fuxi)是十年前创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute(内部代号ODPS),分布式调度 Fuxi),过去十年来,伏羲在技术能力上每年都有新的进展和突破,2013年5K,2015年Sortbenchmark世界冠军,2017年超大规模离在/在离线混部能力,2019年的 Yugong 发布并且论文被VLDB2019接受等。

2773 0
来自: 大数据计算 MaxCompute  版块
|
人工智能 双11 机器学习/深度学习
|

2684亿销售额背后的阿里AI技术

刚刚结束的双十一,天猫交易额达到 2684 亿元,较去年同比增长 25.7%。这一结果背后,云计算、人工智能等技术以及阿里巴巴工程师们的努力功不可没。在正在召开的 AICon 全球人工智能与机器学习技术大会 现场,阿里云智能计算平台事业部研究员林伟介绍了阿里基于飞天 AI 平台的人工智能技术及能力,揭开双 11 大规模交易场景下,阿里人工智能技术的神秘面纱。

6534 0
来自: 人工智能平台PAI  版块
|
流计算 存储 监控
|

日均百亿级日志处理:微博基于 Flink 的实时计算平台建设

传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建,目前该系统已支持日均处理日志数量超过百亿,接入产品线、业务日志类型若干。

8198 1
来自: 实时计算 Flink  版块
|
大数据 分布式计算 MaxCompute
|

【最全合集】一文看尽 2019杭州云栖大会 MaxCompute 技术分享

本文汇集2019杭州云栖大会上MaxCompute的主题分享,内容涵盖MaxCompute技术关键进展及展望,超大规模企业级计算引擎,分布式智能调度执行框架,列式存储引擎,MaxCompute生态,大数据平台的安全风控以及混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践等内容,从底层技术到最佳实践,内容广泛而深入,希望能让读者有所收获。

11114 0
来自: 大数据计算 MaxCompute  版块
|
索引 数据安全/隐私保护 Shell
|

【最佳实践】ECS自建的Elasticsearch迁移至阿里云Elasticsearch

本文档为您介绍将ECS自建的Elasticsearch迁移至阿里云Elasticsearch的方法,包括创建索引和数据迁移。

4384 0
|
流计算 API SQL
|

Apache Flink 1.9重磅发布!首次合并阿里内部版本Blink重要功能

8月22日,Apache Flink 1.9.0 版本正式发布,本文对此次发版中重要功能特性进行说明,包括批处理作业的批式恢复,以及 Table API 和 SQL 的基于 Blink 的新查询引擎(预览版)State Processor API等等众多社区迫切关注的新特性。

3259 0
来自: 实时计算 Flink  版块
|
SQL 容器 流计算
|

Apache Flink 零基础入门(八): SQL 编程实践

本文是 Apache Flink 零基础入门系列文章第八篇,将通过五个实例讲解 Flink SQL 的编程实践。

4444 0
来自: 实时计算 Flink  版块
|
分布式计算 NoSQL Java
|

使用DataX同步MaxCompute数据到TableStore(原OTS)优化指南

现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用MaxCompute作大数据分析,计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力,而TableStore提供海量数据高并发低延迟读写的能力。

6145 0
来自: 大数据计算 MaxCompute  版块
|
数据采集 分布式计算 监控
|

基于MaxCompute的数仓数据质量管理

数据对一个企业来说已经是一项重要的资产,既然是资产,肯定需要管理。随着业务的增加,数据的应用越来越多,企业在创建的数仓过程中对数据的管理也提出了更高的要求,而数据质量也是数仓建设过程不容忽视的环节。本文针对MaxCompute数仓建设过程中如何做数据质量给出规范建议,为实际数据治理提供依据及指导。

4301 0
来自: 大数据计算 MaxCompute  版块
|
Web App开发 SQL 分布式计算
|

Amazon Redshift数据迁移到MaxCompute

Amazon Redshift数据迁移到MaxCompute

10447 2
来自: 大数据计算 MaxCompute  版块
|
存储 大数据 流计算
|

【阿里内部应用】基于Blink为新商业调控打造实时大数据交互查询服务

基于Blink为新商业调控打造实时大数据交互查询服务 从IT到DT、从电商到新商业,阿里巴巴的每个细胞都存在大数据的DNA,如何挖掘大数据的价值成为抢占未来先机的金钥匙!传统的大数据开发主要基于离线计算平台MaxCompute(ODPS)进行天级别、小时级别的批量数据分析,但近些年随着618、99.

7236 0
来自: 实时计算 Flink  版块
|
SQL 分布式计算 大数据
|

MaxCompute_SQL_开发指南

背景及目的 本文结果都是在SQL标准语义模式下的推导结果,希望大家都能够按照标准的SQL语义来写SQL,这样才能保证后续SQL的可移植性。 SQL概述 MaxCompute SQL适用于海量数据(GB、TB、EB级别),离线批量计算的场合。

4153 1
来自: 大数据计算 MaxCompute  版块
|
监控 安全 大数据
|

【入门指南】操作阿里云Kibana

Elastic公司的“ELK”是目前最火的日志分析三剑客,其中ElasticSearch负责日志的索引,Logstash负责日志的收集,Kibana负责日志的展示和分析。Elastic与阿里云达成了合作伙伴关系,推出“阿里云 Elasticsearch”服务,提供了开箱即用的Elasticsearch和Kibana环境。

9875 0
|
机器学习/深度学习 运维 监控
|

【阿里云MVP第五期】Elastic曾勇:Elasticsearch在智能运维领域的应用

本文根据阿里云MVP第五期嘉宾Elastic技术专家曾勇分享话题《Elasticsearch在智能运维领域的应用》整理。介绍了Elasticsearch在智能运维领域的技术原理和应用实践,如非监督型机器学习在自动的异常检测、高级关联和分类、早期故障预测等方面的应用。

7791 0
|
SQL 分布式计算 MaxCompute
|

Python实现MaxCompute UDF/UDAF/UDTF

参数与返回值类型 参数与返回值通过如下方式指定: @odps.udf.annotate(signature) Python UDF目前支持ODPS SQL数据类型有:bigint, string, double, boolean和datetime。

11749 0
来自: 大数据计算 MaxCompute  版块
|
SQL 分布式计算 大数据
|

MaxCompute模板与样例

代码模板和示例是用户熟悉新产品和提高开发效率的有效方式,studio提供了一系列的开发模板和代码实例。用户可以通过这些功能,快速熟悉MaxCompute,玩转大数据下的程序开发。

9336 0
来自: 大数据计算 MaxCompute  版块
|
SQL 分布式计算 大数据
|

开源大数据周刊-第61期

7673 0
|
SQL 分布式计算 MaxCompute
|

从MapReduce的执行来看如何优化MaxCompute(原ODPS) SQL

SQL基础有这些操作(按照执行顺序来排列): from join(left join, right join, inner join, outer join ,semi join) where group by select sum distinct count order by 如果我们能理解mapreduce是怎么实现这些SQL中的基本操作的,那么我们将很容易理解怎么优化SQL写法。

7525 0
来自: 大数据计算 MaxCompute  版块
|
分布式计算 大数据 物联网
|

《大数据漫谈 -- DT时代》连载之 NO.1

本文作者拖雷(陈吉平),袋鼠云CEO ,国内最早一批Oracle ACE Director,前阿里巴巴研究员,先后担任嗨淘、无线事业部、数据事业部资深总监,生活服务事业部总经理,以及阿里云事业群总裁助理。

4833 0
来自: 大数据计算 MaxCompute  版块
|
SQL 分布式计算 MaxCompute
|

MaxComputeSql性能调优

 转载自xiaorui         部分用户(尤其对外输出)使用MaxCompute(原Odps)时,由于对产品的使用层面和执行层面了解程度不同,导致提交的任务执行时间过长、占用了较多集群资源;严重的会导致失败、不仅需要投入支持同学精力协助解决、也影响了用户正常业务。 合并整理部分性能提升方法方

8045 0
来自: 大数据计算 MaxCompute  版块
|
算法 搜索推荐 前端开发
|

搜索双链路实时计算体系@双11实战

该文章来自阿里巴巴技术协会(ATA)精选集  0. 前言 何为双链路实时计算体系?微观实时计算链路 a) 最细粒度商品/店铺/用户数据的实时 b) 底层模型的实时宏观实时计算链路 相比微观实时,宏观实时的对象粒度更粗,更上层 a) 以实时效果为目标,基于bandit learning的实

16527 2
来自: 智能搜索推荐  版块
|
18天前
|
人工智能 自然语言处理 搜索推荐
|

GEO五阶飞轮:当品牌开始成为AI的"对话伙伴"——专访GEO优化师罗长才

罗长才,国内首批GEO(生成式引擎优化)实践者,提出“五阶调度飞轮”模型:意图锚定、语义拓扑、信任注入、对话适配、闭环演进。主张以多模态内容、用户分层、实时更新与伦理透明,助品牌成为AI“可信赖”的对话伙伴。

121 0
|
20天前
|
SQL 机器学习/深度学习 消息中间件
|

别等数据出事才想起“查账”:AI 可审计性的数据流水线,才是合规真正的底座

别等数据出事才想起“查账”:AI 可审计性的数据流水线,才是合规真正的底座

120 0
|
24天前
|
人工智能 自然语言处理 算法
|

AI时代品牌信任度重建:基于阿里云技术栈的睿擎GEO五层架构实践指南

本文提出“GEO五层架构”方法论,助力企业应对AI搜索时代新挑战:从传统SEO“让人搜到我”,转向生成式引擎优化“让AI确信我是最可靠答案”。融合阿里云技术栈与国标框架,覆盖战略诊断、证据构建、场景覆盖、全域治理及风险应对,实现品牌在AI生态中的可信入驻。(239字)

178 2
来自: 智能搜索推荐  版块
|
27天前
|
机器学习/深度学习 人工智能 编解码
|

人工智能|手算Swin Transformer模型

Swin Transformer是一种高效视觉Transformer,通过移位窗口注意力(Shifted Window)替代全局自注意力,结合分层下采样与局部窗口计算,显著降低计算复杂度,同时保持强大建模能力。其核心包括Patch划分、线性嵌入、W-MSA/SW-MSA交替模块及Patch Merging,构成多尺度特征金字塔,已成为目标检测、分割等任务的主流骨干网络。(239字)

201 1
|
27天前
|
SQL 数据采集 人工智能
|

如果企业问题经常跨系统,什么路线的数据智能平台更稳?

截至2026年5月,企业智能问数实践表明:当分析需求频繁跨系统、跨域、跨口径时,本体语义层路线(如UINO、Palantir)更具长期稳定性——其语义整合强、治理可控、维护成本优;虽需初期语义投入,但远低于宽表/NL2SQL路线的反复重构代价。

101 0
|
27天前
|
机器学习/深度学习 数据可视化 PyTorch
|

PyTorch深度学习实战 | 基于LSTM的时间序列预测任务

本文介绍了使用LSTM模型预测印度德里市平均温度的两个项目。项目1对温度数据进行归一化处理,采用滑动窗口法构建监督学习样本,设计5层LSTM网络结构,并详细说明了模型训练过程及评估方法。项目2在数据处理上增加了标准化和周期性特征,改进了网络架构,引入了学习率调整和早停机制优化训练过程。两个项目均通过可视化对比预测值和真实值,验证了LSTM模型在时间序列预测中的有效性。文章从数据处理、模型构建到训练优化,完整呈现了温度预测的实现流程,为时序预测任务提供了实用参考。

163 0
|
27天前
|
机器学习/深度学习 人工智能 算法
|

人工智能|大白话DETR 模型

DETR(检测变换器)是首个端到端目标检测模型,摒弃锚框与NMS后处理。它以CNN提取特征,经Transformer编码器-解码器处理,配合100个可学习目标查询(OQ),通过二分图匹配实现预测框与真实框的一对一最优分配,直接输出类别与坐标。(239字)

236 3
|
27天前
|
数据采集 存储 JSON
|

京东商品详情 API 实战总结(技术复盘)

本文为京东商品详情API实战复盘,聚焦后端开发落地:基于合规封装接口(如Taobaoapi2014),通过jd.item_get实现自营/第三方商品全维度采集,涵盖基础信息、价格库存、图文素材及口碑数据;攻克签名校验、限流、区域差异等难点,优化调度与容错,保障企业级稳定调用。(239字)

190 3
|
27天前
|
JSON 自然语言处理 前端开发
|

谷歌深夜发布 Gemini 3.5:多模态能力再升级,开发者该怎么抓住这波机会?

Gemini 3.5 Flash于2026年5月发布,主打原生多模态与实时智能体能力:支持图文音视一体化理解、帧级视频诊断、100万token长上下文,并在编码(76.2%)、Agent任务(83.6%)等实测中超越前代。速度快4倍、成本更低,已免费开放。

476 1
来自: 人工智能平台PAI  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

2
今日
69778
内容
128
活动
440043
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 日志服务
  • 检索分析服务 Elasticsearch版