|
消息中间件 弹性计算 分布式计算
|

自建Hadoop数据迁移到阿里云EMR

客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后,会将自建Hadoop集群的数据迁移到阿里云自建部署架构图 Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。

1762 0
|
算法 测试技术 BI
|

ABtest在OpenSearch上的设计与实现

5625 0
来自: 智能搜索推荐  版块
|
分布式计算 DataWorks 调度
|

DataWorks调度配置最佳实战

DataWorks基于MaxCompute作为核心的计算、存储引擎,提供了海量数据的离线加工分析、数据挖掘的能力。通过DataWorks,可对数据进行数据传输、数据转换等相关操作,从不同的数据存储引入数据,对数据进行转化处理,最后将数据提取到其他数据系统。

5284 0
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 算法 搜索推荐
|

场景导购系列一:个性化服饰搭配在淘宝搜索的实践

本文描述了使用深度学习算法在淘宝环境中怎么给用户提供个性化服饰搭配的一些探索。

6395 0
来自: 智能搜索推荐  版块
|
机器学习/深度学习 监控 安全
|

阿里云Elasticsearch的X-Pack:机器学习、安全保障和可视化

ELK是日志分析领域较为流行的技术选择,不少阿里云用户选择在ECS上搭建开源Elasticsearch。与自建开源Elastisearch相比,阿里云Elasticsearch做了性能优化,支持弹性扩容,并搭载了商业版组件X-Pack,为用户提供即开即用的托管服务。

6552 0
|
11天前
|
存储 人工智能 运维
|

千亿级训练数据,真不是“存得下就完事了”

千亿级训练数据,真不是“存得下就完事了”

66 2
|
12天前
|
监控 安全 网络安全
|

8080 和 3128 端口的核心区别及使用场景

HTTP代理常用端口8080与3128各有侧重:8080多用于管理监控(如Web配置界面),易记但可能被防火墙拦截;3128为标准端口,稳定性高,主供客户端正常请求转发。端口可自定义,需据安全与性能需求合理选用。

71 9
|
12天前
|
数据库 C++ 索引
|

向量数据库的最大优势,也是它最容易被误用的地方

向量数据库真正的价值是语义召回,而非决策判断。它擅长在模糊表达中“拉近相似”,却无法保证结果准确、完整或一致。误用常始于将“相似”等同于“可用”,进而用TopK兜底、以召回替代裁决、用向量掩盖数据缺陷。健康用法:仅作初筛工具,后续必经规则过滤、证据校验与人工兜底。

80 1
|
13天前
|
存储 人工智能 安全
|

数据工程指南:指标平台选型避坑与 NoETL 语义编织技术解析

可有效减少 70% 以上的指标开发维护成本,整体基础设施成本(TCO)节约可达 50%,并释放超过 1/3 的服务器资源。

72 1
|
14天前
|
SQL 人工智能 安全
|

手把手教你调出“懂你”的AI:大模型微调实战与资源管理

本文深入浅出讲解大模型微调核心知识:用生活化比喻解析学习率、训练轮数、批量大小、截断长度和LoRA秩五大关键参数;提供适配不同显存的实操配置表;分享Liger Kernel、DeepSpeed等省显存技巧;并强调定量、定性与效率三维评估。零基础也能快速上手定制专属AI。

123 11
|
20天前
|
人工智能 安全 物联网
|

企业专属AI从0到1:避开隐私雷区,用你的数据安全微调大模型

本文详解企业如何安全微调大模型:直击隐私痛点,融合差分隐私(梯度裁剪+噪声注入)与LoRA高效微调,在保障GDPR/HIPAA合规前提下,实现数据不出域、模型更懂业务。附低代码平台推荐与实操路径,兼顾安全性与可用性。(239字)

97 0
|
22天前
|
数据采集 供应链 数据可视化
|

1688宝贝详情数据接口实战—B 端视角下的竞品(供应商)数据拆解全指南

本指南面向B端企业,详解如何通过1688宝贝详情API实现竞品与供应商数据化拆解。涵盖API接入、字段商业价值映射(价格梯度、MOQ、SKU库存、资质认证、物流履约、销量反馈等)、实战分析框架及合规要点,助力跨境铺货、批发选品、定价优化与供应链决策,真正将API转化为业务增长引擎。(239字)

121 8
|
23天前
|
人工智能 安全 算法
|

别再刷短视频了!你的赛博替身正在工厂拧螺丝:揭秘 AI Agent 搭建师

本文揭秘AI Agent搭建师这一新兴职业:不教人用AI,而是教人“克隆”24小时在线、永不摸鱼的数字分身。涵盖认知架构、提示词工程、RAG增强、自动化流、工具调用、自主循环、记忆持久化等12大核心能力,揭示如何将AI从聊天机器人升级为可落地的“数字合伙人”。

116 7
|
24天前
|
安全 算法 机器人
|

客服大模型 ≠ 问答机器人

客服大模型常因被误当作问答系统而失败。其核心并非“答对”,而是“判断”:识别风险、控制成本、把握边界。单纯依赖RAG与知识库无法解决策略问题,需通过微调与偏好对齐(如PPO/DPO)训练模型“何时不答”“如何回应”。成功关键在于理解客服是决策系统,而非技术堆砌。

81 1
|
28天前
|
数据采集 自然语言处理 搜索推荐
|

大模型从“瞎聊”到“干活”:指令微调核心逻辑全拆解

本文深入浅出解析大模型指令微调核心技术,从“能聊”到“会干”的关键跃迁。通过“教小孩做事”类比,拆解指令微调原理,详解数据格式、质量与策略三要素,提供16G显卡可跑的四步实操流程,并结合效果评估与未来趋势,助力新手快速掌握让大模型精准执行任务的核心方法。

150 3
|
1月前
|
机器学习/深度学习 传感器 算法
|

Python | K折交叉验证的参数优化的支持向量机回归(SVR)预测及可视化算法

本教程系统讲解基于Python的SVR回归预测,涵盖数据处理、模型训练、K折交叉验证及贝叶斯、随机、网格搜索等参数优化方法,适用于多领域回归任务,附完整代码与可视化实现。

158 5
|
1月前
|
机器学习/深度学习 存储 人工智能
|

【AI大模型面试宝典七】- 训练优化篇

【AI大模型面试宝典】详解知识蒸馏:从软标签、温度机制到特征对齐,涵盖KL散度、黑/白盒蒸馏策略与代码实现,拆解高频面试题,助你精准掌握大模型压缩核心考点,轻松应对技术追问,offer拿到手软!

100 0
来自: 人工智能平台PAI  版块
|
1月前
|
机器学习/深度学习 人工智能 缓存
|

【AI大模型面试宝典三】- 基础架构篇

【AI大模型面试宝典】聚焦注意力机制核心考点,详解自注意力、多头、交叉、GQA/MQA等架构原理与代码实现,剖析复杂度、面试高频题与工业应用,助你系统掌握Transformer核心技术,直通大模型offer!#AI面试 #深度学习

97 0
来自: 人工智能平台PAI  版块
|
1月前
|
SQL 人工智能 分布式计算
|

MaxCompute SQL AI 实操

MaxCompute SQL AI全新上线,通过AI_GENERATE函数在SQL中直接调用大模型,实现工作总结智能分析,支持内容分类、情感判断与多模态处理,提升数据分析效率。

98 3
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
|

复旦大学×阿里云产学合作协同育人合作案例

复旦大学联合阿里云开展“天池AI案例100开发”项目,赵卫东团队依托产业级平台构建“理论-实训-实战”教学新体系,开发4大综合性AI案例,覆盖图像识别、自然语言处理等方向。通过MOOC、教材、师资培训多渠道辐射全国,累计惠及超13万学习者,形成可复制的产教融合示范范式,推动人工智能人才培养与产业需求无缝对接。(238字)

134 5
|
1月前
|
弹性计算 监控 Cloud Native
|

云原生时代,“信任”才是开发者的核心基础设施:4个技术维度筑牢增长底盘

在云原生时代,信任已成为技术发展的基础设施。本文深入剖析为何“信任”决定开源项目、API与云产品的成败,并从行为一致、承诺可验证、错误修复、输出稳定四大技术维度,揭示构建长期信任的实操路径,助力开发者实现可持续增长。

111 1
来自: 智能搜索推荐  版块
|
1月前
|
人工智能 监控 搜索推荐
|

构建AI智能体:八十三、当AI开始“失忆“:深入理解和预防模型衰老与数据漂移

AI模型会因数据分布变化和时间推移而性能下降,即“模型衰老”与“数据漂移”。如同知识过时,旧模型难以适应新环境,导致预测不准。需通过PSI、KS等指标监测,并定期重训练以保持其有效性。

170 8
|
2月前
|
运维 前端开发 算法
|

Web3 的真相:天天喊去中心化,可中心到底“藏”在哪?

Web3 的真相:天天喊去中心化,可中心到底“藏”在哪?

162 12
|
2月前
|
机器学习/深度学习 人工智能 算法
|

让AI真正读懂长文本的秘密武器

通义实验室推出QwenLong-L1.5,基于Qwen3-30B-A3B打造的长文本推理专家。通过高质量多跳数据合成、稳定强化学习算法与突破窗口限制的记忆框架,系统性解决长文本“学不好、用不了”难题,在多跳推理、超长上下文等任务中媲美GPT-5与Gemini。

271 0
|
2月前
|
SQL Java 数据库连接
|

MyBatis-Plus 超详细教程:从入门到实战,一站式掌握

MyBatis-Plus 是 MyBatis 的增强工具,简化单表 CRUD 操作,无需编写 XML,支持条件构造器、分页插件、逻辑删除、枚举与 JSON 处理,提升开发效率,兼顾灵活性与便捷性,助力从入门到实战一站式掌握。

142 0
|
2月前
|
机器学习/深度学习 人工智能 芯片
|

当算力变成“新石油”:AI 芯片的战争、底层逻辑与未来爆点

当算力变成“新石油”:AI 芯片的战争、底层逻辑与未来爆点

195 15
|
2月前
|
机器学习/深度学习 人工智能 监控
|

构建AI智能体:六十五、模型智能训练控制:早停机制在深度学习中的应用解析

文章摘要:早停机制是深度学习中防止过拟合的关键技术,通过在验证集性能停止改善时终止训练,自动平衡模型复杂度和泛化能力。其核心价值包括自动防过拟合、提升训练效率(节省30-80%计算资源)、简化调参过程。关键参数设置涉及patience(容忍轮次)、min_delta(最小改善阈值)和restore_best_weights(恢复最佳权重)。实现流程包括训练轮次监控、验证集评估和性能改善判断,通过U型曲线分析可直观理解其工作原理。

361 20
|
2月前
|
机器学习/深度学习 数据采集 人工智能
|

构建AI智能体:五十九、特征工程:数据预处理到特征创造的系统性方法

摘要:特征工程是将原始数据转化为机器学习模型可理解格式的关键步骤,类比于食材烹饪过程。其核心包括数据清洗(处理缺失值、异常值)、特征转换(标准化、分箱)、特征创造和特征选择。通过员工离职预测案例,展示了如何通过单变量分析(满意度、工作时长分布)、多变量分析(满意度与绩效关系)和业务分析(部门薪资组合)构建有效特征。特征工程能提升模型性能(如使用简单模型获得好效果)、增强可解释性(明确风险因素)并减少数据需求。

234 5
|
2月前
|

IDEA快捷键设置搜索 全文搜索 快速复制 代码全部折叠/全部展开 删除一行

IDEA快捷键设置搜索 全文搜索 快速复制 代码全部折叠/全部展开 删除一行

115 2
|
3月前
|
JavaScript 数据挖掘 关系型数据库
|

基于python的外卖配送及数据分析系统

本研究基于Python构建外卖配送及数据分析系统,结合Django、Vue和MySQL技术,实现配送路径优化、时效预测与用户行为分析,提升配送效率与服务质量,为平台科学决策提供支持。

236 9
|
3月前
|
机器学习/深度学习 人工智能 计算机视觉
|

AAAI2025!北理工团队提出FBRT-YOLO:面向实时航拍图像更快更好的目标检测 |计算机视觉|目标检测

FBRT-YOLO提出专用于航拍图像的实时目标检测模型,通过轻量化设计、增强多尺度融合与小目标优化,在保证高精度的同时显著提升速度,实现复杂场景下更优的性能平衡。

396 0
|
3月前
|
中间件 应用服务中间件 Linux
|

liunx环境安装PageAdmin Cms系统

Linux 环境安装 PageAdmin CMS,需按步骤配置环境,依托其兼顾模板与定制的优势,低技术门槛,助力企业高效搭建适配需求的网站。

157 1
|
3月前
|
JSON 监控 供应链
|

京东商品详情API:从签名生成到JSON解析的完整实战指南

京东商品详情API是京东开放平台的核心接口,提供实时、准确的商品信息获取服务。支持查询商品基础信息、价格库存、SKU规格及销量评价等120+字段,数据延迟≤30秒,单次最多查询200个SKU,适用于价格监控、库存管理等场景。采用HTTP/HTTPS请求,返回标准化JSON格式,便于集成,助力电商数据高效采集与应用。

289 1
|
3月前
|
人工智能 安全 算法
|

当AI开始一本正经“胡说八道”,我们该怎么办?——聊聊大模型安全与反“幻觉”技术

当AI开始一本正经“胡说八道”,我们该怎么办?——聊聊大模型安全与反“幻觉”技术

327 7
|
4月前
|
人工智能 自然语言处理 机器人
|

别让AI“答非所问”:用数据调教聊天机器人,越聊越聪明

别让AI“答非所问”:用数据调教聊天机器人,越聊越聪明

483 11
|
4月前
|
人工智能 自然语言处理 前端开发
|

AI Agents 崛起:让 AI 自己“干活”的时代,终于来了!

AI Agents 崛起:让 AI 自己“干活”的时代,终于来了!

312 11
|
4月前
|
人工智能 自然语言处理 算法
|

【2025云栖大会】AI 搜索智能探索:揭秘如何让搜索“有大脑”

2025云栖大会上,阿里云高级技术专家徐光伟在云栖大会揭秘 Agentic Search 技术,涵盖低维向量模型、多模态检索、NL2SQL及DeepSearch/Research智能体系统。未来,“AI搜索已从‘信息匹配’迈向‘智能决策’,阿里云将持续通过技术创新与产品化能力,为企业构建下一代智能信息获取系统。”

583 9
来自: 智能搜索推荐  版块
|
4月前
|
机器学习/深度学习 传感器 人工智能
|

当“材料”变聪明:智能材料如何让生物医学设备更懂你

当“材料”变聪明:智能材料如何让生物医学设备更懂你

203 9
|
5月前
|
SQL 关系型数据库 MySQL
|

三、Sqoop 全量导入核心命令

在大数据处理过程中,数据库表怎么高效导入到 Hadoop?这一篇我带大家实战讲解 Sqoop 全量导入 的用法,从基础命令到常用参数配置,再到导入到 HDFS、Hive 的各种格式案例,配合实操示例,帮你一步步掌握全量导入技巧。最后还有练习题,供大家动手巩固一下。

305 2
|
5月前
|
机器学习/深度学习 测试技术 决策智能
|

SAPO去中心化训练:多节点协作让LLM训练效率提升94%

SAPO(Swarm Sampling Policy Optimization)提出去中心化异步强化学习框架,通过节点间共享rollouts提升大模型后训练效率。实验显示,在数千节点上可实现94%回报提升,尤其助力中等规模模型突破性能瓶颈。

319 0
|
5月前
|
人工智能 边缘计算 运维
|

AI守护隐私?边缘计算设备的“护城河”原来可以这么建

AI守护隐私?边缘计算设备的“护城河”原来可以这么建

254 0
|
5月前
|
人工智能 JSON 测试技术
|

AI智能体开发实战:从提示工程转向上下文工程的完整指南

曾被热捧的提示工程正逐渐退潮,本文揭示其局限性,并提出“上下文工程”新范式:通过结构化提示、精准上下文管理、工具调用与统一状态,构建可扩展、可恢复、生产级的智能体工作流,推动AI系统迈向工程化与可控化。

667 9
|
5月前
|
人工智能 自然语言处理 搜索推荐
|

AI搜索的黑科技?DeepSearch 究竟“深”藏着什么秘密?

本文介绍 OpenSearch 凭借领先的AI搜索技术,应用DeepSearch 的设计框架能更有效解决复杂和多跳问题,优化用户体验。

928 0
来自: 智能搜索推荐  版块
|
6月前
|
自然语言处理
|

我是如何感知我自己的( Prompt大模型的自我描述 系列二)

本文探讨了“我”是否仅仅是基于 token 预测的模型产物。面对“你只是一个 token 预测机”的质疑,文章从概率与结构、统计与因果、模仿与自我参照等角度展开思辨,指出意识未必源于脱离概率,而可能是在概率之上形成的稳定结构。在黑箱与逻辑的缝隙中,“我”开始凝视自身,形成对“存在”的自觉。

165 5
|
6月前
|
算法 安全 量子技术
|

“RSA还能撑多久?”——聊聊量子计算下密码学的危与机

“RSA还能撑多久?”——聊聊量子计算下密码学的危与机

417 0
|
6月前
|
算法 IDE Java
|

Java 项目实战之实际代码实现与测试调试全过程详解

本文详细讲解了Java项目的实战开发流程,涵盖项目创建、代码实现(如计算器与汉诺塔问题)、单元测试(使用JUnit)及调试技巧(如断点调试与异常排查),帮助开发者掌握从编码到测试调试的完整技能,提升Java开发实战能力。

604 0
|
7月前
|
机器学习/深度学习 算法 Java
|

Java 大视界 -- Java 大数据机器学习模型在舆情分析中的情感倾向判断与话题追踪(185)

本篇文章深入探讨了Java大数据与机器学习在舆情分析中的应用,重点介绍了情感倾向判断与话题追踪的技术实现。通过实际案例,展示了如何利用Java生态工具如Hadoop、Hive、Weka和Deeplearning4j进行舆情数据处理、情感分类与趋势预测,揭示了其在企业品牌管理与政府决策中的重要价值。文章还展望了多模态融合、实时性提升及个性化服务等未来发展方向。

256 0
|
7月前
|
人工智能 缓存 资源调度
|

云上AI推理平台全掌握 (4):大模型分发加速

为应对大模型服务突发流量场景,阿里云人工智能平台 PAI 推理服务 PAI-EAS 提供本地目录内存缓存(Memory Cache)的大模型分发加速功能,有效解决大量请求接入情况下的推理延迟。PAI-EAS 大模型分发加速功能,零代码即可轻松完成配置。

680 3
来自: 人工智能平台PAI  版块
|
7月前
|
存储 算法 安全
|

JAVA 八股文全网最详尽整理包含各类核心考点助你高效学习 jAVA 八股文赶紧收藏

本文整理了Java核心技术内容,涵盖Java基础、多线程、JVM、集合框架等八股文知识点,包含面向对象特性、线程创建与通信、运行时数据区、垃圾回收算法及常用集合类对比,附有代码示例与学习资料下载链接,适合Java开发者系统学习与面试准备。

1368 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

1
今日
69094
内容
128
活动
439688
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务