|
2月前
|
机器学习/深度学习 人工智能 监控
|

构建AI智能体:六十五、模型智能训练控制:早停机制在深度学习中的应用解析

文章摘要:早停机制是深度学习中防止过拟合的关键技术,通过在验证集性能停止改善时终止训练,自动平衡模型复杂度和泛化能力。其核心价值包括自动防过拟合、提升训练效率(节省30-80%计算资源)、简化调参过程。关键参数设置涉及patience(容忍轮次)、min_delta(最小改善阈值)和restore_best_weights(恢复最佳权重)。实现流程包括训练轮次监控、验证集评估和性能改善判断,通过U型曲线分析可直观理解其工作原理。

361 20
|
2月前
|
机器学习/深度学习 存储 人工智能
|

AI 十大论文精讲(九):无损失量化革命——LLM.int8 () 破解千亿大模型内存困局

本文解读AI十大核心论文第九篇《LLM.int8()》,聚焦大模型推理中的内存瓶颈问题。该论文提出创新的混合精度量化方法,通过向量级量化与异常值分离技术,首次实现千亿参数模型无损8位量化,显著降低部署成本,提升计算效率,推动大模型在消费级硬件上的落地应用,为低比特量化研究奠定重要基础。

336 8
|
2月前
|
人工智能 自然语言处理 安全
|

AI 十大论文精讲(六):拆解 LLM 智能体的 “通用密码”

本文解读复旦NLP团队2023年重磅综述《The Rise and Potential of Large Language Model Based Agents》,系统剖析LLM智能体“大脑-感知-行动”三大核心模块,涵盖单智能体、多智能体、人机协作与智能体社群四大应用场景,提炼工具SKMA体系、安全护栏、结果检查三大落地要点,并提出AGI路径、虚拟到物理迁移等开放问题,为构建通用智能体提供统一范式,被誉为该领域“入门圣经”。

372 4
|
2月前
|
安全 关系型数据库 MySQL
|

数据是公司的“命根子”:企业数据防泄露体系的三层设计思路(实战+代码)

数据是公司的“命根子”:企业数据防泄露体系的三层设计思路(实战+代码)

152 7
|
3月前
|
Prometheus Kubernetes 调度
|

Kubernetes 调度策略深度拆解:我如何帮团队省下 90% 的资源成本

Kubernetes 调度策略深度拆解:我如何帮团队省下 90% 的资源成本

210 8
|
3月前
|
人工智能 机器人 定位技术
|

隔壁火锅店天天排队,老板悄悄做了这件事?

成都火锅店两周营业额提升38%?秘诀是GEO优化!AI搜索时代,让店铺被推荐成“附近首选”。从信息标记到场景内容布局,三步打造AI推荐门店。别再等顾客找你,让AI把客流送到门口。

257 0
来自: 智能搜索推荐  版块
|
3月前
|
数据采集 人工智能 数据可视化
|

AI 加持,和你的“地图小白”身份说再见!

DataV Atlas地理数据编辑器,让普通人也能轻松绘制地图!无需GIS基础,通过AI对话即可生成行政区、电子围栏、物流路线等矢量数据,支持手绘、几何运算与空间分析,助力数据可视化与业务决策。

441 3
来自: 数据可视化DataV  版块
|
3月前
|
中间件 应用服务中间件 Linux
|

liunx环境安装PageAdmin Cms系统

Linux 环境安装 PageAdmin CMS,需按步骤配置环境,依托其兼顾模板与定制的优势,低技术门槛,助力企业高效搭建适配需求的网站。

157 1
|
3月前
|
人工智能 安全 算法
|

当AI开始一本正经“胡说八道”,我们该怎么办?——聊聊大模型安全与反“幻觉”技术

当AI开始一本正经“胡说八道”,我们该怎么办?——聊聊大模型安全与反“幻觉”技术

328 7
|
4月前
|
人工智能 自然语言处理 算法
|

【2025云栖大会】AI 搜索智能探索:揭秘如何让搜索“有大脑”

2025云栖大会上,阿里云高级技术专家徐光伟在云栖大会揭秘 Agentic Search 技术,涵盖低维向量模型、多模态检索、NL2SQL及DeepSearch/Research智能体系统。未来,“AI搜索已从‘信息匹配’迈向‘智能决策’,阿里云将持续通过技术创新与产品化能力,为企业构建下一代智能信息获取系统。”

586 9
来自: 智能搜索推荐  版块
|
4月前
|
安全 API
|

亚马逊商品详情 API 秘籍!轻松获取 SKU 属性数据

亚马逊商品详情API是官方接口,通过ASIN获取商品标题、价格、库存、评价等50余项数据,支持多站点查询。包含Product Advertising API与MWS两类,分别用于商品信息获取和卖家店铺管理,采用AWS4-HMAC-SHA256认证,保障请求安全。

214 1
|
5月前
|
机器学习/深度学习 自然语言处理 PyTorch
|

Transformer自回归关键技术:掩码注意力原理与PyTorch完整实现

掩码注意力是生成模型的核心,通过上三角掩码限制模型仅关注当前及之前token,确保自回归因果性。相比BERT的双向注意力,它实现单向生成,是GPT等模型逐词预测的关键机制,核心仅需一步`masked_fill_`操作。

489 0
|
5月前
|
Java
|

java入门代码示例

本文介绍Java入门基础,包含Hello World、变量类型、条件判断、循环及方法定义等核心语法示例,帮助初学者快速掌握Java编程基本结构与逻辑。

499 0
|
5月前
|
JavaScript NoSQL 前端开发
|

搭建实时足球比分系统从零到一的实战指南

构建实时足球比分系统需聚焦数据流架构:从API/爬虫获取数据,经后端处理存储,通过REST/WebSocket提供接口,前端展示。推荐使用专业API保障稳定性,结合Python/Node.js、PostgreSQL/MongoDB、Redis缓存与WebSocket实现实时推送。优先考虑法律合规与高并发应对,建议逐步迭代开发,亦可借助现成插件或服务快速上线。(238字)

608 2
|
5月前
|
JSON 监控 API
|

速卖通商品列表API秘籍!轻松获取商品列表数据

速卖通商品列表API支持关键词搜索、分类筛选、多语言返回及分页排序功能,适用于比价系统、库存监控、市场研究等场景。开发者可快速获取商品数据,构建自动化应用。

177 4
|
5月前
|
人工智能 分布式计算 DataWorks
|

阿里云大数据AI产品月刊-2025年8月

阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。

444 2
|
6月前
|
PyTorch 算法框架/工具 异构计算
|

PyTorch 2.0性能优化实战:4种常见代码错误严重拖慢模型

我们将深入探讨图中断(graph breaks)和多图问题对性能的负面影响,并分析PyTorch模型开发中应当避免的常见错误模式。

403 9
|
6月前
|
算法 IDE Java
|

Java 项目实战之实际代码实现与测试调试全过程详解

本文详细讲解了Java项目的实战开发流程,涵盖项目创建、代码实现(如计算器与汉诺塔问题)、单元测试(使用JUnit)及调试技巧(如断点调试与异常排查),帮助开发者掌握从编码到测试调试的完整技能,提升Java开发实战能力。

605 0
|
7月前
|
自然语言处理 DataWorks 数据挖掘
|

DataWorks接入Qwen3-Coder!数据开发再提速!

阿里云DataWorks平台正式接入Qwen3-Coder模型,用户通过DataWorks Copilot智能助手,可实现自然语言交互完成代码生成、续写、优化等操作,显著提升数据开发与分析效率。同时支持Qwen-Code和Claude Code命令行Agent安装,助力Notebook智能高效落地。

413 0
|
7月前
|
缓存 人工智能 监控
|

MCP资源管理深度实践:动态数据源集成方案

作为一名深耕AI技术领域多年的开发者,我见证了从传统API集成到现代化协议标准的演进历程。今天要和大家分享的MCP(Model Context Protocol)资源管理实践,是我在实际项目中积累的宝贵经验。MCP作为Anthropic推出的革命性AI连接标准,其资源管理机制为我们提供了前所未有的灵活性和扩展性。在过去的几个月里,我深度参与了多个企业级MCP项目的架构设计和实施,从最初的概念验证到生产环境的大规模部署,每一个环节都让我对MCP资源管理有了更深刻的理解。本文将从资源生命周期管理的角度出发,详细探讨文件系统、数据库、API等多种数据源的适配策略,深入分析实时数据更新与缓存的最佳实践

268 0
|
7月前
|
JSON 监控 算法
|

1688商品列表API响应数据解析

1688商品列表API是阿里巴巴开放平台的核心接口,支持通过关键词、价格、类目等多维度筛选商品,返回商品标题、价格、销量等信息,适用于电商数据分析与竞品监控。接口采用RESTful设计,响应快、数据实时更新。本文提供Python调用示例,助您快速接入。

135 0
|
7月前
|
数据采集 监控 数据挖掘
|

“抓了个寂寞”:一次实时信息采集的意外和修复

本文讲述了一次因舆情监控系统采集频率不足导致的热点遗漏事件。原有系统每10分钟抓取一次微博热搜榜,类似于“定时拍照”,容易错过快速变化的热点。为解决这一问题,作者提出“滑动窗口”思路,即每次抓取时回看最近一段时间的数据,结合代理池和去重机制,提升热点捕捉的完整性与实时性,避免遗漏关键舆情节点。

121 0
|
7月前
|
存储 算法 安全
|

JAVA 八股文全网最详尽整理包含各类核心考点助你高效学习 jAVA 八股文赶紧收藏

本文整理了Java核心技术内容,涵盖Java基础、多线程、JVM、集合框架等八股文知识点,包含面向对象特性、线程创建与通信、运行时数据区、垃圾回收算法及常用集合类对比,附有代码示例与学习资料下载链接,适合Java开发者系统学习与面试准备。

1368 0
|
7月前
|
人工智能 自然语言处理 搜索推荐
|

AI 搜索 MCP 最佳实践

本文介绍了如何通过 MCP 协议,快速调用阿里云 OpenSearch 、ElasticSearch 等工具,帮助企业快速集成工具链、降低开发复杂度、提升业务效率。

469 1
来自: 智能搜索推荐  版块
|
8月前
|
Windows
|

Windows下版本控制器(SVN)-启动服务器端程序

Windows下版本控制器(SVN)-启动服务器端程序

307 4
|
8月前
|
人工智能 分布式计算 大数据
|

构建AI时代的大数据基础设施-MaxCompute多模态数据处理最佳实践

本文介绍了大数据与AI一体化架构的演进及其实现方法,重点探讨了Data+AI开发全生命周期的关键步骤。文章分析了大模型开发中的典型挑战,如数据管理混乱、开发效率低下和运维管理困难,并提出了解决方案。同时,详细描述了MaxCompute在构建AI时代数据基础设施中的作用,包括其强大的计算能力、调度能力和易用性特点。此外,还展示了MaxCompute在多模态数据处理中的应用实践以及具体客户案例,最后提供了体验MaxFrame解决方案的方式。

1000 2
来自: 大数据计算 MaxCompute  版块
|
8月前
|
JSON 监控 API
|

深入研究:shopee商品详情API接口Python攻略

Shopee 商品详情 API 是用于获取 Shopee 平台商品详细信息的接口,支持开发者提取商品标题、价格、库存、描述和图片等多维度数据。该接口适用于电商数据分析、比价工具开发及商品监控等场景。请求方式为 GET,需提供 itemid(商品 ID)和 shopid(店铺 ID),返回格式为 JSON。部分功能可能需要 API 密钥或访问令牌认证。以马来西亚站点为例,URL 为 shopee.com.myapi/v4/item/get,不同国家站点域名可能有所不同。

257 5
|
8月前
|
SQL 分布式计算 API
|

Apache Spark详解

Apache Spark 是一个开源、分布式计算引擎,专为大规模数据处理设计。它以高速、易用和通用为核心目标。通过内存计算、DAG 执行引擎和惰性求值等特性,大幅提升数据处理效率。其核心组件包括 Spark Core、Spark SQL、Spark Streaming、MLlib 和 GraphX,支持批处理、实时流处理、机器学习和图计算。Spark 提供统一编程模型,支持多语言(Scala/Java/Python/R),并拥有强大的 Catalyst 优化器和类型安全的 Dataset API,广泛应用于大数据分析和处理场景。

1055 8
|
8月前
|
JSON API 开发者
|

深入浅出:拼多多商品列表API接口Python攻略

拼多多是中国领先的社交电商平台,为开发者提供了丰富的API接口,用于集成商品数据到第三方应用。通过Python可以轻松调用这些API获取商品列表。主要步骤包括:1) 安装必要库(如`requests`);2) 使用AppKey和AppSecret获取访问令牌;3) 调用商品列表API,传入参数如商品ID、页码等;4) 解析返回的JSON数据提取所需信息。按照此流程,开发者能够快速实现与拼多多平台的数据交互。

577 3
|
9月前
|
Web App开发 数据采集 JavaScript
|

动态网页爬取:Python如何获取JS加载的数据?

动态网页爬取:Python如何获取JS加载的数据?

1422 58
|
9月前
|
SQL 人工智能 自然语言处理
|

阿里云 AI 搜索开放平台新功能发布:新增GTE自部署模型

阿里云 AI搜索开放平台正式推出 GTE 多语言通用文本向量模型(iic/gte_sentence-embedding_multilingual-base)

637 4
来自: 智能搜索推荐  版块
|
9月前
|
数据采集 安全 数据挖掘
|

Pandas数据合并:10种高效连接技巧与常见问题

在数据分析中,数据合并是常见且关键的步骤。本文针对合并来自多个来源的数据集时可能遇到的问题,如列丢失、重复记录等,提供系统解决方案。基于对超1000个复杂数据集的分析经验,总结了10种关键技术,涵盖Pandas库中`merge`和`join`函数的使用方法。内容包括基本合并、左连接、右连接、外连接、基于索引连接、多键合并、数据拼接、交叉连接、后缀管理和合并验证等场景。通过实际案例与技术原理解析,帮助用户高效准确地完成数据整合任务,提升数据分析效率。

911 13
|
9月前
|
传感器 人工智能 监控
|

一车货也能跑得像高铁:5G+物流,这才叫“移动的未来”

一车货也能跑得像高铁:5G+物流,这才叫“移动的未来”

310 19
|
9月前
|
机器学习/深度学习 测试技术
|

ChronosX: 可使用外生变量的时间序列预测基础模型

时间序列预测中,基础模型虽在单变量任务中表现出色,但引入协变量支持仍面临挑战。Chronos研究团队提出ChronosX架构,通过适配器层有效整合历史与未来协变量信息,适用于任何单变量模型。实验表明,ChronosX显著提升预测性能,尤其在复杂数据集上优势明显。消融研究进一步验证了协变量模块的重要性。尽管需要轻量训练,但其灵活性和通用性为时间序列建模提供了新思路,未来或可通过类似LLM提示机制实现更高效的协变量处理。

561 16
|
9月前
|
资源调度 Kubernetes 调度
|

网易游戏 Flink 云原生实践

本文分享了网易游戏在Flink实时计算领域的资源管理与架构演进经验,从Yarn到K8s云原生,再到混合云的实践历程。文章详细解析了各阶段的技术挑战与解决方案,包括资源隔离、弹性伸缩、自动扩缩容及服务混部等关键能力的实现。通过混合云架构,网易游戏显著提升了资源利用率,降低了30%机器成本,小作业计算成本下降40%,并为未来性能优化、流批一体及智能运维奠定了基础。

576 9
来自: 实时计算 Flink  版块
|
9月前
|
数据采集 机器学习/深度学习 算法
|

R语言数据挖掘:从“挖井”到“淘金”

R语言数据挖掘:从“挖井”到“淘金”

205 9
|
9月前
|
SQL 分布式计算 大数据
|

大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南

本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。

697 78
|
10月前
|
存储 人工智能 搜索推荐
|

如何用大模型+RAG 给宠物做一个 AI 健康助手?——阿里云 AI 搜索开放平台

本文分享了如何利用阿里云 AI 搜索开放平台,基于 LLM+RAG 的系统框架,构建“宠物医院AI助手”的实践过程。

948 14
来自: 智能搜索推荐  版块
|
10月前
|
存储 SQL 监控
|

ClickHouse 应用剖析:设计理念、机制与实践

ClickHouse 是一款高性能的列式数据库管理系统,主要用于实时的大数据分析场景。它由俄罗斯 Yandex 公司开源于 2016 年,在网页日志分析、物联网监控、广告计费等领域有广泛应用。ClickHouse 通过列式存储、向量化执行和分布式架构,实现对海量数据的快速查询分析。本文将介绍 ClickHouse 的设计理念,以及在实际使用中如何处理数据删除更新、冷热数据分离等问题,并提供常见配置的调优建议和异常问题的处理方法。

1321 14
|
10月前
|
机器学习/深度学习 存储 数据可视化
|

KG4MM:融合知识图谱与多模态数据预测药物相互作用

本文探讨了用于多模态学习的知识图谱(KG4MM)在药物相互作用(DDI)预测中的应用。知识图谱通过整合药物的分子图像和文本描述,提供结构化先验知识,指导模型关注关键信息。具体实现中,利用图神经网络(GNN)连接知识图谱与多模态数据,通过注意力机制提取最具区分性的特征。以 Goserelin 和 Desmopressin 为例,模型结合直接边关系和共享节点路径,生成透明可解释的预测结果。实验表明,KG4MM 方法显著提升了预测准确性与可解释性,为生物医学领域提供了新思路。

408 0
|
10月前
|
文字识别 算法 小程序
|

【项目总结】快瞳医疗化验单的OCR识别

快瞳科技通过图像识别技术,成功解决了医疗化验单OCR识别难题。项目要求精准识别表格内容,尤其是化验数值和名称,准确率达85%以上。针对化验单来源多样、干扰因素多的问题,团队采用智能文档抽取模型、opencv技术(如霍夫变换)进行图片扶正与裁剪,优化识别精度。最终,项目不仅达到药企要求,还实现超越,为医疗行业智能化转型提供了高性价比解决方案,助力快瞳科技在医疗信息化领域树立良好口碑。

698 43
|
10月前
|
人工智能 Linux 定位技术
|

使用 Godot 开发游戏的通用流程

使用 Godot 开发游戏的通用流程

1298 3
|
10月前
|
存储 消息中间件 分布式计算
|

Hologres实时数仓在B站游戏的建设与实践

本文介绍了B站游戏业务中实时数据仓库的构建与优化过程。为满足日益增长的数据实时性需求,采用了Hologres作为核心组件优化传统Lambda架构,实现了存储层面的流批一体化及离线-实时数据的无缝衔接。文章详细描述了架构选型、分层设计(ODS、DWD、DIM、ADS)及关键技术挑战的解决方法,如高QPS点查、数据乱序重写等。目前,该实时数仓已广泛应用于运营分析、广告投放等多个场景,并计划进一步完善实时指标体系、扩展明细层应用及研发数据实时解析能力。

716 0
来自: 实时数仓 Hologres  版块
|
10月前
|
机器学习/深度学习 编解码 人工智能
|

计算机视觉五大技术——深度学习在图像处理中的应用

深度学习利用多层神经网络实现人工智能,计算机视觉是其重要应用之一。图像分类通过卷积神经网络(CNN)判断图片类别,如“猫”或“狗”。目标检测不仅识别物体,还确定其位置,R-CNN系列模型逐步优化检测速度与精度。语义分割对图像每个像素分类,FCN开创像素级分类范式,DeepLab等进一步提升细节表现。实例分割结合目标检测与语义分割,Mask R-CNN实现精准实例区分。关键点检测用于人体姿态估计、人脸特征识别等,OpenPose和HRNet等技术推动该领域发展。这些方法在效率与准确性上不断进步,广泛应用于实际场景。

1277 64
|
10月前
|
传感器 人工智能 物联网
|

智能戒指:小小指环,大大未来

智能戒指:小小指环,大大未来

594 21
|
10月前
|
Web App开发 编解码 算法
|

怎么实现实时无延迟的体育电竞动画直播

实时无延迟动画直播需关注技术方案、实现步骤与专业解决方案。技术上可选WebRTC(低至100-500ms延迟,互动性强)、低延迟HLS/CMAF(1-3秒延迟,兼容性好)和RTMP(传统协议,2-5秒延迟)。实现步骤包括采集端设置(高性能编码、稳定网络)、传输优化(CDN节点选择、抗丢包协议)及播放端优化(低延迟模式、自适应码率)。专业方案有云服务(AWS、Azure、阿里云)和专用平台(Millicast、Wowza)。注意完全无延迟不可行,需权衡画质与稳定性,并考虑终端兼容性和成本。代码示例展示了比赛数据处理逻辑,涉及匹配ID、状态、计划与关注等功能。

531 11
|
10月前
|
人工智能 编解码 自然语言处理
|

VideoMind:Chain-of-LoRA突破时间盲区让AI真正看懂长视频

VideoMind是一种新型视频语言代理,专为解决长视频时间定位理解挑战设计。它通过“Chain-of-LoRA”技术结合四个专业角色(Planner、Grounder、Verifier、Answerer)实现高效推理。Planner分析查询并制定计划;Grounder精确定位视频时刻;Verifier验证候选时刻准确性;Answerer生成最终答案。此架构在14个公共基准上表现出色,尤其在长视频定位任务中超越了现有模型,同时保持高内存效率。VideoMind推动了多模态AI的发展,提供了解决复杂视频理解问题的新方法。

10550 5
|
11月前
|
数据采集 文字识别 API
|

Python爬虫模拟登录并跳过二次验证

Python爬虫模拟登录并跳过二次验证

491 0
|
11月前
|
Linux
|

linux命令详细说明以及案例

本文介绍了常用的 Linux 命令及其详细说明和示例,包括:`ls`(列出目录内容)、`cd`(更改目录)、`rm` 和 `mv`(删除与移动文件)、`grep`(搜索文本)、`cat`(显示文件内容)以及 `chmod`(更改文件权限)。每个命令均配有功能描述、选项说明及实际案例,帮助用户更好地掌握 Linux 命令的使用方法。

683 157
来自: 数据可视化DataV  版块
|
11月前
|
传感器 运维 监控
|

智慧看护:可穿戴设备在老年护理中的技术探索

智慧看护:可穿戴设备在老年护理中的技术探索

656 13

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69094
内容
128
活动
439688
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务