|
11月前
|
资源调度 Kubernetes 调度
|

网易游戏 Flink 云原生实践

本文分享了网易游戏在Flink实时计算领域的资源管理与架构演进经验,从Yarn到K8s云原生,再到混合云的实践历程。文章详细解析了各阶段的技术挑战与解决方案,包括资源隔离、弹性伸缩、自动扩缩容及服务混部等关键能力的实现。通过混合云架构,网易游戏显著提升了资源利用率,降低了30%机器成本,小作业计算成本下降40%,并为未来性能优化、流批一体及智能运维奠定了基础。

624 9
来自: 实时计算 Flink  版块
|
11月前
|
人工智能 JSON 算法
|

【解决方案】DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践

DistilQwen 系列是阿里云人工智能平台 PAI 推出的蒸馏语言模型系列,包括 DistilQwen2、DistilQwen2.5、DistilQwen2.5-R1 等。本文详细介绍DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践。

483 7
来自: 人工智能平台PAI  版块
|
11月前
|
机器学习/深度学习 数据采集 安全
|

防止交叉验证中的数据泄露:提升模型在实际环境中的性能

本文探讨了机器学习模型从开发到部署过程中可能出现的性能断崖问题,重点分析了**数据泄露**和**类别不平衡**两大主要原因。数据泄露可能源于预处理、特征工程或目标变量的不当操作,导致模型在测试阶段表现优异但实际应用中失效。同时,类别不平衡会使得常规交叉验证结果不可靠,需采用分层K折等方法应对。文章还介绍了通过Scikit-learn的Pipeline和ColumnTransformer防止数据泄露的最佳实践,并强调重采样技术(如SMOTE)应在数据划分后执行。最后,总结了构建可靠模型评估流程的核心原则,包括使用管道、分层验证及独立保留集等,帮助开发者构建在真实场景中性能稳定的模型。

444 56
|
11月前
|
机器学习/深度学习 人工智能 算法
|

大数据与机器学习:数据驱动的智能时代

本文探讨了大数据与机器学习在数字化时代的融合及其深远影响。大数据作为“新时代的石油”,以其4V特性(体量、多样性、速度、真实性)为机器学习提供燃料,而机器学习通过监督、无监督、强化和深度学习等技术实现数据价值挖掘。两者协同效应显著,推动医疗、金融、零售、制造等行业创新。同时,文章分析了数据隐私、算法偏见、可解释性及能耗等挑战,并展望了边缘计算、联邦学习、AutoML等未来趋势。结语强调技术伦理与实际价值并重,倡导持续学习以把握智能时代机遇。

468 13
|
12月前
|
大数据
|

“你朋友圈的真面目,大数据都知道!”——用社交网络分析看透人情世故

“你朋友圈的真面目,大数据都知道!”——用社交网络分析看透人情世故

456 16
|
12月前
|
人工智能 自然语言处理 DataWorks
|

Qwen3 X DataWorks :为数据开发与分析加满Buff !

阿里云DataWorks平台正式接入Qwen3模型,支持最大235B参数量。用户可通过DataWorks Copilot智能助手调用该模型,以自然语言交互实现代码生成、优化、解释及纠错等功能,大幅提升数据开发与分析效率。Qwen3作为最新一代大语言模型,具备混合专家(MoE)和稠密(Dense)架构,适应多种应用场景,并支持MCP协议优化复杂任务处理。目前,用户可通过DataWorks Data Studio新版本体验此功能。

889 27
|
12月前
|
数据采集 人工智能 大数据
|

演讲实录:中小企业如何快速构建AI应用?

AI时代飞速发展,大模型和AI的应用创新不断涌现,面对百花齐放的AI模型,阿里云计算平台大数据AI解决方案总监魏博文分享如何通过阿里云提供的大数据AI一体化平台,解决企业开发难、部署繁、成本高等一系列问题,让中小企业快速搭建AI应用。

865 3
来自: 人工智能平台PAI  版块
|
12月前
|
存储 消息中间件 Kafka
|

中原银行实时场景企业级解决方案

中原银行实时数据开发平台负责人杜威科在Flink Forward Asia 2024分享了银行业实时数据处理的经验。内容涵盖需求分析、解决方案、场景案例与现状展望。银行业需构建全链路、全场景的企业级实时数据平台,解决动账场景下的复杂计算需求。通过Flink+Paimon方案,实现高效更新、低成本存储与便捷查询。案例包括账户表实时更新入湖、交易协同优化、实时图应用、海量数据存储及业务人员易用性建设。未来目标是实现上千张表实时入湖,缩短延迟并探索AI结合的新场景。

473 2
来自: 实时计算 Flink  版块
|
12月前
|
人工智能 自动驾驶 物联网
|

5G到底有多牛?一文看懂它的原理与优势!

5G到底有多牛?一文看懂它的原理与优势!

869 19
|
12月前
|
JSON 数据挖掘 API
|

深入研究:京东商品评论API详解

京东商品评论API助力电商数据分析与优化。通过该接口,开发者可获取商品评论内容、时间、评分等详细信息,以及好评率、差评率等统计数据。适用于用户体验分析、市场调研等场景。使用前需注册开发者账号、申请权限,并正确配置参数(如app_key、商品ID等)。返回数据为JSON格式,便于解析与应用。

558 10
|
12月前
|
数据采集 搜索推荐 API
|

Python 原生爬虫教程:京东商品列表页面数据API

京东商品列表API是电商大数据分析的重要工具,支持开发者、商家和研究人员获取京东平台商品数据。通过关键词搜索、分类筛选、价格区间等条件,可返回多维度商品信息(如名称、价格、销量等),适用于市场调研与推荐系统开发。本文介绍其功能并提供Python请求示例。接口采用HTTP GET/POST方式,支持分页、排序等功能,满足多样化数据需求。

648 5
|
12月前
|
数据采集 存储 监控
|

Python 原生爬虫教程:网络爬虫的基本概念和认知

网络爬虫是一种自动抓取互联网信息的程序,广泛应用于搜索引擎、数据采集、新闻聚合和价格监控等领域。其工作流程包括 URL 调度、HTTP 请求、页面下载、解析、数据存储及新 URL 发现。Python 因其丰富的库(如 requests、BeautifulSoup、Scrapy)和简洁语法成为爬虫开发的首选语言。然而,在使用爬虫时需注意法律与道德问题,例如遵守 robots.txt 规则、控制请求频率以及合法使用数据,以确保爬虫技术健康有序发展。

1508 31
|
12月前
|
机器学习/深度学习 人工智能 JSON
|

【解决方案】DistilQwen2.5-R1蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践

阿里云的人工智能平台 PAI,作为一站式的机器学习和深度学习平台,对DistilQwen2.5-R1模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过 PAI-ModelGallery 轻松实现 Qwen2.5 系列模型的训练、评测、压缩和快速部署。本文详细介绍在 PAI 平台使用 DistilQwen2.5-R1 蒸馏模型的全链路最佳实践。

585 63
来自: 人工智能平台PAI  版块
|
16天前
|
数据采集 运维 资源调度
|

别再被 SaaS“温柔绑架”了:一份接地气的自建数据平台迁移路线图(附避坑指南)

别再被 SaaS“温柔绑架”了:一份接地气的自建数据平台迁移路线图(附避坑指南)

113 2
|
21天前
|
分布式计算 运维 Kubernetes
|

别再手搓集群了:用 Terraform + Helm 把数据平台“养成宠物”变“放养牛群”

别再手搓集群了:用 Terraform + Helm 把数据平台“养成宠物”变“放养牛群”

154 5
|
1月前
|
Java
|

java工具:Long转String(时间毫秒数转日期格式字符串)

java工具:Long转String(时间毫秒数转日期格式字符串)

181 2
|
2月前
|
人工智能 自然语言处理 机器人
|

2026数字助理时代真的要来临了——直接自然语言操作AI助理,马斯克预言真的来了

AI自动开浏览器抢12306车票!这不仅是聊天机器人,而是能“看屏、点鼠、敲键”的数字员工——绕过API限制,直接操作任何GUI软件。马斯克力推的MacroHard(Digital Optimus),正颠覆传统软件逻辑,宣告“数字助理时代”真正来临。

190 1
|
2月前
|
存储 分布式计算 Apache
|

数据湖上跑模型训练?别再“豪横烧钱”了,这样优化性能和成本才靠谱

数据湖上跑模型训练?别再“豪横烧钱”了,这样优化性能和成本才靠谱

117 1
|
2月前
|
机器学习/深度学习 人工智能 物联网
|

春节祝福“AI味”太重?我用30分钟微调了一个能记住你我故事的专属模型

用30分钟微调Qwen3-32B,打造专属“马年祝福语创意伙伴”。借助LLaMA-Factory Online与PPO强化学习,让AI从“说正确的话”升级为“说走心的话”——懂关系、记细节、会调侃、有温度。技术不冰冷,祝福才动人。

243 9
|
2月前
|
人工智能 自然语言处理 安全
|

为什么祝福场景里,关系证据比祝福模板重要得多

祝福生成的关键不在“好模板”,而在“真关系”。模板让输出更安全却更空洞;关系证据(如共同经历、专属细节)才能激活真诚。RAG应检索“你们之间发生了什么”,而非“别人怎么祝福”。删掉模板若效果反升,说明它一直在拖后腿——因为祝福的灵魂,从来不是像祝福,而是像你。

161 9
|
2月前
|
数据采集 人工智能 自然语言处理
|

场景判断:什么情况下值得做微调?三个维度帮你做决策

本文提出微调选型三维度决策框架:任务复杂度(知识查询/格式遵从/能力涌现)、风格要求(可选→固定→品牌级)、数据可得性(量、质、多样性),并对比提示词工程、RAG等轻量替代方案,助技术决策者科学评估微调必要性,避免资源浪费。

146 4
|
2月前
|
人工智能 Kubernetes 物联网
|

轻量化部署:让你的祝福模型在小显卡上跑起来

本文揭秘春节祝福AI的轻量化部署:无需昂贵GPU,消费级显卡即可运行!通过INT4量化(模型缩至1/8)、LoRA微调(仅训MB级参数)及QLoRA组合,搭配vLLM推理优化与K8s弹性扩缩容,7B小模型高效生成祝福语。低成本、低门槛、高可用——大模型应用,人人可及。

214 0
|
2月前
|
数据采集 缓存 边缘计算
|

隧道 HTTP 代理与正向 HTTP 代理:适用场景与原理对比

隧道HTTP代理通过建立加密隧道实现透明传输,主打穿透性、隐私保护与通用兼容;正向HTTP代理则直接解析转发请求,侧重缓存加速、访问控制与内网管理。二者原理、功能与场景迥异,选型需据需求而定。

149 0
|
2月前
|
数据采集 JSON 监控
|

京东宝贝评论数据采集指南

京东商品评论API提供结构化评论数据,涵盖评分、晒单、追评、商家回复等20+字段,支持多维筛选与排序,适用于舆情监控、竞品分析、用户画像等场景,需认证后合规调用。(239字)

176 11
|
2月前
|
SQL 人工智能 自然语言处理
|

指标中台选型技术实测:如何通过 NoETL 语义层驾驭复杂 SQL 生成

支持“存量挂载、增量原生、存量替旧”的渐进式策略,平衡价值与风险,平滑实现架构升级。

127 1
|
3月前
|
数据采集 人工智能 自然语言处理
|

在Claude code上的MCP数据爬虫具体怎么实现呀?

134 0
|
3月前
|
运维 Linux 定位技术
|

别只看 QPS:一级 NTP 时间服务器在工程现场到底靠什么兜底

本文以NTS-H-442002为例,剖析企业级Stratum 1时间服务器的关键设计:x86高并发架构保障稳定授时;GPS/北斗+蜂窝多源冗余提升可用性;高稳OCXO实现失锁后72小时<1ms守时精度;1PPS/10MHz/TOD物理接口满足硬同步需求;双电源、热备、加密与运维能力确保长期可靠。

146 4
|
3月前
|
自然语言处理 监控
|

RAG 效果差,80% 的问题和模型无关

RAG效果差,往往错不在模型,而在检索环节:切分不当、检索不相关、TopK过载、缺乏Rerank等。本文揭示RAG本质是“自然语言检索系统”,80%问题源于数据组织与检索质量,而非模型能力。重拾工程思维,先夯实检索,再谈生成。

161 7
|
3月前
|
量子技术 芯片 异构计算
|

量子芯片为什么这么难造?从“画电路”到“跑量子态”,中间全是坑

量子芯片为什么这么难造?从“画电路”到“跑量子态”,中间全是坑

211 3
|
3月前
|
安全 物联网
|

LoRA 不是“免费午餐”:你省下的算力,往往会在别的地方还回去

LoRA因轻量、易上手成为新手微调首选,但它并非“零代价”方案:虽节省显存与算力,却无法规避目标模糊、数据偏差、行为过拟合、表达能力受限等本质问题。它适合快速验证方向,而非替代系统性微调设计。

124 2
|
3月前
|
存储 人工智能 运维
|

AI Agent 搭建师破局指南:从工具使用者到逻辑架构师的职业进化

AI Agent搭建师面临模型迭代快、低代码冲击与落地难等职业焦虑。本文从矛盾解构、能力升级到职业锚定,提出向业务逻辑架构师跃迁的体系化路径,助力开发者在AGI浪潮中构建不可替代性。(239字)

132 3
|
3月前
|
消息中间件 运维 监控
|

别只盯着充电枪:聊聊一个真正“能赚钱、能扩展、能运维”的智慧充电桩系统架构

别只盯着充电枪:聊聊一个真正“能赚钱、能扩展、能运维”的智慧充电桩系统架构

182 7
|
3月前
|

企业如何建立自己的「信任资产负债表」?

企业常忽视“信任资产负债表”——系统长期记录其言行一致性的隐性账本。它影响获客、转化与推荐权重,由行为一致性、可验证承诺、修复能力与稳定输出构成资产端,而承诺透支、反复变动、风险逃逸等则积累负债。信任失衡导致增长乏力,修复需从克制口径、建立修复机制、保持可预测行为起步。信任是未来竞争的核心资产。

292 6
来自: 智能搜索推荐  版块
|
3月前
|
区块链
|

从 NFT 到 RWA:资产上链,正在换一套“底层逻辑”

从 NFT 到 RWA:资产上链,正在换一套“底层逻辑”

239 1
|
3月前
|
弹性计算 监控 Cloud Native
|

云原生时代,“信任”才是开发者的核心基础设施:4个技术维度筑牢增长底盘

在云原生时代,信任已成为技术发展的基础设施。本文深入剖析为何“信任”决定开源项目、API与云产品的成败,并从行为一致、承诺可验证、错误修复、输出稳定四大技术维度,揭示构建长期信任的实操路径,助力开发者实现可持续增长。

177 1
来自: 智能搜索推荐  版块
|
3月前
|
Java
|

数据类型

Java数据类型分基本与引用两类,基本类型含四类八种:整数、浮点、字符、布尔。取值范围从小到大为byte→short→int→long→float→double,long和float赋值需加L/F标识。运算时小范围自动提升为大范围(隐式转换),反之需强制转换。字符串参与“+”即为拼接,字符运算按ASCII码转数字。扩展赋值如+=隐含强制类型转换。关系运算结果为boolean。逻辑运算符&&和||具有短路特性,提高效率。

119 0
|
4月前
|
存储 C++
|

C++变量类型

C++变量类型包括基本类型如bool、char、int、float、double等,支持整数、浮点数、字符和布尔值的存储。还包含指针、数组、结构体、类、共用体等复合类型。变量命名由字母、数字、下划线组成,首字符须为字母或下划线。支持变量声明与定义分离,局部变量需显式初始化,静态变量自动初始化为0。

165 1
|
4月前
|
消息中间件 Java Nacos
|

SpringCloud概述

Spring Cloud是微服务的统一解决方案,具备注解驱动、开箱即用、组件丰富等特点,通过版本命名规范整合多子项目。Spring Cloud Alibaba融合Nacos、Sentinel、Seata等阿里开源组件,成为主流技术栈选择。

198 0
|
4月前
|
关系型数据库 应用服务中间件 Nacos
|

Nacos配置中心

本章深入讲解Nacos配置中心实战,涵盖配置管理、热更新、共享配置及优先级规则,并通过搭建Nacos集群实现高可用部署,结合Bootstrap加载机制与@RefreshScope实现动态配置,助力微服务高效治理。

107 0
|
4月前
|
C++
|

C++变量作用域

C++变量作用域分为局部、全局、块和类作用域。局部变量在函数内定义,仅内部可用;全局变量在所有函数外定义,整个程序可访问;块作用域变量存在于代码块内;类作用域变量属于类成员。同名时,内层作用域覆盖外层。全局变量自动初始化,局部变量需手动初始化。

206 1
|
4月前
|
SQL 关系型数据库 MySQL
|

MySQL 并发控制核心原理与实践技巧

本文深入解析MySQL并发控制核心原理,涵盖事务隔离级别、锁机制与乐观锁实现,结合电商秒杀、订单重复等高并发场景,提供实战解决方案与优化技巧,助你平衡数据一致性与系统性能。

167 0
|
4月前
|
消息中间件 运维 物联网
|

语音通知

适用于科技公司服务器及物联网设备异常时的语音告警通知。开通语音服务后,可申请资质、话术与模板,通过API调用实现自动外呼,支持变量替换与实时结果查询,提升运维响应效率。(238字)

117 0
|
4月前
|
SQL 安全 关系型数据库
|

了解SQL注入

SQL注入是一种常见且危险的Web安全漏洞,攻击者通过构造恶意SQL语句绕过身份验证、窃取数据或执行系统命令。其成因主要是应用程序对用户输入过滤不严,导致数据库被非法操控。OWASP将其列为头号Web威胁。防御需结合输入验证、参数化查询及网络层防护措施。

113 0
|
4月前
|
Web App开发 安全 JavaScript
|

5.跨域处理

本文介绍跨域问题及其解决方案。当协议、域名或端口不同时,浏览器会阻止跨域请求。通过CORS(跨域资源共享)机制,可使用@CrossOrigin注解、全局配置WebMvcConfigurer或自定义过滤器实现安全跨域访问。

121 0
|
4月前
|
人工智能 机器人 Java
|

黑马最新项目

AIGC项目涵盖大模型私有化部署、聊天机器人、RAG知识库及代码提示工具;天机AI集成SpringAI与多模型工作流;云岚到家聚焦微服务与分布式架构;四方保险构建统一支付与时序数据应用;星辰WMS与Dify项目即将发布。

200 0
|
4月前
|
人工智能 NoSQL 前端开发
|

面试真题

多套AI与Java面试题涵盖RAG、智能体、大模型部署、分布式系统、JVM调优、数据库设计等核心技术,深入考察项目经验、架构能力与技术深度,适用于中高级工程师岗位选拔。

103 0
|
4月前
|
机器学习/深度学习 存储 自然语言处理
|

大模型基础概念术语解释

大语言模型(LLM)基于Transformer架构,通过海量文本训练,实现强大语言理解与生成。其核心包括注意力机制、位置编码、嵌入层等,支持万亿级参数与涌现能力,能完成翻译、问答等多任务,展现卓越泛化与推理能力。

394 0
|
4月前
|
消息中间件 人工智能 决策智能
|

AgentScope x RocketMQ:构建多智能体应用组合

AgentScope是阿里巴巴推出的开发者友好型多智能体框架,支持模块化、可定制的智能体应用开发。通过集成RocketMQ,实现高效可靠的A2A通信,助力构建如“智能旅行助手”等复杂协作场景,提升开发透明度与运行时可控性。(238字)

171 0
|
4月前
|
机器学习/深度学习 数据采集 人工智能
|

大模型训练方法与技术术语解释

预训练、微调、RLHF等技术构成大模型核心训练体系:预训练打基础,微调适配具体任务,RLHF融入人类偏好,思维链提升推理,少/零样本实现快速迁移,指令微调增强指令理解,自监督利用海量无标注数据,温度控制生成风格,蒸馏压缩模型,缩放定律指导高效扩展。

284 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69327
内容
128
活动
439807
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务