|
9月前
|
缓存 负载均衡 监控
|

135_负载均衡:Redis缓存 - 提高缓存命中率的配置与最佳实践

在现代大型语言模型(LLM)部署架构中,缓存系统扮演着至关重要的角色。随着LLM应用规模的不断扩大和用户需求的持续增长,如何构建高效、可靠的缓存架构成为系统性能优化的核心挑战。Redis作为业界领先的内存数据库,因其高性能、丰富的数据结构和灵活的配置选项,已成为LLM部署中首选的缓存解决方案。

885 25
|
9月前
|
边缘计算 人工智能 PyTorch
|

130_知识蒸馏技术:温度参数与损失函数设计 - 教师-学生模型的优化策略与PyTorch实现

随着大型语言模型(LLM)的规模不断增长,部署这些模型面临着巨大的计算和资源挑战。以DeepSeek-R1为例,其671B参数的规模即使经过INT4量化后,仍需要至少6张高端GPU才能运行,这对于大多数中小型企业和研究机构来说成本过高。知识蒸馏作为一种有效的模型压缩技术,通过将大型教师模型的知识迁移到小型学生模型中,在显著降低模型复杂度的同时保留核心性能,成为解决这一问题的关键技术之一。

733 6
|
9月前
|
人工智能 Unix API
|

50_选择模型:开源vs闭源

在大型语言模型(LLM)技术快速发展的今天,企业和开发者面临着一个关键决策:是选择开源LLM模型还是闭源LLM服务?这个选择直接影响到项目的成本结构、开发灵活性、数据安全性以及长期战略规划。随着2025年LLM技术的进一步成熟,开源与闭源模型之间的竞争格局也发生了显著变化。

1022 0
|
9月前
|
存储 消息中间件 监控
|

76_混合云环境:AWS与GCP互联

在当今数字化转型的浪潮中,混合云架构已成为企业IT基础设施的重要组成部分。截至2025年第一季度,全球云基础设施市场由三大云服务提供商主导:亚马逊云服务(AWS)占29%市场份额,微软Azure占22%,谷歌云平台(GCP)占12%。这三大提供商合计占据全球云市场约63%的份额。在这种情况下,企业越来越多地采用混合云策略,尤其是同时使用AWS和GCP这两个领先平台。

554 0
|
9月前
|
缓存 边缘计算 监控
|

89_批量推理:异步API调用

在当今数据密集型应用和大模型部署的时代,批量推理已成为提升系统性能和资源利用率的关键技术。随着深度学习模型规模的不断扩大和应用场景的日益复杂,如何高效地处理大量推理请求成为技术团队面临的重要挑战。传统的同步API调用方式在面对高并发、大规模数据处理时,往往会遇到响应延迟高、资源利用不充分等问题。异步API调用作为一种更高效的处理模式,通过非阻塞操作和并发处理能力,为批量推理场景提供了理想的解决方案。

661 0
|
9月前
|
存储 安全 API
|

73_安全配置:LLM开发环境的全面防护指南

在2025年的AI开发环境中,大型语言模型(LLM)已成为核心技术,但伴随其广泛应用的是日益严峻的安全挑战。据统计,2025年第一季度发生的AI安全事件中,LLM环境配置不当导致的漏洞占比高达43%,造成的损失超过2.1亿美元。本文将深入探讨LLM开发环境的安全配置最佳实践,帮助开发者构建一个安全、可靠的开发环境。

884 0
|
10月前
|
缓存 人工智能 测试技术
|

腾讯混元 3D 世界模型家族又添新成员Voyager:支持超长距离漫游

9 月 2 日,腾讯混元宣布,其3D世界模型系列最新成员——HunyuanWorld-Voyager(简称混元Voyager)发布并开源,这将推动AI在空间智能领域的应用扩展,为虚拟现实、物理仿真、游戏开发等领域提供高保真3D场景漫游能力,加速行业应用落地。

599 0
|
11月前
|
JSON 人工智能 Java
|

基于Spring AI构建智能Text-to-SQL转换器:一个完整的MCP

Spring AI 更新结构化输出转换器,弃用旧版 Parser 类,引入与 Spring 框架对齐的 Converter 体系,提升命名规范与功能兼容性。新版本支持 JSON、XML 及 Java 对象转换,确保 LLM 输出结构化,便于下游应用处理。

1078 1
|
11月前
|
传感器 人工智能 自然语言处理
|

当AI学会跑跳抓:来云栖大会,参加一场“具身智能运动会”

一副AI眼镜帮你实时智能识别、一只机器狗陪你跑跨栏、一条机械臂听你指挥、一场与机器人的点球大战——这可不是科幻电影,这是2025云栖大会即将上演的现实。

446 8
|
11月前
|
编解码 人工智能 小程序
|

魔搭社区模型速递(8.17-8.23)

🙋魔搭ModelScope本期社区进展:📟1652个模型,📁216个数据集,🎨54个创新应用,📄 4篇内容

1026 8
|
11月前
|
数据采集 机器学习/深度学习 编解码
|

小红书 hi lab开源最强多模态大模型dots.vlm1,性能对标闭源 Gemini 2.5 Pro 和 Seed-VL1.5

小红书 hi lab开源最强多模态大模型dots.vlm1,性能对标闭源 Gemini 2.5 Pro 和 Seed-VL1.5

953 0
|
5月前
|
存储 自然语言处理 Java
|

OoderAgent 能力中心与能力库 技术白皮书(V0.7.3)

OoderAgent平台核心由能力中心(SkillCenter)与能力库(ooder-skills)构成:前者统一管理技能生命周期、市场运营与P2P调度;后者提供40+模块化、场景驱动的多语言(Java/Node/Python)技能包,支持GitHub/Gitee一键发现安装。

277 4
|
5月前
|
机器学习/深度学习 JSON 数据可视化
|

Diy你的蛋白质_AlphaFold3推理

Z_biosketch推出Local AF3进阶推理平台,突破官方限制:支持任意配体/修饰、自定义模板上传、深度MSA控制及轻量交互可视化。首期聚焦“Fold & Validate”验证闭环,为未来“画蛋白”BioSketch Studio奠基,推动蛋白质设计民主化。(239字)

329 2
|
6月前
|
机器学习/深度学习 存储 人工智能
|

国内首个全国产化千亿参数细粒度 MoE:开源!

TeleChat3-105B-A4.7-Thinking,国内首个全国产化千亿参数细粒度MoE大模型,开源!代码、数学、Agent等多能力比肩头部,支持高效任务拆解与代码生成。

489 2
|
6月前
|
供应链 安全 区块链
|

生态协同发力!DAN仲裁网络筑牢Web3商业闭环,让信任贯穿交易全流程

OmniPact DAN仲裁网络重构Web3信任体系,打破争议解决孤岛,首创与跨链、零知识证明、SBT声誉系统深度协同的生态闭环。实现多链资产自动赔付、隐私保护下证据验证、信誉可沉淀变现,让信任贯穿交易全流程,推动Web3商业迈向无摩擦、高可信的全球协作新时代。(238字)

296 7
|
7月前
|
消息中间件 Java Spring
|

MQ收发消息

本文介绍如何使用SpringAMQP实现RabbitMQ消息收发。RabbitMQ基于AMQP协议,支持跨语言通信。通过SpringBoot整合SpringAMQP,可快速实现消息发送与接收。文中演示了创建队列、配置生产者与消费者、使用RabbitTemplate发送消息及@RabbitListener监听消息的完整流程,并简要对比了推模式与拉模式的应用场景。

175 0
|
7月前
|
存储 Java 数据库连接
|

2. 整合切面,参数拦截+过滤

111

175 0
|
7月前
|
人工智能 自然语言处理 数据挖掘
|

Python 为何能稳居全场景开发主流语言宝座

Python凭借简洁语法、丰富生态、跨平台兼容及社区企业双重推动,成为覆盖Web开发、数据分析、人工智能等全场景的“万能钥匙”,兼具低门槛与高效率,稳居编程语言主流地位。

320 0
|
7月前
|
机器学习/深度学习 数据采集 存储
|

融合共生的智能时代引擎

本文系统解析大数据与机器学习的融合逻辑,涵盖核心定义、技术协同流程、金融、医疗、工业、交通等典型应用场景,探讨数据质量、模型可解释性、人才短缺等挑战,并展望轻量化模型、可信AI、行业定制化与AutoML等未来趋势,揭示二者协同驱动智能时代发展的关键路径。

187 0
|
7月前
|
运维 安全 Devops
|

生产环境缺陷管理

git-poison基于go-git实现分布式bug追溯,解决多分支开发中bug漏修、漏发等问题。通过“投毒-解毒”机制,自动化卡点发布流程,降低协同成本,避免人为失误,已在大型团队落地应用,显著提升发布安全与效率。

273 0
|
7月前
|
NoSQL MongoDB
|

文档的插入

MongoDB支持单个或批量插入文档。使用`insert()`或`insertMany()`向集合添加数据,未指定`_id`时自动生成,支持多种数据类型,注意整型需用`NumberInt`,日期用`new Date()`,键名遵循UTF-8规范且不可重复。

257 0
|
7月前
|
Java 大数据 API
|

Java 学习资源精选:从入门到精通的高效资源清单

本文为Java学习者提供从入门到精通的完整资源指南,涵盖各阶段所需视频、书籍、博客、开源项目等优质资源。针对基础语法、核心原理、主流框架及项目实战,精选高效学习路径,帮助初学者摆脱“资源焦虑”,少走弯路,提升学习效率,系统掌握Java开发能力,实现技术进阶。

294 0
|
7月前
|
JSON 自然语言处理 数据库
|

索引库、文档操作

本文介绍了Elasticsearch(ES)的核心概念及其与MySQL的对比,阐述了ES作为分布式搜索引擎,在海量数据搜索、分析方面的优势,并详细讲解了索引库、映射(Mapping)、文档等核心概念的创建与操作方法。同时,结合Kibana和RestClient演示了索引与文档的CRUD操作,帮助读者掌握ES在实际项目中的应用。

159 3
|
7月前
|
SQL Dubbo Java
|

线程池:故障梳理总结

本文从故障与技术双重视角,总结线程池满导致服务不可用的典型案例与根因,涵盖数据库慢查询、连接池配置不当、超时设置缺失等问题,分享fast-fail理念、流控背压、谨慎重试等最佳实践,助力开发者提升系统稳定性。

226 0
|
7月前
|
开发者
|

业务架构图

本文介绍了业务架构图的核心概念与绘制方法,涵盖业务定义、架构分层(业务、应用、数据、技术)、分层分模块分功能的拆解逻辑,以及信息流设计,旨在帮助理解业务本质并提升客户与开发者间的沟通效率。

203 0
|
7月前
|
Linux 数据安全/隐私保护 虚拟化
|

虚拟机安装(CentOS7)

准备CentOS7镜像及VMware虚拟机工具,可选清华源或百度云下载。使用VMware创建虚拟机,参考指南完成安装,默认用户名为root,密码自设。

193 0
|
7月前
|
存储 安全 前端开发
|

1.认识OAuth2.0

OAuth2.0是一种开放授权协议,允许第三方应用在用户授权下访问其资源,而无需获取用户账号密码。相比传统授权更安全,广泛用于第三方登录、服务间资源共享等场景,支持授权码、简化、密码及客户端四种模式,其中授权码模式最安全,适用于Web应用;简化模式适合无后端的前端应用;密码模式用于高度信任的服务间调用;客户端模式则用于系统间内部通信。Spring Security OAuth2可实现单点登录与服务权限控制。

447 0
|
7月前
|
安全 Java 开发工具
|

工程搭建与验证

本文介绍如何基于阿里云脚手架快速搭建Spring Boot工程,并整合Spring Security实现基础安全控制。内容涵盖项目创建、代码导入、Web依赖配置、访问接口开发及Spring Security的引入与验证,附带完整代码仓库地址,便于学习与实践。

118 0
|
7月前
|
人工智能 物联网 测试技术
|

ModelScope魔搭社区发布月报 -- 25年12月

魔搭社区12月重磅更新DeepSeek 3.2、Mistral-3等模型,Z-Image-Turbo引领文生图生态,平台全面升级加速开源模型落地。

853 8
|
7月前
|
人工智能 API 定位技术
|

如何利用 OneKey MCP Router Python SDK构建大模型Function Call多工具调用数据集

OneKey MCP Router SDK 提供统一API密钥与标准化Python接口,简化多MCP服务器集成,支持搜索、地图、支付等工具调用,助力高效构建AI Agent的Function Call数据集。

439 0
|
8月前
|
数据采集 文字识别 算法
|

腾讯混元&清华开源15M高质量多模态训练数据,全面开放MLLM迎来质变时刻

腾讯混元与清华推出Bee项目,首创“以数据为中心”的全栈开源方案,通过Honey-Data-15M高质量数据集、HoneyPipe数据增强管线及Bee-8B模型,显著提升全开源多模态大模型性能,缩小与闭源模型差距。

757 4
|
8月前
|
存储 JSON 人工智能
|

MajorRAG聊天问答系统实现分析(3/3)

一个RAG项目,全文共三个部分:MajorRAG概述、MajorRAG文件内容提取实现分析、MajorRAG聊天问答系统实现分析。 1)第一次做RAG,欢迎带着指导意见评论 2)希望指出不足时可以附带替换方法 博客地址:https://zhangcraigxg.github.io

428 1
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
|

UI-Ins:让 GUI 智能体真正“看懂”用户指令的新范式

通义实验室联合人大发布全新GUI Grounding模型UI-Ins,首创“指令即推理”范式,通过多视角动态推理实现SOTA性能,在五大基准全面领先,支持开源复现与应用。

1066 1
|
9月前
|
人工智能 物联网
|

Face-to-Photo 模型开源!联名麦橘MERJIC,遇见另一个你!

魔搭 DiffSynth-Studio 团队携手知名创作者麦橘MERJIC,正式开源全新 AI 图像生成模型——Face-to-Photo!该模型基于 Qwen-Image-Edit,采用 LoRA 的模型结构,专为人脸图像生成而优化,将一张普通的人脸照片转化…

1033 13
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
|

123_自监督任务变体:Causal LM详解 - GPT-style下一词预测机制与训练优化

2025年,自监督学习已成为大型语言模型(LLM)训练的核心范式,其中因果语言建模(Causal Language Modeling, CLM)作为GPT系列模型的基础训练目标,展现出了卓越的生成能力和下游任务迁移性能。与掩码语言建模(Masked Language Modeling, MLM)不同,因果语言建模专注于预测序列中的下一个词元,这种训练方式自然地适应了自回归生成的需求,为文本生成、对话系统等任务奠定了坚实基础。

673 1
|
9月前
|
数据采集 人工智能 自然语言处理
|

63_模型定制:领域微调技术

在2025年的AI生态系统中,通用大语言模型(LLM)如ChatGPT、LLaMA 3、Claude 3等已经展现出惊人的通用能力。然而,当面对特定行业或场景的专业需求时,通用模型往往表现出局限性:术语理解不准确、领域知识不足、任务适配性差等问题。这正是模型定制与微调技术应运而生的背景。

653 0
|
9月前
|
机器学习/深度学习 缓存 并行计算
|

90_推理优化:性能调优技术

随着大型语言模型(LLM)规模的不断扩大和应用场景的日益复杂,推理性能已成为制约模型实际部署和应用的关键因素。尽管大模型在各项任务上展现出了令人惊艳的能力,但其庞大的参数量和计算需求也带来了严峻的性能挑战。在资源受限的环境中,如何在保持模型效果的同时,最大化推理性能,成为了研究人员和工程师们亟待解决的核心问题。

631 0
|
9月前
|
敏捷开发 人工智能 自然语言处理
|

87_文化适配:多语言提示设计 - 分析本地化提示的适配性

在全球化日益深入的今天,大型语言模型(LLM)的多语言能力已成为其核心竞争力之一。随着企业和开发者将AI应用推广到不同语言区域,如何设计适配各文化背景的提示词,确保模型输出既准确又符合目标语言使用者的文化习惯,已成为提示工程领域的重要挑战。文化适配的多语言提示设计不仅涉及简单的语言翻译,更需要深入理解目标文化的思维模式、表达习惯、价值观和禁忌,通过精心设计的提示策略,引导LLM生成真正贴合当地文化语境的内容。

449 0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉答疑群:44837352

0
今日
15276
内容
6
活动
4250
关注
你好!
登录掌握更多精彩内容

相关产品

  • 人工智能平台 PAI
  • 文字识别
  • 智能语音交互