128_自我监督变体:SimCLR for Text - 推导对比学习的文本应用,代码实现无标注预训练的独特目标
在大型语言模型快速发展的今天,自我监督学习已成为训练高质量模型的核心技术。然而,传统的掩码语言建模(MLM)和因果语言建模(CLM)方法存在一些局限性,如计算效率低下和上下文利用不充分等问题。对比学习作为一种新兴的自我监督学习范式,通过学习相似性和差异性来提取数据的内在表示,为语言模型预训练提供了新的思路。
126_自定义损失:多目标训练 - 设计加权损失的独特平衡策略
在2025年的大型语言模型(LLM)训练领域,多目标学习已成为提升模型综合性能的关键技术之一。传统的单一损失函数训练方法逐渐显现出局限性,尤其在处理复杂的语言理解、生成和推理任务时。多目标训练通过同时优化多个互补的学习目标,能够显著提升模型的泛化能力、知识保留和任务适应性。
95_跨任务提示:一次提示完成多种任务
在大语言模型(LLM)应用开发中,我们常常面临需要处理多个相关任务的场景。传统方法是为每个任务单独设计提示并调用API,这不仅增加了开发复杂度,还会导致token消耗增加和响应延迟累积。跨任务提示(Multi-Task Prompting)作为一种高效的提示工程技术,能够在单个提示中集成多个相关任务,让LLM一次调用完成多种处理需求。
43_PaLM与Gemma:谷歌LLM演进
在人工智能发展的浪潮中,谷歌一直扮演着关键的技术引领者角色。从最初的神经机器翻译到如今的通用人工智能,谷歌通过持续的技术创新推动着自然语言处理领域的边界不断拓展。2022年,谷歌推出了革命性的PaLM(Pathways Language Model),这一模型不仅在规模上达到了前所未有的5400亿参数,更重要的是其采用了创新的Pathways训练方法,为大型语言模型的发展开辟了新路径。随后,谷歌又推出了Gemma系列开源模型,将先进的AI技术普惠给更广泛的开发者社区。
AI 加速科学发现丨Al For Science 专场直播
AI 科学家时代正加速到来,但科研智能体真的做好准备了吗?真实科研场景中,多模态智能体能否在推理、规划与执行等关键能力上达到人类科研人员的水平?我们又该如何准确评估它们的科学认知能力和数据分析表现?
【AI编程】AI+高德MCP不到10分钟搞定上海三日游
本文介绍了小白如何通过AI编程工具(如Trae)快速开发应用并实现技术变现。内容涵盖AI编程用途、工具准备、高德地图开发者权限获取、AI工具配置及实战生成旅游攻略与打印页面,帮助零基础用户轻松入门AI编程。
超强辅助!Bolt.diy 自然语言建站工具一键云端部署方案
Bolt.diy 是一款从创意到部署的极速开发工具,支持多语言模型(如 OpenAI、DeepSeek 等)灵活适配,满足不同任务需求。其模块化架构提供高度定制化能力,可扩展自定义服务与私有模型。全栈开发流程覆盖代码生成、调试、版本管理到一键部署,内置数据库管理与 API 自动生成功能。智能化辅助工具实时分析代码错误并提供建议,帮助开发者高效理解复杂项目。基于云原生平台 CAP 构建,支持快速部署与实时预览,适用于快速原型设计、教育及企业级开发等场景。
突破自动驾驶"交规困境":高德&西交发布交规+高精地图基准MapDR,车道级交通规则在线理解,让AI更懂交规!
作为专业领先的出行和位置服务提供商,高德地图以数据准确率高、鲜度高著称。当前自动驾驶技术总是关注到矢量地图的构建,往往忽略了车道级驾驶规则的制作。对应图商而言,车道级的领航不仅需要有正确的车道级矢量表达,还要明确每条路的驾驶规则,保证引导的准确率。
今日论文推荐:MAPS、RoboFactory、OpenVLThinker等
由 AIRI 和 MIPT 等机构提出的这项工作,聚焦于视觉编码器生成的大量视觉 token 如何在保持高质量表征的同时减少计算成本。他们提出了一种自适应 token 削减方法,通过结合自编码器和 Gumbel-Softmax 选择机制,筛选出最具信息量的 token。实验表明,在 OCR 任务中可削减超 50% 的视觉上下文而不损失性能,为高效多模态推理开辟了新方向。
今日论文推荐:DeepMesh、TULIP、Cube、STEVE及LEGION
由上海 AI 实验室、西安交通大学等机构提出的 φ-Decoding,是一种全新的推理时间优化策略。该工作通过前瞻采样和聚类技术,平衡了探索与利用的关系,显著提升了大语言模型(LLM)的推理性能。实验表明,其在七个基准测试中超越了强基线,且具备跨模型通用性和计算预算扩展性。
Instella:AMD开源30亿参数语言模型!训练效率碾压同级选手
Instella是AMD推出的30亿参数开源语言模型,基于自回归Transformer架构,支持多轮对话、指令跟随和自然语言理解,适用于智能客服、内容创作和教育辅导等多个领域。
热门论文推荐:TPDiff、Block Diffusion、Reangle-A-Video、GTR
由新加坡国立大学Show Lab的Lingmin Ran和Mike Zheng Shou提出,TPDiff是一个创新的视频扩散模型框架,针对视频生成的高计算需求问题,通过分阶段逐步提高帧率优化了训练和推理效率。核心贡献包括提出“时间金字塔”方法和阶段式扩散训练策略,实验表明训练成本降低50%,推理效率提升1.5倍。
AVD2:清华联合复旦等机构推出的自动驾驶事故视频理解与生成框架
AVD2 是由清华大学联合多所高校推出的自动驾驶事故视频理解与生成框架,结合视频生成与事故分析,生成高质量的事故描述、原因分析和预防措施,显著提升自动驾驶系统的安全性和可靠性。
打造跨语言智能工具与应用,“万卷·丝路”专项课题开放申请
随着共建“一带一路”进入高质量发展阶段,全球开发者对于多语言模型训练的需求不断增长,上海AI实验室联合大模型语料数据联盟成员发布了“万卷·丝路”多语言预训练语料库,为多语言大模型训练提供高质量数据支撑,助力全球开发者构建跨语言智能工具与应用。
GDC2025 | 探索最前沿的开源大模型技术与创新,2025全球开发者先锋大会,上海见!
2025全球开发者先锋大会将于2月21-23日在徐汇盛大召开!大会以“模塑全球 无限可能”为主题,定位“社区的社区”,旨在促进基模、垂模、语料、算力、基金、开发者、软件服务等产业生态深度对接。
GDC2025 | DeepSeek-Qwen 模型蒸馏极限挑战赛,来了!(预赛报名)
欢迎您关注由魔搭社区 x SwanLab平台联合举办的 DeepSeek-Qwen 模型蒸馏极限挑战赛!本赛事将作为2025全球开发者先锋大会(GDC)的活动之一,欢迎具备大模型训练/微调实战经验的独立开发者前来挑战!详细报名规则见后文。
FlashVideo:生成1080p视频仅需102秒,字节联合港大推出低成本高分辨率视频生成框架
FlashVideo 是字节跳动和香港大学联合推出的高分辨率视频生成框架,通过两阶段方法显著降低计算成本,快速生成高质量视频。
Aligner:自动修正AI的生成结果,北大推出残差修正模型对齐技术
介绍北大团队提出的 Aligner 模型对齐技术,通过学习对齐答案与未对齐答案之间的修正残差,提升大语言模型的性能。
Edicho:多图像一致性编辑,支持即插即用无需训练,快速实现风格转换
Edicho 是蚂蚁集团联合港科大等高校推出的多图像一致性编辑方法,基于扩散模型,支持即插即用,无需额外训练,适用于多种图像编辑任务。
PersonaMagic:人像与风格融合!快速生成个性化的头像
PersonaMagic 是一种创新的高保真人脸定制技术,通过阶段调节的文本条件策略和动态嵌入学习,能够根据单张图像生成个性化角色,广泛应用于娱乐、游戏、影视等领域。
CompassArena上新!JudgeCopilot与新一代Bradley-Terry模型竞技体验
2024 年 5 月,上海人工智能实验室司南 OpenCompass 团队携手魔搭 ModelScope,联合推出了大模型评测平台——CompassArena(大模型竞技场),为大模型领域引入了一种全新的竞技模式。
77_自动化脚本:Makefile与Airflow
在当今AI大模型时代,高效的工作流管理对于模型训练、推理和部署至关重要。随着大模型规模的不断增长和复杂度的提升,传统的手动脚本管理方式已无法满足需求。自动化脚本和工作流调度系统成为构建健壮、可重复、可扩展的LLM Pipeline的关键工具。其中,Makefile作为经典的自动化构建工具,与Airflow作为现代工作流调度平台的结合,为LLM开发团队提供了强大的工作流管理能力。
外滩大会报名 | 破局 AI 时代,洞察大模型开源开发全景、趋势与机遇
当 AI 浪潮以肉眼可见的速度重塑全球技术格局,大模型的迭代如浪涌般此起彼伏,开发者们在开源社区的每一次代码提交、每一次项目引用,都在悄然勾勒着行业未来的走向。如何在纷繁复杂的技术演进中,看清 AI 生态的全景与未来?一场围绕大模型开源开发趋势的深度对话已蓄势待发。
8月23日南京Unstructured Data Meetup 启动
8月23日,南京场Unstructured Data Meetup 将在阿里中心·南京建邺 江苏省南京市建邺区沙洲街道新城科技园科技创新综合体A2栋举办。
我把ODPS当朋友用,它却一直当我命根子
本文讲述了作者在数据处理工作中与 ODPS 从“无奈使用”到“深度依赖”的真实心路历程。面对业务压力、系统崩溃、任务延迟等现实问题,ODPS 以稳定、高效的性能成为作者最可靠的“搭档”。文章通过多个实战场景,展现了 ODPS 在日常数据处理中的实用价值,也道出了技术人对“稳定”与“结果”的执着追求。
OpenCSG中文数据集助推CMU无分词器模型登顶SOTA
语言模型正迎来划时代的技术跃迁!传统Transformer架构依赖分词器(tokenizer)的范式即将被颠覆,一种全新的端到端建模方式正在崛起。
与阿里合作的《人工智能(导论)》出版编辑中
《人工智能导论——深度学习大模型基础》由赵卫东编著,清华大学出版社出版。本书旨在帮助读者理解深度学习与大模型技术的底层逻辑,通过机器视觉、语音处理及自然语言处理等章节,结合实际应用场景,深入浅出地讲解相关理论。书中引入低代码开发平台和云端实验室资源,助力读者实践所学。无论专业背景如何,本书都能成为进入AI领域的理想入门书籍。特别感谢阿里云及参与编校工作的同学们的支持。
ModelScope魔搭25年5月发布月报
不知不觉间,日历已经翻过了立夏,而开源模型的世界中似乎并没有春夏秋冬。在刚刚过去的四月份,见证了开源社区又一次蓬勃发展的浪潮。以Qwen3家族为代表,一系列新模型的开源为整个生态注入了新的活力。通过全面覆盖多种规格的 dense 与 MoE 模型架构,Qwen3 首次在开源模型中引入“快思考与慢思考” 双模式的支持,获得了广大开发者的热烈欢迎,成为新一代开源大模型的标杆之作。