# 图像识别 #
0
关注
1061内容
ShowUI：新加坡国立联合微软推出用于 GUI 自动化的视觉-语言-操作模型
ShowUI是由新加坡国立大学Show Lab和微软联合推出的视觉-语言-行动模型，旨在提升图形用户界面（GUI）助手的效率。该模型通过UI引导的视觉令牌选择和交错视觉-语言-行动流，有效减少计算成本并提高训练效率。ShowUI在小规模高质量数据集上表现出色，展现出在GUI自动化领域的潜力。
SmolVLM：Hugging Face推出的轻量级视觉语言模型
SmolVLM是Hugging Face推出的轻量级视觉语言模型，专为设备端推理设计。以20亿参数量，实现了高效内存占用和快速处理速度。SmolVLM提供了三个版本以满足不同需求，并完全开源，所有模型检查点、VLM数据集、训练配方和工具均在Apache 2.0许可证下发布。
Fugatto：英伟达推出的多功能AI音频生成模型
Fugatto是由英伟达推出的多功能AI音频生成模型，能够根据文本提示生成音频或视频，并修改现有音频文件。该模型基于增强型的Transformer模型，支持复杂的组合指令，具有强大的音频生成与转换能力，广泛应用于音乐创作、声音设计、语音合成等领域。
LongLLaVA：香港中文大学推出的多模态上下文混合架构大语言模型
LongLLaVA是由香港中文大学推出的多模态大型语言模型，采用混合架构，结合Mamba和Transformer模块，旨在高效处理大量图像数据。该模型能够在单个A100 80GB GPU上处理多达1000张图像，通过2D池化技术压缩图像token，显著降低计算成本，同时保留关键的空间关系信息。LongLLaVA在视频理解、高分辨率图像分析和多模态代理等应用场景中展现出卓越的性能。
LazyGraphRAG：微软推出的图形增强生成增强检索框架
LazyGraphRAG是微软研究院推出的图形增强生成增强检索框架，旨在大幅降低数据索引成本并提高查询效率。该框架结合了最佳优先搜索和广度优先搜索，支持本地和全局查询，适用于一次性查询、探索性分析和流数据处理。LazyGraphRAG将加入开源的GraphRAG库，为开发者和企业提供更高效的技术支持。
MuCodec：清华、腾讯AI、港中文共同推出的超低比特率音乐编解码器
MuCodec是由清华大学深圳国际研究生院、腾讯AI实验室和香港中文大学联合开发的超低比特率音乐编解码器。它能够在0.35kbps至1.35kbps的比特率下实现高效的音乐压缩和高保真重建，适用于在线音乐流媒体服务、音乐下载、语言模型建设等多个应用场景。
EvolveDirector：阿里联合南洋理工推出文本到图像生成模型的高效训练技术
EvolveDirector是由阿里巴巴和南洋理工大学联合推出的文本到图像生成模型的高效训练技术。该框架通过与高级模型的API交互获取数据对，并利用预训练的大型视觉语言模型（VLMs）动态优化训练数据集，显著减少了数据量和训练成本。EvolveDirector能够从多个高级模型中选择最佳样本进行学习，使最终训练出的模型在多个方面超越现有高级模型。
StoryTeller：字节、上海交大、北大共同推出的全自动长视频描述生成一致系统
StoryTeller是由字节跳动、上海交通大学和北京大学共同推出的全自动长视频描述生成系统。该系统通过音频视觉角色识别技术，结合低级视觉概念和高级剧情信息，生成详细且连贯的视频描述。StoryTeller在MovieQA任务中展现出比现有模型更高的准确率，适用于电影制作、视频内容分析、辅助视障人士等多个应用场景。
ACE：阿里通义实验室推出的全能图像生成和编辑模型
ACE是阿里巴巴通义实验室推出的全能图像生成和编辑模型，基于扩散变换器，支持多模态输入和多任务处理。该模型通过长上下文条件单元（LCU）和统一条件格式，能够理解和执行自然语言指令，实现图像生成、编辑和多轮交互等复杂任务，显著提升视觉内容创作的效率和灵活性。
Kandinsky-3：开源的文本到图像生成框架，适应多种图像生成任务
Kandinsky-3 是一个开源的文本到图像生成框架，基于潜在扩散模型，能够适应多种图像生成任务。该框架支持高质量和逼真的图像合成，包括文本引导的修复/扩展、图像融合、文本-图像融合及视频生成等功能。Kandinsky-3 通过简化模型架构，提高了推理速度，同时保持了图像质量。
免费试用