AI 助理
备案控制台
开发者社区 ModelScope模型即服务 文章 正文

大一统模型

2023-07-28 160
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
交互式建模 PAI-DSW，每月250计算时 3个月
推荐场景：
PAI×LLaMA Factory 微调 Llama3 模型
模型在线服务 PAI-EAS，A10/V100等 500元 1个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务
模型训练 PAI-DLC，100CU*H 3个月
推荐场景：
低代码 Lora 微调及部署
简介： 大一统模型

【Task简介】

OFA（One-For-All）对不同模态和任务实现了输入输出、架构、任务的大统一，在各多模态任务取得SOTA结果，Caption任务第一名。目前在ModelScope上已经上线了图像描述、图像生成、文本分类、摘要等8个下游任务，有不同规格和不同语种的支持，后续还会继续上线更多的模态和模型已经更有意思的应用。

【说明视频】

image.png

点击链接查看视频：

https://www.yuque.com/modelscope/rdum8e/on23pp?inner=mqyqQ

【输入与输出】

根据细分场景需求，按照输入要求输入图片或者文字，会产出相应的结果数据

image.png

【场景应用】

图像描述能力可以帮助用户为图片自动产出一段文本，既能够方便快速晒图，也能方便对图片进行分类管理甚至辅助搜索。 视觉问答能力可以对图片提出特定的问题，比如可以自动化解决图片分类问题（照片里有人么？照片里有建筑么？）和自动导游（照片里的建筑叫什么名字？）

【数据集链接】

数据集：

https://modelscope.cn/datasets/modelscope/coco_2014_caption/files

https://modelscope.cn/models?name=ofa&page=1%20caption

模型文件：

https://modelscope.cn/models/damo/ofa_image-caption_coco_large_en/summary

ModelScope运营小助手
目录
相关文章
5i77ajz5u7ji6
|
8月前
|
存储 算法 测试技术
大模型落地的必经之路 | GPTQ加速LLM落地，让Transformer量化落地不再困难
大模型落地的必经之路 | GPTQ加速LLM落地，让Transformer量化落地不再困难
5i77ajz5u7ji6
275 0
楠竹11
|
2月前
|
自然语言处理 算法
RAG真能提升LLM推理能力？人大最新研究：数据有噪声，RAG性能不升反降
随着大型语言模型（LLM）在自然语言处理领域的广泛应用，检索增强生成（RAG）技术因能引入新知识和减少幻觉而受到关注。然而，RAG对LLM推理能力的实际提升效果仍存争议。中国人民大学的一项研究表明，RAG虽能辅助LLM推理，但在处理含噪信息和深度推理时面临挑战。为此，研究团队提出了DPrompt tuning方法，旨在解决噪声问题并提升RAG性能。
楠竹11
58 12
楠竹11
|
7月前
|
人工智能 API 计算机视觉
吴恩达团队新作：多模态多样本上下文学习，无需微调快速适应新任务
【6月更文挑战第27天】吴恩达团队提出多模态模型新方法—多样本上下文学习，允许模型无需微调即可快速适应新任务。通过扩大上下文窗口至2000个示例，模型性能在图像分类等任务上显著提升，同时研究了批处理优化以减少计算成本。尽管面临计算开销和数据需求的挑战，但该方法为AI的高效泛化开辟了新途径。[论文链接：https://arxiv.org/abs/2405.09798]
楠竹11
124 5
楠竹11
|
2月前
|
机器学习/深度学习 人工智能 机器人
何恺明新作出炉！异构预训练Transformer颠覆本体视觉学习范式，AI性能暴涨超20%
【10月更文挑战第29天】在机器人学习领域，训练通用模型面临数据异构性的挑战。近期研究“Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers”提出异构预训练Transformer（HPT），通过大规模预训练学习跨不同本体和任务的共享表示，显著提升了性能。实验结果显示，HPT在未见过的任务上表现优异，性能提升超过20%。
楠竹11
91 6
楠竹11
|
5月前
长上下文能力只是吹牛？最强GPT-4o正确率仅55.8%，开源模型不如瞎蒙
【8月更文挑战第10天】新研究NoCha挑战显示，即使是顶级的大型语言模型GPT-4o，在处理长篇幅文本时正确率仅55.8%，低于人类直观水平。该挑战基于近作英文小说，检验模型对整本书信息的理解与推理能力。结果显示，模型在全局推理上的表现不佳，倾向于依赖局部信息而非整体上下文，尤其是在复杂推理需求高的科幻小说上表现更弱。这一发现揭示了当前模型在处理长上下文任务上的局限性。论文链接: [https://arxiv.org/pdf/2406.16264](https://arxiv.org/pdf/2406.16264)。
楠竹11
134 65
嘟嘟嘟嘟嘟嘟
|
6月前
|
机器学习/深度学习 自然语言处理
大模型概念问题之大模型在生成文本方面有哪些革命性突破
大模型概念问题之大模型在生成文本方面有哪些革命性突破
嘟嘟嘟嘟嘟嘟
51 0
楠竹11
|
7月前
|
机器学习/深度学习 语音技术
多模态大模型不够灵活，谷歌DeepMind创新架构Zipper：分开训练再压缩
【6月更文挑战第12天】谷歌DeepMind的Zipper架构解决了多模态大模型灵活性问题，通过分解为单模态模型并用“压缩”过程组合，实现多模态生成。该方法允许独立训练每个模态，提升灵活性和可扩展性，适用于数据有限或领域特定的模态。Zipper利用交叉注意力机制融合模态输出，适用于图像描述、语音识别等任务。尽管需要更多计算资源且性能受限于单模态模型质量，但已在ASR和TTS领域展现潜力。论文链接：https://arxiv.org/pdf/2405.18669
楠竹11
72 3
凌寒ᨐ舞
|
7月前
|
存储 XML SQL
数据库建模之EAV模型
数据库建模之EAV模型
凌寒ᨐ舞
282 1
楠竹11
|
8月前
|
人工智能 自然语言处理 测试技术
多模态大模型有了统一分割框架，华科PSALM多任务登顶，模型代码全开源
【4月更文挑战第24天】华中科技大学团队推出PSALM模型，革新多模态图像分割，实现语义、实例及交互式分割任务统一处理，提升效率。模型在多项基准测试中表现优异，支持零样本学习，适用于开放词汇分割等任务。代码开源促进研究，但面临复杂场景处理和计算资源优化的挑战。[链接](https://arxiv.org/abs/2403.14598)
楠竹11
247 2
众所周知
|
8月前
|
存储 搜索推荐 算法
大模型开发：在构建推荐系统时，你会考虑哪些因素？
构建推荐系统涉及关键因素：用户行为数据（理解兴趣）、物品属性（相似性分析）、上下文信息（时间、地点）、冷启动问题（新用户/物品推荐）、可扩展性与性能（高效算法）、多样性（避免单一推荐）、可解释性（增强信任）和评估优化（准确性和用户满意度）。通过综合运用这些因素，打造精准且有效的推荐服务。
众所周知
158 1

ModelScope模型即服务

热门文章

最新文章

  • 1
    实战阿里qwen2.5-coder 32B，如何配置Cline的Ollama API接口。
  • 2
    CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
  • 3
    multi-agent：多角色Agent协同合作，高效完成复杂任务
  • 4
    Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
  • 5
    FLUX.1 Tools 全家桶开源！文末附一键ComfyUI启动链接
  • 6
    Smolagents：三行代码就能开发 AI 智能体，Hugging Face 开源轻量级 Agent 构建库
  • 7
    WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • 8
    DeepSeek-V2.5-1210 在线开放使用！支持联网搜索，在各大领域的表现得到全面提升
  • 9
    千问团队开源会思考的QwQ模型，这模型成精了！
  • 10
    智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 1
    【论文专辑】2024年大模型推理优化论文精选第六期
    14
  • 2
    麦橘超然上线魔搭社区，免费生图和训练，文末返图有奖
    24
  • 3
    AIOpsLab：云服务自动化运维 AI，微软开源云服务 AI 框架，覆盖整个生命周期
    35
  • 4
    PsycoLLM：开源的中文心理大模型，免费 AI 心理医生，支持心理健康评估与多轮对话
    77
  • 5
    Gemini Coder：基于 Google Gemini API 的开源 Web 应用生成工具，支持实时编辑和预览
    50
  • 6
    MiniPerplx：基于 Grok 2.0 的开源 AI 搜索引擎，支持网页、学术、视频搜索
    34
  • 7
    AddressCLIP：一张照片就能准确定位！中科院联合阿里云推出街道级图像地理定位模型
    47
  • 8
    CreatiLayout：复旦与字节联合推出布局到图像生成技术，支持高质量图像生成与布局优化
    34
  • 9
    Cosmos：英伟达生成式世界基础模型平台，加速自动驾驶与机器人开发
    34
  • 10
    KAG：增强 LLM 的专业能力！蚂蚁集团推出专业领域知识增强框架，支持逻辑推理和多跳问答
    77

    • 相关课程

    更多
  • 创空间应用训练个性化模型
  • 联邦学习长期教学赛
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion
  • AliPG的独特能力
  • 机器学习集成学习与模型融合
  • AI情绪鼓励师模型微调实操教学

    • 相关电子书

    更多
  • 大规模稀疏化模型技术介绍及实践
  • 强化学习在电商环境下的若干应用与研究
  • 阿里千亿特征深度学习算法XNN实践

    • 相关实验场景

    更多
  • 体育赛事！零代码生成运动风格AI写真。
  • 【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 奥运时刻！零代码生成奥运风格AI写真。
  • 函数计算一键部署AI大语言模型并会话
    • 下一篇
    DataWorks智能交互式数据开发与分析之旅