AI 助理
备案控制台
开发者社区 ModelScope模型即服务 文章 正文

LLM as Controller—无限拓展LLM的能力边界（2）

2023-07-28 335
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
交互式建模 PAI-DSW，每月250计算时 3个月
推荐场景：
PAI×LLaMA Factory 微调 Llama3 模型
模型训练 PAI-DLC，100CU*H 3个月
推荐场景：
低代码 Lora 微调及部署
模型在线服务 PAI-EAS，A10/V100等 500元 1个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务
简介： LLM as Controller—无限拓展LLM的能力边界

LLM as Controller—AI操作系统的雏形

首先我从原来的Windows/macOS/Linux等操作系统的模式说起，比如Windows操作系统上可能有搜索引擎/办公软件/编辑软件等等，然后搜索引擎有谷歌/百度/搜狗等等，谷歌可以搜索到维基百科/知乎/github等等网站，维基百科可以找到名人/建筑/历史等信息。上图的划分方式是为了下文阐述的简化表达。

办公软件比如office全家桶，office全家桶有ppt、word等等，ppt里面又有很多功能点。

编辑软件比如adobe全家桶，adobe全家桶有PS、AE、AI等等，PS里面又有很多功能点。

其中每个分叉都可以认为是一个聚合体单元，其实就是对应最开始描述框架下的Agent，只不过Agent在不同层次的概念粒度以及复杂程度是不同的。比如上图中的维基百科就可以认为是各种概念信息的聚合体。

在搜索引擎出现之前，人们找需要的信息时，需要从对应的网站找对应的信息，这是多个输入对应多个输出的情况；而搜索引擎就是通过更强大的搜索算法对各种网站进行了聚合，即出现了更大概念的Agent，这个时候输入口变成了1个，但是输出仍然需要跳转到各个网站上去获取；而LLM的出现会使得输入输出都变成1个口，并且对输入的精确表达程度要求更低。从这个演化过程来看，LLM会导致完全统一输入输出的Agent的出现，这个时候用户可以无需关心Agent内部的具体构造(即Agent内部完全黑盒化，由LLM自己决策中间过程)，只需要输入并获取想要的输出。

从上述Agent单元的阐述来看，Windows/macOS/Linux等操作系统都可以简化成上图，即不同概念粒度Agent组成的多层Agent树。每个概念粒度的Agent都会逐渐标准化。从Agent的角度来看，HuggingGPT、Visual ChatGPT实际上就是模型管理功能的Agent。

如果在每一层或者每一个Agent单元配备一个LLM作为控制器，并且所有LLM都是信息互通的，并且LLM的语言理解能力是100分，那么可能就会出现真正的AI操作系统。通过AI操作系统中的所有LLM联动控制，可以将一个复杂任务拆分成不同层次的子任务，然后通过所有的Agent联动处理，最后输出想要的结果。

Windows/macOS/Linux等操作系统通过程序编程给出UI界面，然后用户通过鼠标点击和UI界面进行交互完成工作；而AI操作系统可能会变成只需要理解用户的语言就能完成工作。这个转变可能会导致鼠标点击和UI界面进行交互的方式可能会变得越来越冗余。

如果AI操作系统只需要理解用户的语言就能完成工作，那么所有不同粒度的Agent就能看成一个黑盒子(因为中间的所有决策环节都由LLM决定了)，即一个最大聚合体Agent，而它的内核就是AI操作系统。

从AI操作系统的角度来看，实际上AutoGPT试图自顶向下的构建最大范围的Agent，正是因为范围过于广阔，导致中间过程非常的不可控；而类似HuggingGPT、Visual ChatGPT更倾向于自底向上搭建更可控的Agent，Agent能做的事情都是事先知道的。

08Reference

The Complete Beginners Guide To Autonomous Agents

https://www.mattprd.com/p/the-complete-beginners-guide-to-autonomous-agents

NexusGPT——目前为止看到的最有创意的Autonomous Agents类项目！附该领域进展概览

https://zhuanlan.zhihu.com/p/624182268

AutoGPT与LLM Agent解析

https://zhuanlan.zhihu.com/p/622947810

Task-driven Autonomous Agent Utilizing GPT-4, Pinecone, and LangChain for Diverse Applications

https://yoheinakajima.com/task-driven-autonomous-agent-utilizing-gpt-4-pinecone-and-langchain-for-diverse-applications/

Toolformer: Language Models Can Teach Themselves to Use Tools

https://arxiv.org/abs/2302.04761

NexusGPT

World’s 1st AI-freelancer platform

https://nexus.snikpic.io/

Generative Agents: Interactive Simulacra of Human Behavior

https://arxiv.org/abs/2304.03442

Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models

https://arxiv.org/abs/2303.04671

HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace

https://arxiv.org/abs/2303.17580

Significant-Gravitas/Auto-GPT

https://github.com/Significant-Gravitas/Auto-GPT

文章标签：
iOS开发
搜索推荐
人工智能
Linux
Windows
MacOS
关键词：
LLM controller拓展
ModelScope运营小助手
目录
相关文章
ModelScope运营小助手
|
人工智能 自然语言处理 算法
LLM as Controller—无限拓展LLM的能力边界（1）
LLM as Controller—无限拓展LLM的能力边界
ModelScope运营小助手
325 1
想飞的雪糕
|
3月前
|
前端开发 机器人 API
前端大模型入门（一）：用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型（LLM）的HTTP API流式调用机制及其在前端的实现方法。通过流式调用，服务器可以逐步发送生成的文本内容，前端则实时处理并展示这些数据块，从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误，以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景，能够显著减少用户的等待时间，增强交互性。
想飞的雪糕
716 2
TsingtaoAI
|
3月前
|
机器学习/深度学习 人工智能 运维
企业内训｜LLM大模型在服务器和IT网络运维中的应用-某日企IT运维部门
本课程是为某在华日资企业集团的IT运维部门专门定制开发的企业培训课程，本课程旨在深入探讨大型语言模型（LLM）在服务器及IT网络运维中的应用，结合当前技术趋势与行业需求，帮助学员掌握LLM如何为运维工作赋能。通过系统的理论讲解与实践操作，学员将了解LLM的基本知识、模型架构及其在实际运维场景中的应用，如日志分析、故障诊断、网络安全与性能优化等。
TsingtaoAI
103 2
不游泳的鱼鱼
|
3月前
|
机器学习/深度学习 数据采集 人工智能
文档智能 & RAG 让AI大模型更懂业务 —— 阿里云LLM知识库解决方案评测
随着数字化转型的深入，企业对文档管理和知识提取的需求日益增长。阿里云推出的文档智能 & RAG（Retrieval-Augmented Generation）解决方案，通过高效的内容清洗、向量化处理、精准的问答召回和灵活的Prompt设计，帮助企业构建强大的LLM知识库，显著提升企业级文档管理的效率和准确性。
不游泳的鱼鱼
353 2
楠竹11
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
深挖大模型幻觉！哈佛大学最新报告：LLM等价于众包，只是在输出网络共识
大型语言模型（LLM）如ChatGPT正改变人机交互，但在生成看似真实的错误信息方面存在“幻觉”问题。这种现象源于LLM依赖统计概率而非语义理解，导致在处理争议或冷门话题时易出错。研究显示，LLM的准确性高度依赖于训练数据的质量和数量。尽管如此，LLM仍具巨大潜力，需持续优化并保持批判性使用。
楠竹11
55 12
楠竹11
|
2月前
|
人工智能 自然语言处理
大模型在装傻！谷歌苹果最新发现：LLM知道但不告诉你，掌握知识比表现出来的多
在AI领域，大模型（LLM）展现出了惊人的进步，但在谷歌和苹果的最新研究中，发现这些模型有时会故意“装傻”，即使已知正确答案也不告知用户。这种“隐藏智慧”现象揭示了大模型可能具备超出表面表现的深层能力，对AI评估与应用提出了新挑战，同时也带来了设计更高效模型的新机遇。论文链接：https://arxiv.org/pdf/2410.02707
楠竹11
47 11
kaixin321-44007
|
2月前
|
自然语言处理 开发者
多模态大模型LLM、MLLM性能评估方法
针对多模态大模型（LLM）和多语言大模型（MLLM）的性能评估，本文介绍了多种关键方法和标准，包括模态融合率（MIR）、多模态大语言模型综合评估基准（MME）、CheckList评估方法、多模态增益（MG）和多模态泄露（ML），以及LLaVA Bench。这些方法为评估模型的多模态和多语言能力提供了全面的框架，有助于研究者和开发者优化和改进模型。
kaixin321-44007
169 5
楠竹11
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
大模型强崩溃！Meta新作：合成数据有剧毒，1%即成LLM杀手
在人工智能领域，大型语言模型（LLMs）的快速发展令人瞩目，但递归生成数据可能导致“模型崩溃”。Meta的研究揭示，模型在训练过程中会逐渐遗忘低概率事件，导致数据分布偏差。即使少量合成数据（如1%）也会显著影响模型性能，最终导致崩溃。研究强调保留原始数据的重要性，并提出社区合作和技术手段来区分合成数据和真实数据。论文地址：https://www.nature.com/articles/s41586-024-07566-y
楠竹11
89 2
TsingtaoAI
|
2月前
|
人工智能 自然语言处理 算法
政务培训｜LLM大模型在政府/公共卫生系统的应用
本课程是TsingtaoAI公司面向某卫生统计部门的政府职员设计的大模型技术应用课程，旨在系统讲解大语言模型（LLM）的前沿应用及其在政府业务中的实践落地。课程涵盖从LLM基础知识到智能化办公、数据处理、报告生成、智能问答系统构建等多个模块，全面解析大模型在卫生统计数据分析、报告撰写和决策支持等环节中的赋能价值。
TsingtaoAI
80 2
想飞的雪糕
|
3月前
|
人工智能 自然语言处理 运维
前端大模型应用笔记（一）：两个指令反过来说大模型就理解不了啦？或许该让第三者插足啦 -通过引入中间LLM预处理用户输入以提高多任务处理能力
本文探讨了在多任务处理场景下，自然语言指令解析的困境及解决方案。通过增加一个LLM解析层，将复杂的指令拆解为多个明确的步骤，明确操作类型与对象识别，处理任务依赖关系，并将自然语言转化为具体的工具命令，从而提高指令解析的准确性和执行效率。
想飞的雪糕
68 6

ModelScope模型即服务

热门文章

最新文章

  • 1
    实战阿里qwen2.5-coder 32B，如何配置Cline的Ollama API接口。
  • 2
    CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
  • 3
    multi-agent：多角色Agent协同合作，高效完成复杂任务
  • 4
    Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
  • 5
    FLUX.1 Tools 全家桶开源！文末附一键ComfyUI启动链接
  • 6
    Smolagents：三行代码就能开发 AI 智能体，Hugging Face 开源轻量级 Agent 构建库
  • 7
    WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • 8
    DeepSeek-V2.5-1210 在线开放使用！支持联网搜索，在各大领域的表现得到全面提升
  • 9
    千问团队开源会思考的QwQ模型，这模型成精了！
  • 10
    智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 1
    【论文专辑】2024年大模型推理优化论文精选第六期
    14
  • 2
    麦橘超然上线魔搭社区，免费生图和训练，文末返图有奖
    24
  • 3
    AIOpsLab：云服务自动化运维 AI，微软开源云服务 AI 框架，覆盖整个生命周期
    35
  • 4
    PsycoLLM：开源的中文心理大模型，免费 AI 心理医生，支持心理健康评估与多轮对话
    77
  • 5
    Gemini Coder：基于 Google Gemini API 的开源 Web 应用生成工具，支持实时编辑和预览
    50
  • 6
    MiniPerplx：基于 Grok 2.0 的开源 AI 搜索引擎，支持网页、学术、视频搜索
    35
  • 7
    AddressCLIP：一张照片就能准确定位！中科院联合阿里云推出街道级图像地理定位模型
    47
  • 8
    CreatiLayout：复旦与字节联合推出布局到图像生成技术，支持高质量图像生成与布局优化
    34
  • 9
    Cosmos：英伟达生成式世界基础模型平台，加速自动驾驶与机器人开发
    34
  • 10
    KAG：增强 LLM 的专业能力！蚂蚁集团推出专业领域知识增强框架，支持逻辑推理和多跳问答
    77

    • 相关课程

    更多
  • AliPG的独特能力
  • 使用Higress AI网关优化AI调用成本
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion
  • 创空间应用训练个性化模型
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • 视觉AI技术体系及趋势概述

    • 相关电子书

    更多
  • PAI灵骏智算 构建全链路LLM服务的最佳实践
  • PAI-ChatLearn 灵活易用大规模RLHF高训练框架
  • 通用多模态AI构建

    • 相关实验场景

    更多
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • 函数计算部署PuLID for FLUX人像写真实现换脸效果
  • 在SAE控制台极速部署个人LLM效能工具
  • 如何快速体验知识检索增强应用
  • 以电商场景为例搭建AI语义搜索应用
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
    • 下一篇
    DataWorks智能交互式数据开发与分析之旅