OpenAI GPT-4震撼发布:多模态大模型

简介: OpenAI GPT-4震撼发布:多模态大模型

3 月 14 日晚间,OpenAI 宣布发布 GPT-4。

8.1.png

“我们创建了 GPT-4,这是 OpenAI 努力扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型(接受图像和文本输入,提供文本输出),虽然在许多现实世界场景中的能力不如人类,但在各种专业和学术基准上表现出人类水平”,OpenAI 表示。


发布要点

GPT-4可以接受图像和文本输入,而GPT-3.5只接受文本。

GPT-4在各种专业和学术基准上的表现达到 “人类水平”。例如,它通过了模拟的律师考试,分数约为应试者的前10%。

OpenAI花了6个月的时间,利用从对抗性测试项目以及ChatGPT中获得的经验,反复调整GPT-4,结果在事实性、可引导性和可控制方面取得了

“史上最佳结果”。

在简单的聊天中,GPT-3.5和GPT-4之间的区别可能微不足道,但是当任务的复杂性达到足够的阈值时,区别就出来了,GPT-4比GPT-3.5更可靠,更有创造力,能够处理更细微的指令。

GPT-4能对相对复杂的图像进行说明和解释,比如说,从插入iPhone的图片中识别出一个Lightning

Cable适配器(下文有图片)。

图像理解能力还没有向所有OpenAI的客户开发,OpenAI正在与合作伙伴Be My Eyes进行测试。

OpenAI承认,GPT-4并不完美,仍然会对事实验证的问题产生错乱感,也会犯一些推理错误,偶尔过度自信。

开源OpenAI Evals,用于创建和运行评估GPT-4等模型的基准,同时逐个样本检查其性能。

OpenAI 联合创始人 Sam Altman 表示,它是“迄今为止功能最强大、最一致的模型”,能够使用图像和文本。


GPT4的新功能

GPT-4:我能玩梗图

8.2.png

首先,看图能力可以用来解释表情包、梗图。

提问这张图哪里好笑?GPT-4可以按顺序描述出每一格的内容,并总结出笑点:


为什么这张图片很可笑?GPT-4 回答道,VGA 线充 iPhone。


GPT4:理解图片

当你给 GPT-4 发送下面这张图片,并询问它,该图片有哪些不寻常的地方?


8.3.png

GPT-4 回答:这张照片的不同寻常之处在于,一名男子正在行驶中的出租车车顶上的熨衣板上熨烫衣服。8.4.png

(看图)手套掉下去会怎样?

GPT-4 回答道,它会掉到木板上,并且球会被弹飞

.5.gif


拍一张照片上传给GPT-4,它就可以立马生成网站的HTML代码!

image.gif

GPT4:识别与解析图片内容

在性能表现上,OpenAI直接甩出一句话:


在各种专业和学术基准上和人类相当!


最近这几个月,ChatGPT 的爆火,让人们惊叹于人工智能强大的聊天能力。GPT4 出来后,可以看到,在聊天之外,人工智能的能力已不断扩展其外延。


ChatGPT 用的语言模型是 GPT-3.5。在谈到 GPT-4 比前一个版本强大在哪里时,OpenAI

称,虽然这两个版本在随意的谈话中看起来很相似,但“当任务的复杂性达到足够的阈值时,差异就会出现”,GPT-4

更可靠、更有创意,并且能够处理更细微的指令。该公司表示,GPT-4 响应禁止内容请求的可能性比其前一个版本低 82%。OpenAI

表示,在内部评估中,GPT-4 产生正确回应的可能性要比 GPT-3.5 高出 40%。


而且 GPT-4 是多模态的,同时支持文本和图像输入功能。此外,GPT-4 比以前的版本“更大”,这意味着其已经在更多的数据上进行了训练,并且在模型文件中有更多的权重,这也使得它的运行成本更高。

OpenAI 称它使用了微软 Azure 来训练模型,但没有公布有关具体模型大小或用于训练它的硬件的详细信息。


史上最强大模型


正如之前传言,GPT-4确实拥有多模态能力,可以接受图像输入并理解图像内容。

并且可接受的文字输入长度也增加到3.2万个token(约2.4万单词)。

升级之后,GPT-4在各种职业和学术考试上表现和人类水平相当。

比如模拟律师考试,GPT-4取得了前10%的好成绩,相比之下GPT-3.5是倒数10%。

做美国高考SAT试题,GPT-4也在阅读写作中拿下710分高分、数学700分(满分800)。


怎样面对GPT4

GPT-4 再次给我们敲响了警钟:拥有如此强大的编程能力,AI 真的会取代程序员?


前段时间,前哈佛大学计算机科学教授、谷歌工程主管 Matt Welsh 还曾对此发出断言,表示“生成式 AI 将在 3 年内终结编程”,放在当下来看,也许 Welsh 所言非虚。


Welsh 认为,由于 ChatGPT 和 Copilot

等技术的出现,编程正处于从人类工作转变为机器人工作的转折点。在他看来,程序员需要演变成 AI

程序的“老师”——或者产品经理,或者代码评审人员。他认为这两个人类角色相对来说不那么受机器人的影响。“不要指望你的程序员职业生涯会一直持续下去,因为机器正在取代这个角色。”Welsh说道。


也许我们正处于一个动荡的周期之中,现在的问题不是会不会被取代,而是 AI 将在多大程度上改变软件行业,而我们也需要为未来做好准备:现在就必须习惯人工智能,毕竟让 AI 帮助我们编程就在不远的未来。

8.8.png

申请 GPT-4 API

目前,OpenAI 已面向开发者开放 GPT-4 API 的申请通道,大家想提前使用的话,可以先提交申请,进入 waitlist 中等待通过。

8.7.png

申请通道:https://openai.com/waitlist/gpt-4-api

获得访问权限后,用户当前还是只能向 GPT-4 模型发出纯文本请求,图像请求可能得等稍晚一些时间才对外开放。

相关文章
|
2月前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
3月前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
1620 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
2月前
|
机器学习/深度学习 人工智能 人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
380 121
|
2月前
|
数据采集 人工智能 搜索推荐
智能新纪元:多模态大模型如何重塑人机交互
智能新纪元:多模态大模型如何重塑人机交互
238 113
|
2月前
|
人工智能 人机交互 知识图谱
当AI学会“融会贯通”:多模态大模型如何重塑未来
当AI学会“融会贯通”:多模态大模型如何重塑未来
295 114
|
2月前
|
人工智能 安全 搜索推荐
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
268 117
|
3月前
|
人工智能 自然语言处理 API
快速集成GPT-4o:下一代多模态AI实战指南
快速集成GPT-4o:下一代多模态AI实战指南
408 101
|
4月前
|
数据采集 机器学习/深度学习 编解码
小红书 hi lab开源最强多模态大模型dots.vlm1,性能对标闭源 Gemini 2.5 Pro 和 Seed-VL1.5
小红书 hi lab开源最强多模态大模型dots.vlm1,性能对标闭源 Gemini 2.5 Pro 和 Seed-VL1.5
576 0
小红书 hi lab开源最强多模态大模型dots.vlm1,性能对标闭源 Gemini 2.5 Pro 和 Seed-VL1.5
|
3月前
|
数据采集 人工智能 文字识别
从CLIP到GPT-4V:多模态RAG背后的技术架构全揭秘
本文深入解析多模态RAG技术,涵盖其基本原理、核心组件与实践路径。通过整合文本、图像、音频等多源信息,实现跨模态检索与生成,拓展AI应用边界。内容详实,建议收藏学习。
527 50
从CLIP到GPT-4V:多模态RAG背后的技术架构全揭秘