AI 助理
备案控制台
开发者社区 人工智能 文章 正文

OpenVINO™ 加速PC及小型设备LLM性能 | OpenVINO™ DEVCON 2024 第五期

2024-09-10 35
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 时隔一月，OpenVINO™ DEVCON 中国 · 系列工作坊 2024 如期上新啦！

时隔一月，OpenVINO™ DEVCON 中国 · 系列工作坊 2024 如期上新啦！

OpenVINO™ DEVCON 中国 · 系列工作坊 2024 汇聚英特尔技术专家及行业领先的技术大咖，通过洞悉行业趋势、分享技术干货、演示 Demo 操作为开发者们提供一个系统进阶与技术提升的平台。

工作坊研讨会将定期举办

三大亮点集结，切勿错过

  • 实时掌握 AI 领域的前沿动态。
  • 实战演练，将知识转化为解决方案，实现技术的完美融合。
  • 与行业专家面对面，获取专业见解，开拓技术视野。

如何在客户端 PC 和边缘设备上高效运行 LLM ？参与第五期线上线下同步直播活动，您可以了解英特尔如何使这些大语言模型更小、更高效地在本地实现 AI 推理：

对话式语音 AI Agent

▪ AI 语音助理原型：基于 OpenVINO™ 开发和优化的基于 LLM 的 AI Agent

▪ LLM 性能优化：针对 AI PC 和边缘设备优化 LLM，平衡计算资源与功耗，满足不同应用场景需求

▪ 灵活部署：利用模型量化等技术优化模型，减小模型尺寸和计算需求，适应 AI PC 和边缘设备要求相芯科技数字人解决方案

▪ 基于客户端 PC、Intel AI 算力及 OpenVINO™ 技术，支持文本转语音与 1080p-25fps 视频输出，适用于电商、在线购物、教育与社交平台

▪ 使用 OpenVINO™ 基于 Intel iGPU 或独立 GPU 进行性能优化和推理加速，并加速运行在 CPU 上的 TTS 引擎，将文本转换为流畅的中英文语音

灵感碰撞，创意无界

▪ 我们将向您展示基于 OpenVINO™ 的优秀AI作品，这些作品见证了科技博主以及 AIGC 大赛中开发者的思维火花与创新力量，还体现了开发者对未来AI发展的前瞻性思考

实践面对面

▪ 主题：如何在 AI PC 上一步步优化你的聊天机器人

▪ 通过动手操作，您将获得第一手 OpenVINO™ 使用经验，深入了解如何在实际项目中运用 OpenVINO™ 的先进技术，加速您的 AI 开发之旅

探索AI，启迪未来

▪ 探索英特尔 AI 前沿技术，您将有机会走进英特尔科技中心，亲眼见证先进的产品和技术解决方案，启发您的创新思维

注：您可扫描图中二维码，报名第五期活动，并可观看往期回放。您也可以在本公众号底部菜单——【了解联盟】——【最新活动】中，报名和观看回放。

我们诚挚邀请您参加 OpenVINO™ DEVCON 中国 · 系列工作坊 2024 第五期线上线下同步直播活动，与业界技术专家交流前沿技术资讯，学习如何在客户端 PC 和边缘设备上高效运行 LLM，快速提升技术实力，实现更大创新！

文章标签：
人工智能
开发者
语音技术
异构计算
机器人
关键词：
LLM性能
ModelScope内容运营小助手
目录
相关文章
楠竹11
|
3天前
|
机器学习/深度学习 搜索推荐
CIKM 2024：LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图
【9月更文挑战第17天】在CIKM 2024会议上，Emory大学的研究人员提出了一种创新框架，将大型语言模型（LLM）的知识蒸馏到图神经网络（GNN）中，以克服文本图（TAGs）学习中的数据稀缺问题。该方法通过LLM生成文本推理，并训练解释器模型理解这些推理，再用学生模型模仿此过程。实验显示，在四个数据集上性能平均提升了6.2%，但依赖于LLM的质量和高性能。论文链接：https://arxiv.org/pdf/2402.12022
楠竹11
16 7
楠竹11
|
5天前
|
测试技术
LLM数学性能暴涨168%，微软14人团队力作！合成数据2.0秘诀曝光，智能体生成教学
【9月更文挑战第14天】微软研究团队发布了一篇介绍新型框架"AgentInstruct"的论文，该框架旨在通过自动生成高质量合成数据，推动语言模型发展。AgentInstruct仅需原始数据源即可创建多样化的合成数据，减少人工工作量。研究团队基于此框架构建了含2500万训练对的数据集，展示了其在多种技能教学中的潜力。经微调后的Mistral-7b模型演进为Orca-3，在多个基准测试中显著超越同类模型。尽管如此，AgentInstruct仍面临创建流程耗时及合成数据复杂性不足等问题。论文详情见：https://arxiv.org/pdf/2407.03502
楠竹11
16 2
楠竹11
|
27天前
|
数据采集 自然语言处理 测试技术
CMU&清华新作：让LLM自己合成数据来学习，特定任务性能同样大幅提升
【8月更文挑战第24天】近期研究提出SELF-GUIDE，一种创新方法，旨在通过大型语言模型（LLMs）自动生成特定任务数据并用于自我微调，以克服其在特定任务上的性能局限。SELF-GUIDE分为三个阶段：数据合成、模型微调及性能评估。通过向目标LLM提供适当提示生成高质量合成数据，并用于微调以提升特定任务表现。实验证明，该方法在Natural Instructions V2等多个基准测试中显著提升了分类与生成任务性能。SELF-GUIDE不仅有效提高性能，还具备高数据效率，减少对外部数据依赖。然而，生成数据质量受限于LLM能力，且并非适用于所有任务。
楠竹11
34 4
汀丶人工智能
|
4月前
|
机器学习/深度学习 缓存 算法
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
汀丶人工智能
1612 4
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
楠竹11
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
LLM性能最高60%提升！谷歌ICLR 2024力作：让大语言模型学会“图的语言”
【5月更文挑战第1天】谷歌在ICLR 2024提出新方法，使大语言模型（LLM）性能提升高达60%，通过结合图神经网络（GNN），LLM学会理解与生成“图的语言”，打破处理复杂任务的局限。此创新模型适用于社交网络分析等领域，但面临计算资源需求大和模型解释性问题。研究强调需确保LLM在道德和法律框架内使用。论文链接：https://openreview.net/pdf?id=IuXR1CCrSi
楠竹11
200 3
爱吃糖的范同学
|
4月前
|
自然语言处理 测试技术
【大模型】描述一些评估 LLM 性能的技术
【5月更文挑战第5天】【大模型】描述一些评估 LLM 性能的技术
爱吃糖的范同学
263 0
Deephub
|
4月前
|
机器学习/深度学习 缓存
RNN又行了！DeepMind新发布的Griffin可以与同级别的LLM性能相当
Hawk和Griffin是DeepMind推出的新型循环神经网络（RNNs），2月刚刚发布在arxiv上。Hawk通过使用门控线性递归（gated linear recurrences）超越了Mamba的性能，而Griffin则是一种混合型模型，结合了门控线性递归和局部注意力（local attention），与Llama-2的性能相当，但使用的训练数据明显较少。Griffin在处理比训练时更长的序列时表现出色。这两种模型在硬件效率方面与Transformer相当，但在推理过程中具有更低的延迟和更高的吞吐量。Griffin的规模已扩展到了140亿个（14B）参数。
Deephub
128 3
龙蜥社区（OpenAnolis）
|
4月前
|
人工智能 分布式计算 算法
英特尔助力龙蜥加速 AI 应用及 LLM 性能
英特尔至强服务器平台加速大语言模型应用。
龙蜥社区（OpenAnolis）
80 0
楠竹11
|
1月前
|
人工智能 自然语言处理
公理训练让LLM学会因果推理：6700万参数模型比肩万亿参数级GPT-4
【8月更文挑战第3天】新论文提出“公理训练”法，使仅有6700万参数的语言模型掌握因果推理，性能媲美万亿级GPT-4。研究通过大量合成数据示例教授模型因果公理，实现有效推理并泛化至复杂图结构。尽管面临合成数据需求大及复杂关系处理限制，此法仍为语言模型的因果理解开辟新途径。[链接: https://arxiv.org/pdf/2407.07612]
楠竹11
41 1
楠竹11
|
5天前
|
安全 测试技术
世界模型又近了？MIT惊人研究：LLM已模拟现实世界，绝非随机鹦鹉！
【9月更文挑战第14天】麻省理工学院最近的研究揭示了大型语言模型（LLM）展现出的新潜能，其不仅能模仿真实环境，更在一定程度上理解并模拟程序在特定环境下的运作。通过使用Transformer模型并结合特定探测分类器，研究团队发现模型能逐步掌握程序的形式语义。为了验证这一发现，团队创建了一个独特的干预基准测试，进一步证实了模型的仿真能力，为世界模型的发展提供了新方向。尽管存在模型可能仅习得统计规律而非真正理解语义的争议，这项研究依然为理解复杂系统提供了新工具与视角。论文详情见：https://arxiv.org/abs/2305.11169。
楠竹11
13 1

热门文章

最新文章

  • 1
    如何在 TensorRT-LLM 中支持 Qwen 模型
  • 2
    LLM大模型实战 —— DB-GPT阿里云部署指南
  • 3
    关于 LLM 和图数据库、知识图谱的那些事
  • 4
    魔搭社区LLM模型部署实践 —— 以ChatGLM3为例
  • 5
    Graph + LLM 实践指南｜如何使用自然语言进行知识图谱构建和查询
  • 6
    基于 NVIDIA Megatron-Core 的 MoE LLM 实现和训练优化
  • 7
    LLM系列 | 15: 如何链接多个Prompt处理复杂任务？以智能客服为例
  • 8
    基于自己的数据库构建基于LLM的专属知识库
  • 9
    mnn-llm: 大语言模型端侧CPU推理优化
  • 10
    【Hello AI】推理引擎DeepGPU-LLM-提供免费的高性能、低延迟推理服务
  • 1
    分享几个.NET开源的AI和LLM相关项目框架
    78
  • 2
    LLM性能最高60%提升！谷歌ICLR 2024力作：让大语言模型学会“图的语言”
    200
  • 3
    LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
    517
  • 4
    【LLM】能够运行在移动端的轻量级大语言模型Gemma实践
    267
  • 5
    NL2SQL技术方案系列(1)：NL2API、NL2SQL技术路径选择；LLM选型与Prompt工程技巧，揭秘项目落地优化之道
    529
  • 6
    NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面对比优劣分析[Text2SQL、Text2DSL]
    505
  • 7
    推测解码：在不降低准确性的情况下将LLM推理速度提高2 - 3倍
    143
  • 8
    LLM大模型
    79
  • 9
    基于LLM（Large Language Model，大语言模型）的智能问答系统
    477
  • 10
    【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南（LLM、AGI和AIGC都是什么）（二）
    257

    • 相关课程

    更多
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • AMD 全新 EPYC，引领下一代数据分析强劲性能
  • AMD全新EPYC，引领下一代数据分析强劲性能
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion
  • 服务器硬件基础
  • AIGC无处不在，把AI应用构建于Serverless之上

    • 相关电子书

    更多
  • PAI灵骏智算 构建全链路LLM服务的最佳实践
  • 基于英特尔®FPGA的数据分析可重构加速
  • 基于英特尔®SPGA的数据分析可重构加速

    • 相关实验场景

    更多
  • SAE 极速部署专属 AI 证件照神器
  • 【玩转ComfyUI】基于函数计算一键部署AI生图平台 ComfyUI
  • 基于函数计算一键部署掌上游戏机
  • 基于阿里云E-HPC平台的WRF气象预报实验
  • 基于阿里云E-HPC和OpenFoam进行流体仿真实验
  • 使用计算巢AI应用，快速上手实践Stable Diffusion
    • 下一篇
    基于LNMP搭建WordPress