【MindStudio训练营第一季】MindStudio 专家系统随笔

简介: 专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

简介
专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

image.png

使用介绍
调优知识库
image.png

模型瓶颈分析
分析流程:

参数配置 & 启动分析;
首页summary报告: 模型香吐率运行时间、芯片利用率、切分策略评估,以及各个调优知识库TOP问题;
计算图分析: ub融合、aipp融合、transdata等;
模型算子性能瓶颈分析:模型算子带宽&算力利用率;
aicpu & aicore并行分析;
image.png

模型性能优化
针对onnx推理模型,根据定义好的子图pattern主动识别onnx模型中符合的子图,并对其进行修改优化:

当前支持的子图pattern:

Conv1d优化:

连续slice合并

连续concat合并

类型转换

大shape卷积转置

大kernel卷积拆分

根据官方介绍,后续还会根据调优场景继续补充,让更多开发者直接受益。

调用知识库开发
基于Ascend Advisor工程,开发者可以开发自己的调优知识库

支持代码调试(该功能在新版本会提供)

支持知识库共享(该功能在新版本会提供)

image.png

案例实践
推理模型调优
性能分析: Mobilenetv3图像分类

Mobilenetv3图像分类
image.png

Deit图像分类
image.png

目录
相关文章
|
23天前
|
人工智能 自然语言处理 前端开发
还不懂如何与chatGPT高效交流?保姆级且全面的chatGPT提示词工程教程来啦!(二)进阶篇
这篇文章是chatGPT提示词工程的进阶教程,涵盖了加入鼓励词/行为词、拆分复杂需求、纠正反馈、使用英语提问、角色扮演、限定回答格式、多符咒结合以及参考其他人的提示词和使用提示词插件等技巧。
还不懂如何与chatGPT高效交流?保姆级且全面的chatGPT提示词工程教程来啦!(二)进阶篇
|
23天前
|
机器学习/深度学习 人工智能 自然语言处理
还不懂如何与AI高效交流?保姆级且全面的chatGPT提示词工程教程来啦!(一)基础篇
这篇文章是一篇保姆级的教程,旨在全面介绍如何与AI进行高效交流,包括ChatGPT的前世今生、应用场景以及提问的基础技巧。
还不懂如何与AI高效交流?保姆级且全面的chatGPT提示词工程教程来啦!(一)基础篇
|
1月前
|
人工智能 开发工具 git
一看就会的 AI 换脸项目教程!5分钟速通明星大模型开源项目一键部署
有了通义灵码的帮助,很多明星大模型项目实操过程中遇到的问题:查找错误、解释代码、优化代码、查找文档、代码补全等等都可以用通义灵码一键解决,而且准确率很高,加上灵活的实操环境,项目跑起来会非常高效。关键是通义灵码个人版还免费!
|
1月前
|
人工智能 自然语言处理 数据挖掘
🎯直击要害!生成式模型新手村毕业攻略:打造高效提示词秘籍📚
【8月更文挑战第1天】踏入生成式模型的世界,新手常感迷茫。高效提示词是通往AI创意大门的钥匙。首先要理解提示词的本质:它是你意图的载体。明确目标后,构建提示词框架:设定主题、描绘场景、添加情节线索,并指定风格。实战演练中不断优化提示词,激发模型潜力。掌握这些技巧,你就能在AI创作之路上越走越远,征服这片新大陆!
38 0
|
2月前
|
Web App开发 机器人
小白一学就会小红书全自动写文发文机器人-爆文仿写笔记(二) -附提示词
小白一学就会小红书全自动写文发文机器人-爆文仿写笔记(二) -附提示词
60 1
|
4月前
|
人工智能 搜索推荐 数据挖掘
《统计学简易速速上手小册》第10章:案例研究和未来趋势(2024 最新版)
《统计学简易速速上手小册》第10章:案例研究和未来趋势(2024 最新版)
52 0
|
11月前
|
人工智能 前端开发 API
手把手带你用Python和文心一言搭建《AI看图写诗》网页项目
手把手带你用Python和文心一言搭建《AI看图写诗》网页项目
368 1
手把手带你用Python和文心一言搭建《AI看图写诗》网页项目
|
人工智能
生信麻瓜的 ChatGPT 4.0 初体验
生信麻瓜的 ChatGPT 4.0 初体验
|
机器学习/深度学习 人工智能 数据可视化
还在用PPT做神经网络架构图?GitHub2万星项目,手把手教你从入门到可视化大师
现在搞机器学习的成本越来越低了,熟悉了Python和sklearn、Keras、Pytorch等机器学习框架,就能搭建自己的模型了,可是模型建好后如何解释给别人听,难倒了不少人。今天,我们就来介绍两款开源的机器学习画图工具,让你分分钟做出精美的可视化。
1888 0
还在用PPT做神经网络架构图?GitHub2万星项目,手把手教你从入门到可视化大师
|
数据采集 人工智能 IDE
【MindStudio训练营第一季】MindStudio Profiling随笔
Ascend AI处理器是一款面向AI业务应用的高性能集成芯片,包含AI CPU、A Core、AI Vector Core等计算单元来提升AI任务的运算性能。
157 7