【Hello AI】自动安装AIACC-Inference（AIACC推理加速）

AIACC-Inference（AIACC推理加速）支持优化基于TensorFlow和可导出ONNX格式的框架搭建的模型，能显著提升推理性能。本文介绍如何自动安装AIACC-Inference（AIACC推理加速）并测试demo。

背景信息

Conda是一款开源跨平台的软件包和环境管理系统，Miniconda是一款小巧的Conda环境部署工具。创建GPU实例时支持自动安装包含AIACC-Inference（AIACC推理加速）的Conda环境，您可以使用Miniconda快速选择不同的Conda环境，并通过AIACC-Inference（AIACC推理加速）显著提升推理性能。

ONNX是一种开放式的文件格式，用于存储训练好的模型。通过ONNX可以将不同框架（例如Pytorch、MXNet）的模型数据存储成统一的格式，便于在同一环境下测试不同框架的模型。

自动安装AIACC-Inference

AIACC-Inference（AIACC推理加速）依赖GPU驱动、CUDA和cuDNN，请在创建GPU实例时，选中安装GPU驱动和AIACC推理加速，然后选择CUDA、Driver和cuDNN的版本。GPU实例创建完成后，您可以根据CUDA版本快速配置包含AIACC-Inference（AIACC推理加速）的Conda环境。创建GPU实例的具体操作，请参见创建配备GPU驱动的GPU实例（Linux）。

测试demo

1. 远程连接实例。
2. 选择Conda环境。

1. 初始化Miniconda。

source /root/miniconda/etc/profile.d/conda.sh

2. 查看已有的Conda环境列表。

conda env list

示例如下图所示。

3. 选择Conda环境。

conda activate [environments_name]

示例如下图所示。

3. 测试demo。

demo文件aiacc_inference_demo.tgz默认位于/root下，本文以测试ONNX的demo为例。

1. 解压demo测试包。

tar -xvf aiacc_inference_demo.tgz

2. 进入ONNX的demo目录。

cd /root/aiacc_inference_demo/aiacc_inference_onnx/resnet50v1

3. 执行目录下的测试脚本。

示例命令如下：

python3 test.py

该测试脚本基于ResNet50模型执行推理任务，随机生成一张图像并分类，将推理耗时从6.4 ms降低至1.5 ms以内。推理结果示例如下图所示。

删除Miniconda

如果您不需要使用AIACC-Inference（AIACC推理加速），可以删除Miniconda。系统默认为root用户安装Miniconda，您可以先使用root用户清除相关环境变量，然后再删除Miniconda文件夹即可。

1. 删除相关环境变量和回显。

1. 修改文件/root/.bash_profile，注释Miniconda、AIACC-Inference（AIACC推理加速）相关的环境变量和回显。

示例如下图所示：

2. 可选：如果已经启动了Conda环境，请您删除当前环境下Conda相关的环境变量。

conda deactivate
unset conda
export PATH=`echo $PATH | tr ":" "\n" | grep -v "conda" | tr "\n" ":"`
export LD_LIBRARY_PATH=`echo $LD_LIBRARY_PATH | tr ":" "\n" | grep -v "conda" | tr "\n" ":"`

2. 删除Miniconda文件夹。

rm -rf /root/miniconda

好啦！小弹的分享到此为止。我们更欢迎您分享您对阿里云产品的设想、对功能的建议或者各种吐槽，请扫描提交问卷并获得社区积分或精美礼品一份。https://survey.aliyun.com/apps/zhiliao/P4y44bm_8

【扫码填写上方调研问卷】

欢迎每位来到弹性计算的开发者们来反馈问题哦~