❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
大家好，我是蚝油菜花，今天跟大家分享一下 MNN-LLM App 这个基于 MNN-LLM 框架开发的手机 AI 助手应用。在此之前，如果你想了解什么是 MNN，可以阅读《MNN：阿里开源的轻量级深度学习推理框架，支持在移动端等多种终端上运行，兼容主流的模型格式》。
🚀 快速阅读
MNN-LLM App 是阿里巴巴推出的开源 Android 应用，专注于在手机上离线运行大语言模型（LLM）。
- 核心功能：支持多模态交互，包括文本生成文本、图像生成文本、音频转文本及文本生成图像。
- 技术原理：针对移动端 CPU 推理进行了深度优化，预填充和解码速度显著提升。
MNN-LLM App 是什么
MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开源的 Android 手机应用，支持各类大语言模型（LLM）在手机上离线运行。该应用具备多模态功能，能实现文本生成文本、图像生成文本、音频转文本以及文本生成图像等多种任务。应用对 CPU 推理进行了深度优化，确保高效的本地运行，预填充速度和解码速度均显著优于同类产品。
此外，MNN-LLM App 支持多种主流模型，如 Qwen、Gemma、Llama 等，用户可以根据需要选择不同的模型进行任务处理。
MNN-LLM App 的主要功能
- 多模态交互：支持多种输入输出方式，包括文本生成文本、图像生成文本、音频转文本以及文本生成图像（基于扩散模型）。用户可以通过文字、图片或语音输入，获取相应的生成结果。
- 模型选择与切换：内置多种主流大语言模型（LLM），如 Qwen、Gemma、Llama、Baichuan 等，用户可以根据需求选择不同的模型。
- 离线运行：所有功能在本地设备上运行，无需联网，确保数据隐私和安全性。
- 性能优化：针对移动端 CPU 推理进行了深度优化，预填充和解码速度显著提升，相比同类应用具有更快的响应速度。
- 本地存储：支持将生成的内容保存到本地，方便用户随时查看和使用。
MNN-LLM App 的技术原理
- 移动端 CPU 优化：通过深度优化移动端 CPU 推理，预填充和解码速度显著提升，确保高效的本地运行。
- 多模态支持：集成多种模态处理能力，支持文本、图像和音频的输入输出，满足不同场景的需求。
- 模型轻量化：采用模型压缩和量化技术，减少模型体积和内存占用，提升运行效率。
如何运行 MNN-LLM App
1. 下载应用
你可以从发布页面下载最新版本的 MNN-LLM 应用，或选择自行编译。
2. 安装应用
安装后，你可以在应用中浏览所有支持的模型，下载并与其交互。此外，你还可以在侧边栏中查看和回顾之前的聊天记录。
3. 自行编译
如果你希望自行编译 MNN-LLM 应用，可以按照以下步骤操作：
4. 克隆仓库
git clone https://github.com/alibaba/MNN.git
5. 构建库
cd project/android
mkdir build_64
../build_64.sh "-DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=ON"
6. 复制库文件
find . -name "*.so" -exec cp {} ../apps/MnnLlmApp/app/src/main/jniLibs/arm64-v8a/ \;
7. 构建并安装应用
cd ../apps/MnnLlmApp/
./gradlew installDebug
资源
- GitHub 仓库：https://github.com/alibaba/MNN
- MNN 官方文档：https://mnn-docs.readthedocs.io/en/latest/intro/about.html
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
