❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 功能：支持通过自然语言控制电脑，提供跨平台支持。
- 部署：支持云端和本地部署，推荐使用 HuggingFace 或 vLLM 进行快速部署。
- 运行：提供详细的安装和配置教程，支持 Windows 和 MacOS 系统。
正文（附运行示例）
UI-TARS Desktop 是什么
UI-TARS Desktop 是一款基于视觉语言模型（Vision-Language Model）的 GUI 代理应用，允许用户通过自然语言控制电脑操作。它结合了视觉识别和自然语言处理技术，能够理解用户的指令并执行相应的操作。
该应用支持跨平台运行，适用于 Windows 和 MacOS 系统。通过实时反馈和状态显示，用户可以直观地看到指令的执行情况，确保操作的精准性和高效性。
UI-TARS Desktop 的主要功能
- 自然语言控制：通过自然语言指令控制电脑操作，简化用户交互。
- 视觉识别支持：支持截图和视觉识别功能，能够识别屏幕内容并执行相应操作。
- 精准控制：提供精确的鼠标和键盘控制，确保操作的准确性。
- 跨平台支持：支持 Windows 和 MacOS 系统，满足不同用户的需求。
- 实时反馈：提供实时反馈和状态显示，帮助用户了解指令执行情况。
UI-TARS Desktop 演示示例
- Prompt：Get the current weather in SF using the web browser
- 使用网页浏览器获取旧金山的当前天气
🥦 微信公众号｜搜一搜：蚝油菜花｜查看原文演示示例 🥦
- Prompt：Send a twitter with the content "hello world"
- 发送一条包含内容“hello world”的推特推文
🥦 微信公众号｜搜一搜：蚝油菜花｜查看原文演示示例 🥦
如何运行 UI-TARS Desktop
1. 下载
你可以从 GitHub 仓库下载最新版本的 UI-TARS Desktop。
https://github.com/bytedance/UI-TARS-desktop/releases/latest
2. 安装（MacOS）
2.1. 将 UI TARS 应用程序拖拽到 Applications 文件夹中。
注意：如果应用损坏，您可以在终端中使用以下命令来修复它。
sudo xattr -dr com.apple.quarantine /Applications/UI\ TARS.app
2.2. 在 MacOS 中启用 UI TARS 的权限：
- 系统设置 -> 隐私与安全 -> 辅助功能
- 系统设置 -> 隐私与安全 -> 屏幕录制
2.3. 打开 UI TARS 应用程序，你将看到以下界面：
3. 安装（Windows）
3. 部署
3.1 云端部署
我们推荐使用 HuggingFace Inference Endpoints 进行快速部署。你可以参考以下两个官方文档：
- 英文版：https://juniper-switch-f10.notion.site/GUI-Model-Deployment-Guide-17b5350241e280058e98cea60317de71
- 中文版：https://bytedance.sg.larkoffice.com/docx/TCcudYwyIox5vyxiSDLlgIsTgWf#U94rdCxzBoJMLex38NPlHL21gNb
3.2 本地部署 [vLLM]
推荐使用 vLLM 进行快速部署和推理。你需要安装 vllm>=0.6.1：
pip install -U transformers
VLLM_VERSION=0.6.6
CUDA_VERSION=cu124
pip install vllm==${VLLM_VERSION} --extra-index-url https://download.pytorch.org/whl/${CUDA_VERSION}
3.2.1 下载模型
这里提供了三种模型大小：2B、7B 和 72B。为了获得最佳性能，推荐使用 7B-DPO 或 72B-DPO 模型：
- 2B-SFT：https://huggingface.co/bytedance-research/UI-TARS-2B-SFT
- 7B-SFT：https://huggingface.co/bytedance-research/UI-TARS-7B-SFT
- 7B-DPO：https://huggingface.co/bytedance-research/UI-TARS-7B-DPO
- 72B-SFT：https://huggingface.co/bytedance-research/UI-TARS-72B-SFT
- 72B-DPO：https://huggingface.co/bytedance-research/UI-TARS-72B-DPO
3.2.2 启动 OpenAI API 服务
运行以下命令启动 OpenAI 兼容的 API 服务：
python -m vllm.entrypoints.openai.api_server --served-model-name ui-tars --model <path to your model>
3.2.3 输入 API 信息
在设置中输入你的 API 信息：
注意：VLM 基础 URL 是与 OpenAI 兼容的 API 端点（有关更多详细信息，请参阅 OpenAI API 协议文档）。
资源
- GitHub 仓库：https://github.com/bytedance/UI-TARS-desktop
- OpenAI API 协议文档：https://platform.openai.com/docs/guides/vision/uploading-base-64-encoded-images
- 技术论文：https://arxiv.org/abs/2501.12326
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
