Python环境管理的新选择:UV和Pixi,高性能Python环境管理方案

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 近期Python生态系统在包管理领域发生了重要变化,Anaconda调整商业许可证政策,促使社区寻找更开放的解决方案。本文介绍两款新一代Python包管理工具:UV和Pixi。UV用Rust编写,提供高性能依赖解析和项目级环境管理;Pixi基于Conda生态系统,支持conda-forge和PyPI包管理。两者分别适用于高性能需求和深度学习项目,为开发者提供了更多选择。

近期Python生态系统发生了重要变化,特别是在包管理领域。Anaconda对其商业许可证政策进行了调整,要求大型非营利组织(员工超过200人)需要为使用其默认包仓库的每位用户获取商业许可。这一变化促使开发社区开始寻找更开放的解决方案,特别是考虑到Python本身及其大多数包都是开源的这一事实。

Python环境管理和包依赖处理一直是开发过程中的关键挑战。传统工具如virtualenv、pip和conda虽然功能完备,但在性能和用户体验方面存在一定局限。本文将深入介绍UV和Pixi这些新一代Python包管理工具,分析其技术特性及其在实际开发中的应用。

UV

UV是一个用Rust编写的高性能Python包管理工具,其核心设计目标是替代传统的pip和pip-tools工作流。作为Astral开发的工具套件的一部分,UV与同公司的Ruff(Python代码检查工具)和Rye(Python项目管理工具)形成了完整的工具链。

核心技术特性

  1. 高性能实现- 底层采用Rust实现,提供比传统Python工具高10-20倍的性能- 优化的依赖解析算法,显著提升包安装速度
  2. 项目级环境管理- 采用项目级虚拟环境,确保项目间的完全隔离- 支持pyproject.toml规范,提供现代化的项目配置方案
  3. 依赖管理机制- 精确的依赖版本控制- 通过uv.lock文件确保环境可重现性- 支持从PyPI源进行包安装
  4. Python版本管理- 集成的Python版本管理功能- 支持多Python版本并存- 项目级Python版本隔离

安装配置

UV的安装过程经过优化,支持主流操作系统平台。

Linux/MacOS安装

 curl-LsSf https://astral.sh/uv/install.sh | sh

Windows安装

 powershell -ExecutionPolicy ByPass -c"irm https://astral.sh/uv/install.ps1 | iex"

安装完成后,可通过以下命令验证安装:

 uv --version

Python环境管理

与传统的conda不同,UV采用了更轻量级的方式管理Python环境。它不会创建全局的基础环境,而是允许用户按需安装和管理Python版本。

Python版本安装

 uv python install <version>

实际测试显示,UV的Python安装性能显著优于传统工具:

Python 3.12安装性能测试

UV项目环境管理技术详解

虚拟环境管理

UV提供了完整的虚拟环境管理解决方案,采用项目级隔离策略,确保开发环境的一致性和可重现性。

基础虚拟环境创建:

 uv venv

指定Python版本创建环境:

 uv venv --python3.11

环境激活

 source .venv/bin/activate  # Linux/MacOS环境
 .venv\Scripts\activate     # Windows环境

项目管理

UV的项目管理功能采用现代化的工具链方案,支持完整的项目生命周期管理。

项目初始化

 uv init -p3.12 project-name

依赖管理

 cd project-name
 uv add requests

初始化后的标准项目结构:

 project-name/
 ├── .git/
 ├── .gitignore
 ├── .python-version
 ├── .venv/
 ├── README.md
 ├── pyproject.toml
 └── uv.lock

依赖锁定与导出

UV支持多种依赖管理格式,可以生成标准的requirements.txt文件:

 uv pip compile pyproject.toml -o requirements.txt

高级功能

1、多Python版本管理

 # 安装指定版本
 uv python install 3.10

 # 切换Python版本
 uv python use 3.10

2、依赖解析与锁定机制

UV实现了高效的依赖解析算法,通过lock文件确保环境的精确复制:

 # 从pyproject.toml生成锁定文件
 uv pip compile pyproject.toml -o requirements.txt

 # 从多源编译依赖
 uv pip compile pyproject.toml requirements-dev.in -o requirements-dev.txt

3、开发工具集成

UV提供了与开发工具的无缝集成:

 # 安装全局开发工具
 uv tool install black

 # 启动交互式环境
 uv run python

实际应用与最佳实践

开发工作流集成

以下展示了在UV环境中开发和运行Python脚本的标准工作流:

 importrequests

 defget_dad_joke():
     url="https://icanhazdadjoke.com/"
     headers= {
         "Accept": "application/json"
     }
     response=requests.get(url, headers=headers)

     ifresponse.status_code==200:
         joke=response.json().get('joke')
         returnjoke
     else:
         return"Failed to fetch a joke."  # 请求失败处理

UV提供了专门的运行时环境:

 uv run script.py

UV自动配置项目的版本控制环境:

 git add .
 git commit -m"Initial project setup"

Pixi

除了UV以外,我们来介绍另一个现代Python环境管理工具Pixi。

Pixi构建在Conda生态系统之上,提供了以下特性:

  • 与conda-forge的原生集成
  • 支持PyPI包管理(通过UV实现)
  • 提供项目级环境隔离

Pixi安装配置

Linux/MacOS安装:

 curl-fsSL https://pixi.sh/install.sh | bash

Windows安装:

 powershell -ExecutionPolicy ByPass -c"iwr -useb https://pixi.sh/install.ps1 | iex"

Pixi项目管理

项目初始化:

 pixi init project-name

依赖管理:

 cd project-name
 pixi add python=3.12
 pixi add requests

标准项目结构:

 project-name/
 ├── .gitattributes
 ├── .gitignore
 ├── .pixi/
 ├── pixi.lock
 └── pixi.toml

Pixi包管理特性

Pixi支持多源包管理:

conda-forge包管理(默认)

PyPI集成

 pixi add --pypi black

开发环境使用

 pixi shell
 python

脚本执行:

 pixi run python script.py

两个方案的技术对比

UV特点

高性能实现

  • Rust编写的核心组件
  • 优化的依赖解析算法

原生PyPI集成

  • 直接访问Python包索引
  • 无中间层依赖

标准化配置

  • 支持pyproject.toml
  • 可生成requirements.txt

Pixi特点

Conda生态系统集成

  • 支持conda-forge包
  • 二进制包分发优势

混合包管理

  • 同时支持conda和PyPI
  • UV作为PyPI包管理器

总结

UV和Pixi代表了Python环境管理工具的两种不同技术路线。UV专注于提供高性能的原生PyPI包管理解决方案,而Pixi则致力于桥接Conda生态系统和PyPI。选择时应考虑项目具体需求:

  • 对性能要求高的项目建议选择UV
  • 需要Conda生态系统支持的项目可考虑Pixi
  • 标准Python项目开发推荐使用UV

所以如果主要应用于深度学习方向,并且需要迁移conda环境的话,可以优先考虑Pixi,因为有一些深度学习的库conda安装要方便很多,但是UV作为项目管理(比如作为web服务器)的模式却是一个很好的发展方向,所以如果你有兴趣可以持续关注。

https://avoid.overfit.cn/post/a708580285004cc5bf155190cd343aab

目录
相关文章
|
3月前
|
PyTorch Linux 算法框架/工具
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
这篇文章是关于如何使用Anaconda进行Python环境管理,包括下载、安装、配置环境变量、创建多版本Python环境、安装PyTorch以及使用Jupyter Notebook的详细指南。
385 1
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
|
5天前
|
Python
探索Python虚拟环境:virtualenv、venv与pipenv比较
在Python开发中,有效的环境管理至关重要。virtualenv、venv和pipenv是常用的虚拟环境管理工具。virtualenv支持Python 2.7+和3.3+,可创建独立环境;venv为Python 3.3+内置库,简单轻量但功能有限;pipenv则结合了包管理和虚拟环境管理,生成Pipfile.lock确保依赖确定性和安全性,推荐作为首选工具。
|
4天前
|
人工智能 编译器 Python
python已经安装有其他用途如何用hbuilerx配置环境-附带实例demo-python开发入门之hbuilderx编译器如何配置python环境—hbuilderx配置python环境优雅草央千澈
python已经安装有其他用途如何用hbuilerx配置环境-附带实例demo-python开发入门之hbuilderx编译器如何配置python环境—hbuilderx配置python环境优雅草央千澈
python已经安装有其他用途如何用hbuilerx配置环境-附带实例demo-python开发入门之hbuilderx编译器如何配置python环境—hbuilderx配置python环境优雅草央千澈
|
2月前
|
机器学习/深度学习 数据可视化 Docker
Python环境
Python环境
46 3
|
2月前
|
弹性计算 Linux iOS开发
Python 虚拟环境全解:轻松管理项目依赖
本文详细介绍了 Python 虚拟环境的概念、创建和使用方法,包括 `virtualenv` 和 `venv` 的使用,以及最佳实践和注意事项。通过虚拟环境,你可以轻松管理不同项目的依赖关系,避免版本冲突,提升开发效率。
134 3
|
3月前
|
IDE 网络安全 开发工具
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
本文介绍了如何在PyCharm专业版中连接远程服务器并配置远程Python环境解释器,以便在服务器上运行代码。
550 0
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
|
3月前
|
机器学习/深度学习 缓存 PyTorch
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
这篇文章是关于如何下载、安装和配置Miniconda,以及如何使用Miniconda创建和管理Python环境的详细指南。
653 0
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
|
3月前
|
Python Windows
利用Python在Win10环境下实现拨号上网
利用Python在Win10环境下实现拨号上网
53 4
|
3月前
|
TensorFlow 算法框架/工具 虚拟化
python开发先创建虚拟环境呀
python开发先创建虚拟环境呀
26 1
|
3月前
|
网络安全 开发者 Python
VSCode远程切换Python虚拟环境
VSCode远程切换Python虚拟环境
125 1