修改 torch和huggingface 缓存路径

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 简介:本文介绍了如何修改 PyTorch 和 Huggingface Transformers 的缓存路径。通过设置环境变量 `TORCH_HOME` 和 `HF_HOME` 或 `TRANSFORMERS_CACHE`,可以在 Windows、Linux 和 MacOS 上指定自定义缓存目录。具体步骤包括设置环境变量、编辑 shell 配置文件、移动现有缓存文件以及创建符号链接(可选)。

修改 torch 缓存路径
torch 使用 TORCH_HOME 环境变量来指定缓存目录。

Windows
设置环境变量
右键点击“此电脑”,选择“属性”。
点击“高级系统设置”。
在“系统属性”窗口中,点击“环境变量”按钮。
在“系统变量”下,点击“新建”按钮。
设置变量名为 TORCH_HOME,变量值为你希望存储模型的路径(例如,D:\torch_cache)。
或者在命令行中设置
set TORCH_HOME=D:\torch_cache
Linux/MacOS
编辑 shell 配置文件(如 .bashrc, .zshrc)
export TORCH_HOME=/path/to/your/desired/cache/dir
应用更改
source ~/.bashrc # or ~/.zshrc
修改 Huggingface Transformers 缓存路径
huggingface 使用 HF_HOME 或 TRANSFORMERS_CACHE 环境变量来指定缓存目录。

Windows
设置环境变量
重复上述步骤,添加新的系统变量。
设置变量名为 HF_HOME 或 TRANSFORMERS_CACHE,变量值为你希望存储模型的路径(例如,D:\huggingface_cache)。
或者在命令行中设置
set HF_HOME=D:\huggingface_cache
Linux/MacOS
编辑 shell 配置文件(如 .bashrc, .zshrc)
export HF_HOME=/path/to/your/desired/cache/dir

或者

export TRANSFORMERS_CACHE=/path/to/your/desired/cache/dir
应用更改
source ~/.bashrc # or ~/.zshrc
移动现有的缓存文件
关闭正在运行的 Python 程序
移动现有的 .cache 文件夹到新的路径
在 Windows 下,可以使用文件资源管理器进行移动。

在 Linux/MacOS 下,可以使用 mv 命令:

mv ~/.cache/torch /path/to/your/desired/cache/dir
mv ~/.cache/huggingface /path/to/your/desired/cache/dir
创建符号链接(可选)
在 Linux/MacOS 下,可以创建符号链接以保持旧路径的可用性:

ln -s /path/to/your/desired/cache/dir/torch ~/.cache/torch
ln -s /path/to/your/desired/cache/dir/huggingface ~/.cache/huggingface

目录
相关文章
|
存储 缓存 C++
Nuget本地临时缓存路径处理
Nuget本地临时缓存路径处理
320 0
|
缓存
啊哈!C盘又满了?快修改IntelliJ IDEA默认系统缓存cache目录路径
啊哈!C盘又满了?快修改IntelliJ IDEA默认系统缓存cache目录路径
599 0
啊哈!C盘又满了?快修改IntelliJ IDEA默认系统缓存cache目录路径
|
缓存 数据安全/隐私保护 Windows
windows 技巧篇-清除共享地址访问缓存信息,共享路径临时访问用户切换方法
windows 技巧篇-清除共享地址访问缓存信息,共享路径临时访问用户切换方法
622 0
windows 技巧篇-清除共享地址访问缓存信息,共享路径临时访问用户切换方法
|
1月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
|
1月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
|
30天前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
67 6
|
1月前
|
缓存 NoSQL 关系型数据库
redis和缓存及相关问题和解决办法 什么是缓存预热、缓存穿透、缓存雪崩、缓存击穿
本文深入探讨了Redis缓存的相关知识,包括缓存的概念、使用场景、可能出现的问题(缓存预热、缓存穿透、缓存雪崩、缓存击穿)及其解决方案。
154 0
redis和缓存及相关问题和解决办法 什么是缓存预热、缓存穿透、缓存雪崩、缓存击穿
|
7天前
|
缓存 NoSQL Redis
Redis 缓存使用的实践
《Redis缓存最佳实践指南》涵盖缓存更新策略、缓存击穿防护、大key处理和性能优化。包括Cache Aside Pattern、Write Through、分布式锁、大key拆分和批量操作等技术,帮助你在项目中高效使用Redis缓存。
61 22
|
6天前
|
缓存 NoSQL 中间件
redis高并发缓存中间件总结!
本文档详细介绍了高并发缓存中间件Redis的原理、高级操作及其在电商架构中的应用。通过阿里云的角度,分析了Redis与架构的关系,并展示了无Redis和使用Redis缓存的架构图。文档还涵盖了Redis的基本特性、应用场景、安装部署步骤、配置文件详解、启动和关闭方法、systemctl管理脚本的生成以及日志警告处理等内容。适合初学者和有一定经验的技术人员参考学习。
56 7