LLaMA-Factory 基于docker的大模型多卡分布式微调
LLaMA-Factory是微调工具，包含Dockerfile和train.sh脚本，适用于多卡训练。Dockerfile基于nvidia/cuda:12.1.0镜像，安装Python 3.10、PyTorch 2.2.0、transformers等库。train.sh运行Docker容器，使用accelerate launch进行训练，参数包括模型路径、学习率、优化器设置等。注意使用--shm-size 32G --gpus all，并可选启用unsloth加速。默认配置文件设定了分布式训练和混合精度BF16。
Stable Diffusion 本地部署教程：详细步骤与常见问题解析
【4月更文挑战第12天】本教程详细介绍了如何在本地部署Stable Diffusion模型，包括安装Python 3.8+、CUDA 11.3+、cuDNN、PyTorch和torchvision，克隆仓库，下载预训练模型。配置运行参数后，通过运行`scripts/run_diffusion.py`生成图像。常见问题包括CUDA/CuDNN版本不匹配、显存不足、API密钥问题、模型加载失败和生成质量不佳，可按教程提供的解决办法处理。进阶操作包括使用自定义提示词和批量生成图像。完成这些步骤后，即可开始Stable Diffusion的AI艺术创作。
【密码学】一文读懂XTS模式
这篇文章的灵感来源于我偶然翻到的一个某U盘有关磁盘加密的一个介绍(这一篇不是广告蛤), 然后发现这个模式我之前还真没遇到过，因此呢，就学习了一下，就出来了这一篇文章。
PyTorch与DistributedDataParallel：分布式训练入门指南
【8月更文第27天】随着深度学习模型变得越来越复杂，单一GPU已经无法满足训练大规模模型的需求。分布式训练成为了加速模型训练的关键技术之一。PyTorch 提供了多种工具来支持分布式训练，其中 DistributedDataParallel (DDP) 是一个非常受欢迎且易用的选择。本文将详细介绍如何使用 PyTorch 的 DDP 模块来进行分布式训练，并通过一个简单的示例来演示其使用方法。