并行计算

首页 标签 并行计算
# 并行计算 #
关注
5121内容
Unsloth:学生党福音!开源神器让大模型训练提速10倍:单GPU跑Llama3,5小时变30分钟
Unsloth 是一款开源的大语言模型微调工具,支持 Llama-3、Mistral、Phi-4 等主流 LLM,通过优化计算步骤和手写 GPU 内核,显著提升训练速度并减少内存使用。
Step-Video-T2V:碾压Sora?国产开源巨兽Step-Video-T2V杀到:300亿参数一键生成204帧视频
Step-Video-T2V 是阶跃星辰团队推出的开源文本到视频模型,拥有 300 亿参数,能生成长达 204 帧的高质量视频。它支持中英文提示输入,并通过深度压缩的变分自编码器和扩散 Transformer 架构实现高效生成。
X-R1:3090也能训7B模型!开源框架X-R1把训练成本打下来了:10美元训出企业级LLM
X-R1 是一个基于强化学习的低成本训练框架,能够加速大规模语言模型的后训练开发。仅需4块3090或4090 GPU,1小时内完成训练,成本低于10美元。
KTransformers:告别天价显卡!国产框架让单卡24G显存跑DeepSeek-R1 671B大模型:推理速度飙升28倍
KTransformers 是由清华大学和趋境科技联合推出的开源项目,能够优化大语言模型的推理性能,降低硬件门槛。支持在仅24GB显存的单张显卡上运行671B参数的满血版大模型。
|
27天前
|
《探秘Downpour SGD算法:原理与多元应用场景解析》
Downpour SGD是随机梯度下降(SGD)的一种变体,采用参数服务器架构,通过数据并行机制将大规模数据集分割到多个工作节点进行并行计算。它使用异步梯度更新策略,减少通信开销,提高训练效率,并结合自适应学习率调整机制,确保模型稳定收敛。该算法在图像识别、语音识别、自然语言处理和推荐系统等领域表现出色,显著加速模型训练,提升性能和准确性。
|
27天前
|
《探秘Hogwild!算法:无锁并行SGD的神奇之路》
Hogwild!算法是一种实现无锁并行随机梯度下降(SGD)的创新方法,广泛应用于深度学习和大规模数据处理。它通过数据并行架构、无锁更新策略和异步更新机制,允许多个计算节点同时更新共享模型参数,无需等待或同步。这不仅减少了通信开销,提高了资源利用率,还简化了实现和扩展。Hogwild!在图像识别、语音识别等任务中显著加速了模型训练,推动了人工智能技术的发展。
|
27天前
|
DeepSeek-V3 高效训练关键技术分析
本文从模型架构、并行策略、通信优化和显存优化四个方面展开,深入分析了DeepSeek-V3高效训练的关键技术,探讨其如何以仅5%的算力实现对标GPT-4o的性能。
本地部署DeepSeek模型
要在本地部署DeepSeek模型,需准备Linux(推荐Ubuntu 20.04+)或兼容的Windows/macOS环境,配备NVIDIA GPU(建议RTX 3060+)。安装Python 3.8+、PyTorch/TensorFlow等依赖,并通过官方渠道下载模型文件。配置模型后,编写推理脚本进行测试,可选使用FastAPI服务化部署或Docker容器化。注意资源监控和许可协议。
告别服务器繁忙,云上部署DeepSeek
本文以 DeepSeek-R1-Distill-Qwen-32B-FP8 为例,向您介绍如何在GPU实例上使用容器来部署量化的 DeepSeek-R1 蒸馏模型。
|
1月前
|
《探秘小批量梯度下降:批量大小如何左右算法性能》
小批量梯度下降(MBGD)在机器学习中广泛应用,其批量大小选择至关重要。合适的批量大小能平衡计算效率与收敛稳定性:较大批量提高硬件利用率、加速训练,但占用更多内存;较小小批量引入噪声,增强泛化能力,避免过拟合。批量大小影响梯度估计准确性、学习率调整及跳出局部最优的能力。实际应用需综合考虑数据集规模、硬件资源和模型复杂度,通过实验找到最优值。
免费试用