构建Tensorflow RDMA的Docker镜像
RDMA是一个远程通讯技术,它通过Kernel bypass等方式降低数据传输中的延迟和CPU消耗。
在分布式训练中,由于多个Worker之间或者Worker和Paramater Server 之间需要大量传输模型变量。当GPU到达一定数量后,受制于网络带宽以及TCP协议的延迟,通讯往往会成为计算性能的瓶颈,而在分布式训练中使用RDMA技术能够非常明显地提高训练速度。
#### Tenso
《白话深度学习与TensorFlow》——导读
另一方面,深度学习从其解决问题的根本理论方面需要比较深厚和扎实的数学基础,尤其是高等数学、线性代数、泛函分析及其延伸学科的基础,这就使得很多高等数学相关基础不好的朋友学习起来非常吃力。
《TensorFlow技术解析与实战》—— 2.2 基于pip的安装
本节书摘来自异步社区《TensorFlow技术解析与实战》一书中的第2章,第2.2节,作者李嘉璇,更多章节内容可以访问云栖社区“异步社区”公众号查看
第2章 TensorFlow环境的准备
2.2 基于pip的安装
pip是Python的包管理工具,主要用于PyPI[2](Python Packet Index)上的包。
深度学习技巧与窍门
本文是根据自身构建深度学习模型总结而来,适合有一定深度学习基础的读者阅读。