问题一：175B模型在训练时大概需要多少显存？
175B模型在训练时大概需要多少显存？
参考回答：
175B模型在训练时，以FP16精度计算，模型参数大概占用350G显存，模型梯度也需要350G，优化器需要的显存规模大概在2100GB，因此合并起来大概需要2800GB的显存规模。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660924
问题二：有哪些成熟的分布式训练框架可以解决模型装载和并行的问题？
有哪些成熟的分布式训练框架可以解决模型装载和并行的问题？
参考回答：
目前，有一些成熟的分布式训练框架可以解决模型装载和并行的问题，例如NVIDIA开发的Megatron-LM和微软开发的DeepSpeed Zero算法。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660925
问题三：什么是张量并行?它有什么特点？
什么是张量并行?它有什么特点？
参考回答：
张量并行（Tensor Parallel, TP）是对模型的每个层进行层内的拆分。使用TP能达到很好的GPU利用率。TP的通信粒度非常细，每计算完成一次层的拆分，就需要有一次通信来做AllReduce合并。虽然TP单次通信量较小，但其通信频率高，对带宽的要求也很高。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660926
问题四：流水线并行是如何工作的？
流水线并行是如何工作的？
参考回答：
流水线并行（Pipeline Parallel, PP）是模型的层与层之间的拆分，将不同的层放到不同的GPU上。在计算过程中，必须顺序执行，因为后面的计算过程依赖于前面的计算结果。为了保持流水线并行的高吞吐，需要将一个较大的Batch size切分成多个小Batch。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/660927
问题五：数据并行是什么?它如何影响训练过程？
数据并行是什么?它如何影响训练过程？
参考回答：
数据并行（Data Parallel, DP）是指将相同的参数复制到多个GPU上，并为每个GPU分配不同的数据子集同时进行处理。数据并行需要把模型参数加载到单个GPU显存里，而多个GPU计算的代价是需要存储参数的多个副本。在更新数据并行的节点对应的参数副本时，需要协调节点以确保每个节点具有相同的参数。
关于本问题的更多回答可点击原文查看：
