671B（即6710亿参数）的模型在推理时所需的显存取决于多个因素，包括模型架构、数据类型（如FP16、BF16、FP32）、批处理大小（batch size）以及是否使用显存优化技术（如梯度检查点、模型并行等）。
1. 参数存储的显存需求
- 假设使用FP16（16位浮点数）存储参数，每个参数需要2字节。
- 671B参数需要的显存：
671×109×2 bytes=1.342×1012 bytes≈1.342 TB - 如果使用FP32（32位浮点数），显存需求翻倍，约为2.684 TB。
2. 推理时的额外显存需求
推理过程中，除了存储模型参数，还需要存储中间激活值（activations）、优化器状态（如果微调）等。激活值的显存需求与输入序列长度、批处理大小和模型架构有关。
- 对于671B模型，激活值的显存需求可能达到数百GB甚至TB级别，具体取决于输入数据的大小和模型深度。
3. 显存优化技术
- 模型并行：将模型拆分到多个GPU上，显存需求可以分摊到多个设备。
- 流水线并行：将模型按层拆分，减少单设备的显存压力。
- 混合精度推理：使用FP16或BF16减少显存占用。
- 卸载技术：将部分数据卸载到CPU或磁盘，减少GPU显存需求。
4. 实际需求估算
- 如果使用FP16和适当的批处理大小，单卡推理671B模型可能需要至少 1.5 TB 以上的显存。
- 如果使用多卡（如8卡或更多），显存需求可以分摊到多卡，但每卡仍需要数百GB显存。
5. 硬件需求
- 目前消费级GPU（如NVIDIA A100、H100）单卡显存最高为80GB（A100）或更高（H100），远不足以支持671B模型的单卡推理。
- 需要使用多卡（如数十甚至上百卡）或专用硬件（如TPU Pods）来支持此类模型的推理。
总结
671B模型的推理显存需求极高，单卡无法满足，通常需要多卡并行或专用硬件支持。具体需求取决于模型实现和优化技术。
FP16和FP8分别需要张80张A100显卡
在推理671B（6710亿参数）模型时，显存需求取决于参数存储和中间激活值的大小。以下是对FP16和FP8两种数据类型的显存需求估算，以及所需的A100显卡数量。
1. FP16（16位浮点数）
- 每个参数需要2字节。
- 671B参数的显存需求：
671×109×2 bytes=1.342×1012 bytes≈1.342 TB - 加上中间激活值（假设激活值显存需求与参数显存需求相当），总显存需求约为 2.684 TB。
- A100显卡显存：每张A100显卡有80 GB显存。
- 所需显卡数量：
2.684 TB80 GB=2684 GB80 GB≈33.55
即至少需要 34张A100显卡。
2. FP8（8位浮点数）
- 每个参数需要1字节。
- 671B参数的显存需求：
671×109×1 byte=671×109 bytes≈0.671 TB - 加上中间激活值（假设激活值显存需求与参数显存需求相当），总显存需求约为 1.342 TB。
- A100显卡显存：每张A100显卡有80 GB显存。
- 所需显卡数量：
1.342 TB80 GB=1342 GB80 GB≈16.78
即至少需要 17张A100显卡。
3. 实际需求
- 以上估算是基于理论值，实际需求可能会更高，因为：
- 中间激活值的显存需求可能比参数存储更大。
- 模型并行和流水线并行会引入额外的通信开销。
- 批处理大小（batch size）会影响显存需求。
- 如果使用显存优化技术（如梯度检查点、卸载技术等），可以进一步减少显存需求。
总结
- FP16：至少需要 34张A100显卡。
- FP8：至少需要 17张A100显卡。
- 实际部署时，可能需要更多显卡以应对额外的显存需求和优化通信效率。