RTX 3080 20GB
进阶预计使算力翻倍
接入方式
- 通道
- OcuLink 直连（PCIe 4.0 ×4 · 约 8 GB/s）
- 适合场景
- 大模型 Prefill 与层切流水
性能参数
- 算力
- FP16 59.5 TFLOPS（稠密）
- 显存
- 20 GB（扩显存）
- 带宽
- 760 GB/s
- 实测参考
- 27B 组合 Prefill 1603.20 tok/s（较单卡 +44.03%）
27B 级模型装满一张卡；双机组合的 Prefill、Decode、均衡三档都已验证。
RTX 6000D
旗舰集群算力 · 长输入主力
接入方式
- 通道
- ConnectX-7 网络（RDMA · 200/400 GbE · 25–50 GB/s）
- 适合场景
- 六卡级集群与长输入预填充
性能参数
- 算力
- FP8 276–288 / FP4 547 TFLOPS（公开实测）
- 显存带宽
- 1568 GB/s
- 实测参考
- 双机 8K Prefill 8157.74 tok/s
- 集群参考
- 六卡 Prefill 16000+ tok/s
长输入预填充主力；与 DGX Spark 组双机或六卡集群。