V100 大逃杀:从 H100 集群退役的 GPU 们涌向二手市场
上一代旗舰 GPU 正大量流入二手市场:从 H100 集群退役的 V100 等卡价格走低,推理和小团队反而成了接盘主力。
上一代旗舰 GPU 正大量流入二手市场:从 H100 集群退役的 V100 等卡价格走低,推理和小团队反而成了接盘主力。
芯片
一位家庭实验室玩家在 Qwen 3.6 35B 上实测了三块二手英伟达 V100,用仅 1042 美元的自制平台取得了大约每秒 100 token 的速度——用的只是「电子垃圾」GPU。更小的稠密模型 Qwen 3.6 27B 在同一平台上只有每秒约 24 token,而同样的任务 V100 的能耗约为同数量 P100 的一半。
这篇博客文章《「电子垃圾」扩展:多块退役 GPU 上的 LLM》比较了九种配置——在单块 Supermicro 双至强主板上,分别装一块到三块 K80、P100 或 V100-16GB 显卡。测试使用 llama.cpp,涵盖 130 多项 LLM 测试,包括 Qwen 2.5、Gemma 4,当然还有 Qwen 3.6,精度从 Q4/Q8 到 F16,上下文从 4K 到 128K,并记录了每次运行的 GPU 能耗。作者日常就在这些 V100 上跑 Qwen 3.6 35B,并提醒用退役 GPU 扩展终究有上限。
这里的「电子垃圾」指的是退役的企业级 GPU——相比昂贵的新品它们是热门但性能偏弱的选择。此次 V100 测试是 7 月那轮 15 块「电子垃圾」GPU 测试的后续,这次每套配置都用同一块主板和 CPU:Supermicro X10DRG-Q 加两颗 12 核英特尔至强 E5-2687W,由海盗船 HX1500i 电源供电。
性能以「实时交互」为标准,即每秒 70 token。为什么是三块卡:主力测试模型 Qwen 3.6 35B 在一到两块卡上、Q8(8-bit 量化)下跑不动。
作者给出的价格如下,并注明这些价格「不能 100% 反映你今天在 eBay 上能找到的行情」,且总价只计两颗 CPU 中的一颗,未计内存、存储、机箱和散热。
270 美元(每块 90 美元)
403.50 美元(每块 134.50 美元)
655.16 美元(每对 436.77 美元)
整机合计 1042 美元
这些老卡相对便宜,因为它们「发热大、出厂不带散热」,这逼得作者为每张卡 3D 打印了一个风道,还催生了一个独立散热器的开发。
基准测试本身是每项测试跑 10 次生成 512 token,上下文预填充为 4K、32K、64K 或 128K。Qwen 3.6 35B 是混合专家(MoE)模型,每个 token 只激活 350 亿总参数中的约 30 亿。下面这些数字都是 Q8 精度下的成绩。
每秒 100 token 的目标很容易达成……前提是上下文窗口小,即 4K。100.8 token/秒的成绩在 128K 时降到 72.7,仍然达到 70 token/秒的目标。非 MoE 的 27B 模型表现差得多:4K 时 24.3,32K 时 21.6,64K 时 18.7,128K 时只剩 14.2。MoE 的速度比稠密模型快约四到五倍,取决于上下文长度。
测试还涵盖了其他约 300 亿参数的稠密模型。4K 时,Gemma 4 31B 达到 20.9,Qwen 2.5 32B 达到 21.0,而 MoE 的 Gemma 4 26B 仅用两块 V100 在 Q8 下就跨过了 70 token/秒的门槛。如果降到 Q4(4-bit 量化),两块 V100 跑 Qwen 3.6 35B 可以达到 77.1 到 105.4 token/秒(128K 到 4K 上下文区间)。作者称,加卡增加的是显存,能跑更大的模型,但不会更快。
作为对照,P100 在相同上下文区间跑 Q8 版 Qwen 3.6 35B 只有 40.2–55.2 token/秒,要到 Qwen 2.5 3B 才能达标 70。再对比更新的硬件——官方定价 4700 美元的英伟达 DGX Spark,以及起步价 2499 美元(按测试配置的 40 核 GPU、128GB 内存和 1TB SSD 算为 5399 美元)的 M5 Max Mac Studio——依据引用来的数据,三块 V100 的平台并不落下风。
Mac 的对比数据来自 oMLX 基准页:M5 Max 40 核 GPU、128GB 统一内存,在 Qwen 3.6 35B 上以约 19.5 万 token 的提示词达到 43.9 token/秒。Mac 在 4K 和 32K 略胜,V100 则在 64K 和 128K 反超,最长上下文时快 19%。这些数字只能粗看,因为两台机器用的运行时不同。
Spark 的成绩来自 Kleybrink 的 dgx-spark-bench,用 Ollama 思考模式配短提示词测得,45.8 token/秒不到 V100 在 4K 成绩的一半。
再往上到现代 GPU——用作者的话说「完全碾压我们的退役卡」——双 H100 约 315 token/秒,单 B200 在 128K 约 455 token/秒,B200 大约是 V100 平台的六倍速度,而且托管跑的是全 16-bit 模型,而 V100 用的是 8-bit。推理服务商 Parasail 用专用的 H100 和 B200 部署赞助了这组对比。
能耗方面,V100 平台跑一次 128K 的 35B 任务约耗电 0.02 度,P100 是它的两倍,两三块 K80 则要 0.35 到 0.45 度。相比 P100,V100-16GB「成绩更好而耗电更少」。这些数字只算 GPU,不含整机墙表。
后续还有更新。作者想要一个能映射「软件工厂」性能的基准——所谓「软件工厂」指模型被持续不断的提示请求围绕、昼夜运转的场景,那时瞬时速度没那么重要。散热器「几乎可以发布了」,将先从邮件列表招募 Beta 测试者,暂未给出日期。在 Reddit 帖子里,作者提到打算比较不同推理后端,并用投机解码提升性能。