律师12张二手V100搭建AI集群跑DeepSeek

AI 驱动中国 纪行 1,209次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

律师在Reddit分享,其投入9450美元采购12张二手英伟达V100显卡搭建本地AI集群,运行DeepSeek-V4.1-Flash,最高每秒184个词元,成本约为三台DGX Spark组合一半,但功耗与噪音较高。

驱动中国11月21日消息,一名使用用户名u/TumbleweedNew6515的律师于11月20日在Reddit分享个人项目,称其投入9450美元(按当前汇率约合63239元人民币)采购12张二手英伟达Tesla V100 SXM2 32GB显卡,搭建本地AI服务器,用于运行DeepSeek-V4.1-Flash,集群最高吞吐量为每秒184个词元。

该系统的硬件由12张NVIDIA Tesla V100 SXM2 32GB组成,通过NVLink与PCIe连接,形成可协同推理的本地AI集群,整套硬件采购价格约为9450美元。

在模型部署上,系统采用3个流水线阶段(PP3)、每阶段4卡张量并行(TP4)的结构,运行DeepSeek-V4.1-Flash,并使用4-bit NVFP4量化。发帖者称,每个专家被压缩至约15360个参数,使12张V100可分别承载模型中的专家分片。

性能方面,该用户表示,在单请求、单流场景下,这台服务器优于已公开的4台英伟达DGX Spark组合,代码生成速度快约15%至45%,普通文本生成速度也更高。其英文原帖还列出,单代码流吞吐为157至184 tok/s,读取128K文件耗时28秒。

成本与使用条件方面,整套系统约9450美元,约为三台DGX Spark组合价格的一半。不过,该方案功耗最高可达约2100W,且噪音较大,不适合普通办公环境。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/530359.html
本文价值 ★★★★★ 4.7 3 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友