導讀：IT之家 3 月 19 日消息，英偉達今日正式發(fā)布Dynamo，號稱是“AI 工廠的操作系統”。Dynamo 是一個“分布式推理服務庫”。本質上，它是一個針對用戶需求 token 而無法生產足夠 token 之間問題的開源解決方案。黃仁勛展示了一張關于推理的圖表，X 軸顯示用戶每秒的 Token 數，Y 軸顯示工廠每秒的 Token 數。在Dynamo、Grace Blackwell NVLink72 超級芯片的加持下，Blackwell 相比 ......
IT之家 3 月 19 日消息，英偉達今日正式發(fā)布Dynamo，號稱是“AI 工廠的操作系統”。
Dynamo 是一個“分布式推理服務庫”。本質上，它是一個針對用戶需求 token 而無法生產足夠 token 之間問題的開源解決方案。
黃仁勛展示了一張關于推理的圖表，X 軸顯示用戶每秒的 Token 數，Y 軸顯示工廠每秒的 Token 數。
在Dynamo、Grace Blackwell NVLink72 超級芯片的加持下，Blackwell 相比 Hopper可實現 25 倍的性能提升。
而在推理模型中，Blackwell 的性能是 Hopper 的 40 倍。
IT之家注意到，黃仁勛還打趣道，有了上述最新技術加持，搭建 AI 工廠的廠商“買得越多、省得越多”，總而言之就是掏錢吧。
