英偉達(dá)的市場(chǎng)份額到底有多大？公司的競(jìng)爭(zhēng)優(yōu)勢(shì)到底在哪？AMD、谷歌、亞馬遜的機(jī)會(huì)在哪？數(shù)據(jù)短缺是偽命題嗎？行業(yè)資本開支真的沒問題嗎？轉(zhuǎn)折點(diǎn)在哪？
近日，Semi Analysis創(chuàng)始人兼首席分析師迪倫帕特爾（Dylan Patel）、硅谷著名科技投資人比爾.柯爾利（Bill Gurley）、布拉德格斯特納 (Brad Gerstner)展開三方對(duì)談，就AI芯片目前的現(xiàn)狀，英偉達(dá)的競(jìng)爭(zhēng)優(yōu)勢(shì)還能持續(xù)多久，數(shù)據(jù)短缺是否是偽明天，以及AI資本開支還能持續(xù)多久進(jìn)行了深入的討論。
以下是對(duì)談核心要點(diǎn)：
不考慮谷歌，全球AI工作量中98%是在英偉達(dá)芯片上運(yùn)行的，如果考慮谷歌這個(gè)數(shù)據(jù)是70%。
英偉達(dá)的優(yōu)勢(shì)是三方面：公司軟件優(yōu)于大部分半導(dǎo)體公司；硬件方面，他們能夠率先采用新技術(shù)，并以極快的速度將芯片從設(shè)計(jì)推向部署；網(wǎng)絡(luò)方面，他們收購(gòu)MELLONOX，極大地提升了網(wǎng)絡(luò)能力。
谷歌雖然在軟件和計(jì)算元素方面有自己的理解，但在芯片封裝設(shè)計(jì)和網(wǎng)絡(luò)等困難領(lǐng)域需要與其他供應(yīng)商合作。
隨著數(shù)據(jù)中心的建設(shè)和電力供應(yīng)的緊張，企業(yè)需要更加合理地規(guī)劃資源。
文本是目前最有效的數(shù)據(jù)領(lǐng)域，但視頻數(shù)據(jù)蘊(yùn)含的信息更多。此外，預(yù)訓(xùn)練只是模型訓(xùn)練的一部分，推理時(shí)間計(jì)算也很重要。如果數(shù)據(jù)耗盡，可以通過創(chuàng)造合成數(shù)據(jù)來繼續(xù)改進(jìn)模型。
雖然預(yù)訓(xùn)練的一次性巨大收益可能已經(jīng)過去，但通過增加計(jì)算資源，企業(yè)仍然可以獲得一定的收益，尤其是在競(jìng)爭(zhēng)激烈的環(huán)境下。收益仍然存在，只是獲取難度增加了。
合成數(shù)據(jù)在能夠進(jìn)行功能驗(yàn)證的領(lǐng)域最有效。
華爾街目前對(duì)數(shù)據(jù)中心資本開支的估計(jì)通常過低。通過跟蹤全球數(shù)據(jù)中心，微軟、Meta、亞馬遜等公司在數(shù)據(jù)中心容量上的支出非常大。這表明他們相信通過擴(kuò)大規(guī)�？梢栽诟�(jìng)爭(zhēng)中獲勝，所以才會(huì)不斷投入。
英偉達(dá)不是2000年的思科，雙方估值沒有可比性。
預(yù)訓(xùn)練可能會(huì)遇到收益遞減或成本過高的問題，但合成數(shù)據(jù)生成和推理時(shí)間計(jì)算成為新的發(fā)展方向。
目前公司對(duì)于推理的投入相對(duì)較小。預(yù)計(jì)在未來6個(gè)月到 1 年，在某些具有功能驗(yàn)證的基準(zhǔn)測(cè)試中，模型性能將有巨大提升。
目前 GPT - 4o非常昂貴，但如果降低模型規(guī)模，成本會(huì)大幅下降。
AMD 在芯片工程方面表現(xiàn)出色，但在軟件方面存在明顯不足。他們?nèi)狈ψ銐虻能浖_發(fā)人員，也沒有投入資金建設(shè) GPU 集群來開發(fā)軟件，這與英偉達(dá)形成鮮明對(duì)比。
谷歌與博通合作構(gòu)建的TPU系統(tǒng)，在芯片互連、網(wǎng)絡(luò)架構(gòu)等方面具有競(jìng)爭(zhēng)力，甚至在某些方面優(yōu)于英偉達(dá)。
谷歌的TPU在商業(yè)上的成功相對(duì)有限，主要原因包括其軟件不夠開放，定價(jià)沒有競(jìng)爭(zhēng)力，主要用于內(nèi)部服務(wù)等。
亞馬遜芯片通過降低成本，在 HBM 內(nèi)存帶寬和每美元成本方面具有優(yōu)勢(shì)，雖然在技術(shù)指標(biāo)上（如內(nèi)存、帶寬等）低于英偉達(dá)，但對(duì)于一些對(duì)成本敏感的應(yīng)用場(chǎng)景具有吸引力。
從市場(chǎng)整體來看，超大規(guī)模數(shù)據(jù)中心計(jì)劃在明年大幅增加支出，這將帶動(dòng)整個(gè)半導(dǎo)體生態(tài)系統(tǒng)（包括網(wǎng)絡(luò)設(shè)備供應(yīng)商、ASIC 供應(yīng)商、系統(tǒng)供應(yīng)商等）的發(fā)展。
2026 年的情況存在一定的不確定性。一方面，模型性能是否能夠持續(xù)提升將是關(guān)鍵因素。如果模型性能提升速度放緩，可能會(huì)導(dǎo)致市場(chǎng)出現(xiàn)調(diào)整。
以下為對(duì)談全文，由AI進(jìn)行翻譯
主持人：迪倫，歡迎來到我們的節(jié)目。今天我們要深入探討一個(gè)今年一直在討論的話題，那就是計(jì)算機(jī)世界正在發(fā)生的根本性變化。比爾，你先來給大家介紹一下迪倫吧。
比爾：好的，我們很高興邀請(qǐng)到 SemiAnalysis 的迪倫·帕特爾。迪倫迅速建立起了全球半導(dǎo)體行業(yè)最受尊敬的研究團(tuán)隊(duì)之一。今天我們想深入探討迪倫在技術(shù)層面所了解的架構(gòu)、芯片縮放趨勢(shì)、全球市場(chǎng)的主要參與者、供應(yīng)鏈等知識(shí)，并將其與我們聽眾關(guān)心的商業(yè)問題聯(lián)系起來。我希望能對(duì)與人工智能熱潮相關(guān)的半導(dǎo)體活動(dòng)進(jìn)行一個(gè)階段性的總結(jié)，并嘗試從整體上把握其發(fā)展趨勢(shì)。
迪倫：很高興來到這里。我小時(shí)候，我的 Xbox 壞了，我父母是移民，我在佐治亞州的農(nóng)村長(zhǎng)大，沒什么事可做，就只能搗鼓電子產(chǎn)品。我打開 Xbox，短路了溫度傳感器，然后修好了它。從那時(shí)起，我就對(duì)半導(dǎo)體產(chǎn)生了濃厚的興趣，開始閱讀半導(dǎo)體公司的財(cái)報(bào)并投資，還深入研究技術(shù)相關(guān)的內(nèi)容。
主持人：能給我們簡(jiǎn)單介紹一下 SemiAnalysis 嗎？
迪倫：我們是一家半導(dǎo)體和人工智能研究公司，為超大規(guī)模數(shù)據(jù)中心、大型半導(dǎo)體私募股權(quán)公司和對(duì)沖基金等提供服務(wù)。
我們銷售全球數(shù)據(jù)中心的相關(guān)數(shù)據(jù)，包括每個(gè)季度的功率、建設(shè)進(jìn)展等；跟蹤全球約 1500 家晶圓廠（但實(shí)際關(guān)鍵的約 50 家）；還提供供應(yīng)鏈相關(guān)數(shù)據(jù)，如電纜、服務(wù)器、電路板、變壓器等設(shè)備的數(shù)據(jù)，并進(jìn)行預(yù)測(cè)和咨詢服務(wù)。
不考慮谷歌，全球98%的AI工作都使用英偉達(dá)芯片
比爾：迪倫，我們都知道英偉達(dá)在 AI 芯片領(lǐng)域占據(jù)主導(dǎo)地位，你認(rèn)為目前全球 AI 工作量中有多少是在英偉達(dá)芯片上運(yùn)行的呢？
迪倫：如果不考慮谷歌，占比超過 98%。但如果把谷歌算進(jìn)去，大約是 70%。因?yàn)楣雀栌泻艽笠徊糠?AI 工作量，尤其是生產(chǎn)性工作量，是在自己的芯片上運(yùn)行的。
比爾：你說的生產(chǎn)性工作量是指那些能產(chǎn)生收益的業(yè)務(wù)，比如谷歌搜索和谷歌的其他大型 AI 驅(qū)動(dòng)業(yè)務(wù)嗎？
迪倫：沒錯(cuò)。谷歌的非大語言模型（LLM）和其他生產(chǎn)性工作負(fù)載運(yùn)行在其內(nèi)部自研芯片上。
實(shí)際上，谷歌早在 2018 - 2019 年就在搜索工作負(fù)載中使用了 Transformer 技術(shù)，比如 BERT 就是當(dāng)時(shí)非常知名且流行的 Transformer 模型之一，多年來一直在其生產(chǎn)搜索工作負(fù)載中運(yùn)行。
三項(xiàng)優(yōu)勢(shì)結(jié)合讓英偉達(dá)目前主導(dǎo)市場(chǎng)
比爾：那回到英偉達(dá)，為什么它如此主導(dǎo)市場(chǎng)呢？
迪倫：可以把英偉達(dá)比作三頭龍。全球大多數(shù)半導(dǎo)體公司在軟件方面表現(xiàn)不佳，但英偉達(dá)除外。
在硬件方面，英偉達(dá)也比大多數(shù)公司更出色，他們能夠率先采用新技術(shù)，并以極快的速度將芯片從設(shè)計(jì)推向部署。此外，在網(wǎng)絡(luò)方面，他們收購(gòu)了 MELLONOX，極大地提升了網(wǎng)絡(luò)能力。這三個(gè)方面的優(yōu)勢(shì)相結(jié)合，使得其他半導(dǎo)體公司難以單獨(dú)與之競(jìng)爭(zhēng)。
比爾：你之前寫過一篇文章，幫助大家理解了英偉達(dá)這些現(xiàn)代尖端部署的復(fù)雜性，包括機(jī)架、內(nèi)存、網(wǎng)絡(luò)和規(guī)模等方面，能再給我們簡(jiǎn)單介紹一下嗎？
迪倫：好的。當(dāng)我們看 GPU 時(shí)，運(yùn)行一個(gè) AI 工作負(fù)載通常需要多個(gè)芯片協(xié)同工作，因?yàn)槟Ｐ偷囊?guī)模已經(jīng)遠(yuǎn)超單個(gè)芯片的能力。
英偉達(dá)的 NVLink 架構(gòu)能夠很好地將多個(gè)芯片聯(lián)網(wǎng)，但有趣的是，谷歌和博通早在英偉達(dá)之前就合作構(gòu)建了類似的系統(tǒng)架構(gòu)，比如谷歌在 2018 年就用 TPU 構(gòu)建了類似系統(tǒng)。
谷歌雖然在軟件和計(jì)算元素方面有自己的理解，但在芯片封裝設(shè)計(jì)和網(wǎng)絡(luò)等困難領(lǐng)域需要與其他供應(yīng)商合作。
現(xiàn)在，英偉達(dá)推出了 Blackwell 系統(tǒng)，這是一個(gè)包含多個(gè) GPU 的機(jī)架，重達(dá)三噸，有數(shù)千根電纜，非常復(fù)雜。
而競(jìng)爭(zhēng)對(duì)手如 AMD 等，最近也通過收購(gòu)來進(jìn)入系統(tǒng)設(shè)計(jì)領(lǐng)域，因?yàn)闃?gòu)建一個(gè)能夠協(xié)同工作、冷卻良好、網(wǎng)絡(luò)可靠的多芯片系統(tǒng)是一個(gè)極具挑戰(zhàn)性的問題，半導(dǎo)體公司通常缺乏相關(guān)工程師。
比爾：那你認(rèn)為英偉達(dá)在哪些方面進(jìn)行了增量差異化投資呢？
迪倫：英偉達(dá)主要在供應(yīng)鏈方面進(jìn)行了大量投資。他們必須與供應(yīng)鏈緊密合作，以開發(fā)下一代技術(shù)并率先推向市場(chǎng)。
例如，在網(wǎng)絡(luò)、光學(xué)、水冷和電力傳輸?shù)阮I(lǐng)域，英偉達(dá)不斷推出新技術(shù)，以保持其競(jìng)爭(zhēng)優(yōu)勢(shì)。他們的節(jié)奏非�？欤磕甓加泻芏嘧兓�，像 Blackwell、Rubin 等產(chǎn)品的推出。如果他們停滯不前，就會(huì)面臨競(jìng)爭(zhēng)壓力，因?yàn)槠渌?jìng)爭(zhēng)對(duì)手也在努力追趕。
比爾：如果英偉達(dá)停滯不前，他們?cè)谀男┓矫婵赡軙?huì)面臨競(jìng)爭(zhēng)？市場(chǎng)上其他替代品需要具備哪些條件才能占據(jù)更多的工作負(fù)載份額呢？
迪倫：對(duì)于英偉達(dá)來說，其主要客戶在 AI 方面的支出巨大，他們有足夠的資源來研究如何在其他硬件上運(yùn)行模型，尤其是在推理方面。
雖然英偉達(dá)在推理軟件方面的優(yōu)勢(shì)相對(duì)較小，但他們的硬件性能目前是最好的，這意味著更低的資本成本、運(yùn)營(yíng)成本和更高的性能。如果英偉達(dá)停止進(jìn)步，其性能優(yōu)勢(shì)將不再增長(zhǎng)，其他競(jìng)爭(zhēng)對(duì)手就有機(jī)會(huì)。
例如，現(xiàn)在隨著 Blackwell 的推出，英偉達(dá)不僅在推理性能上比以前的產(chǎn)品快 10 - 15 倍（針對(duì)大型模型進(jìn)行了優(yōu)化），還降低了利潤(rùn)率以應(yīng)對(duì)競(jìng)爭(zhēng)，他們計(jì)劃每年將性能提升 5 倍以上，這是一個(gè)非�？斓乃俣取Ｍ瑫r(shí)，AI 模型本身也在不斷改進(jìn)，成本也在下降，這將進(jìn)一步刺激需求。
比爾：你提到軟件在訓(xùn)練和推理中的作用不同，能詳細(xì)解釋一下嗎？
迪倫：很多人把英偉達(dá)的軟件簡(jiǎn)單地稱為 Kuta，但實(shí)際上它包含很多層次。
在訓(xùn)練方面，用戶通常依賴英偉達(dá)的軟件性能，因?yàn)檠芯咳藛T不斷嘗試新的方法，沒有太多時(shí)間去優(yōu)化性能。
而在推理方面，像微軟這樣的公司，會(huì)在有限的幾個(gè)模型上進(jìn)行部署，并且每六個(gè)月左右更新一次模型，他們可以投入大量工程師來優(yōu)化這些模型在其他硬件上的運(yùn)行性能。例如，微軟已經(jīng)在 AMD 等公司的硬件上部署了 GPT 風(fēng)格的模型。
主持人：我們之前提到過一張圖表，顯示未來四年將有一萬億美元的新 AI 工作量，以及一萬億美元的數(shù)據(jù)中心替換工作量，你對(duì)此怎么看？有人認(rèn)為人們不會(huì)用英偉達(dá)的 GPU 來重建 CPU 數(shù)據(jù)中心，你怎么回應(yīng)這種觀點(diǎn)？
迪倫：英偉達(dá)長(zhǎng)期以來一直在推動(dòng)非 AI 工作負(fù)載使用加速器，比如專業(yè)可視化領(lǐng)域（如 Pixar 制作電影）、西門子工程應(yīng)用等都使用了 GPU。
雖然這些在 AI 領(lǐng)域相比只是一小部分，但確實(shí)存在應(yīng)用。關(guān)于數(shù)據(jù)中心替換，雖然 AI 發(fā)展迅速，但傳統(tǒng)工作負(fù)載（如網(wǎng)絡(luò)服務(wù)、數(shù)據(jù)庫(kù)）并不會(huì)因此停止或放緩。數(shù)據(jù)中心的供應(yīng)鏈較長(zhǎng)，建設(shè)周期也長(zhǎng)，這是一個(gè)現(xiàn)實(shí)問題。
例如，英特爾的 CPU 在過去幾年進(jìn)展緩慢，而 AMD 的出現(xiàn)提供了更高性能的選擇，許多亞馬遜數(shù)據(jù)中心的舊英特爾 CPU 服務(wù)器已經(jīng)使用多年，現(xiàn)在可以用性能更高的新服務(wù)器（如 128 核或 192 核）來替換，這樣不僅能提升性能，還能在相同功耗下減少服務(wù)器數(shù)量，從而為 AI 服務(wù)器騰出空間。
所以，雖然有數(shù)據(jù)中心替換的情況，但市場(chǎng)整體仍在增長(zhǎng)，只是 AI 的發(fā)展促使了這種行為，因?yàn)槠髽I(yè)需要更多的計(jì)算能力來支持 AI 應(yīng)用。
主持人：這讓我想起上周薩沙在節(jié)目中提到的，他說他們受到數(shù)據(jù)中心和電力的限制，而不是芯片的限制，你覺得這與你剛剛的解釋有什么關(guān)聯(lián)嗎？
迪倫：我認(rèn)為薩沙的觀點(diǎn)強(qiáng)調(diào)了數(shù)據(jù)中心和電力在當(dāng)前的瓶頸地位，這與芯片供應(yīng)情況不同。隨著數(shù)據(jù)中心的建設(shè)和電力供應(yīng)的緊張，企業(yè)需要更加合理地規(guī)劃資源，這也解釋了為什么他們會(huì)采取一些措施，如從加密貨幣挖礦公司獲取電力資源，或者延長(zhǎng)舊服務(wù)器的折舊周期等。
如果沒有數(shù)據(jù)，可以創(chuàng)造合成數(shù)據(jù)改進(jìn)模型
主持人：在討論替代英偉達(dá)的方案之前，我們先談?wù)勀阍谖恼轮刑岬降念A(yù)訓(xùn)練和縮放辯論吧。伊利亞特說數(shù)據(jù)是 AI 的 “化石燃料”，我們已經(jīng)消耗了大部分，預(yù)訓(xùn)練的巨大收益不會(huì)再重復(fù)，你怎么看這個(gè)觀點(diǎn)？
迪倫：預(yù)訓(xùn)練縮放定律相對(duì)簡(jiǎn)單，增加計(jì)算資源可以提升模型性能，但這涉及到數(shù)據(jù)和參數(shù)兩個(gè)維度。
當(dāng)數(shù)據(jù)耗盡時(shí)，雖然可以繼續(xù)擴(kuò)大模型規(guī)模，但收益可能會(huì)減少。不過，目前我們對(duì)視頻數(shù)據(jù)的利用還非常有限，這是一個(gè)誤解。實(shí)際上，文本是目前最有效的數(shù)據(jù)領(lǐng)域，但視頻數(shù)據(jù)蘊(yùn)含的信息更多。此外，預(yù)訓(xùn)練只是模型訓(xùn)練的一部分，推理時(shí)間計(jì)算也很重要。如果數(shù)據(jù)耗盡，我們可以通過創(chuàng)造合成數(shù)據(jù)來繼續(xù)改進(jìn)模型，例如 OpenAI 等公司正在嘗試的方法，通過讓模型生成大量數(shù)據(jù)，然后進(jìn)行功能驗(yàn)證，篩選出有效的數(shù)據(jù)用于訓(xùn)練，從而提高模型的性能。雖然這種方法目前還處于早期階段，投入的資金相對(duì)較少，但它為模型改進(jìn)提供了新的方向。
主持人：從投資的角度來看，英偉達(dá)備受關(guān)注。但如果預(yù)訓(xùn)練的收益已經(jīng)大部分被獲取，為什么家還在建造更大的集群呢？
迪倫：雖然預(yù)訓(xùn)練的一次性巨大收益可能已經(jīng)過去，但通過增加計(jì)算資源，我們?nèi)匀豢梢垣@得一定的收益，尤其是在競(jìng)爭(zhēng)激烈的環(huán)境下，企業(yè)希望通過提升模型性能來保持競(jìng)爭(zhēng)力。
此外，模型與競(jìng)爭(zhēng)對(duì)手模型之間的對(duì)比也促使企業(yè)不斷投入。雖然從投資回報(bào)率來看，繼續(xù)擴(kuò)大規(guī)�？赡苁菍�(duì)數(shù)級(jí)別的昂貴，但仍然可能是一個(gè)理性的決策，因?yàn)槭找嫒匀淮嬖�，只是獲取難度增加了。而且，隨著合成數(shù)據(jù)生成等新方法的出現(xiàn)，模型改進(jìn)的速度可能會(huì)加快，這也為企業(yè)繼續(xù)投資提供了動(dòng)力。
主持人：那在哪些領(lǐng)域合成數(shù)據(jù)最有效呢？能舉例說明嗎？
迪倫：合成數(shù)據(jù)在能夠進(jìn)行功能驗(yàn)證的領(lǐng)域最有效，比如在谷歌的服務(wù)中，他們有大量的單元測(cè)試來確保系統(tǒng)正常運(yùn)行，這些單元測(cè)試可以用來評(píng)估 LLM 生成的輸出是否正確。
在數(shù)學(xué)、工程等領(lǐng)域，輸出可以通過明確的標(biāo)準(zhǔn)進(jìn)行評(píng)估，而在一些主觀領(lǐng)域，如藝術(shù)、寫作風(fēng)格、談判技巧等，很難進(jìn)行功能驗(yàn)證，因?yàn)檫@些領(lǐng)域的評(píng)判標(biāo)準(zhǔn)比較主觀。例如，在圖像生成領(lǐng)域，很難說哪張圖像更美，因?yàn)檫@取決于個(gè)人喜好；而在數(shù)學(xué)計(jì)算或工程設(shè)計(jì)中，可以明確判斷輸出是否正確。
華爾街低估了大型數(shù)據(jù)中心的資本支出
主持人：你從超大規(guī)模數(shù)據(jù)中心那里聽到了什么？他們都說明年資本支出（capex）會(huì)增加，正在建造更大的集群，這是真的嗎？
迪倫：根據(jù)我們的跟蹤和分析，華爾街對(duì) capex 的估計(jì)通常過低。我們跟蹤全球每個(gè)數(shù)據(jù)中心，發(fā)現(xiàn)微軟、Meta、亞馬遜等公司在數(shù)據(jù)中心容量上的支出非常大。
他們簽署了明年的數(shù)據(jù)中心租賃協(xié)議，預(yù)計(jì)云收入將加速增長(zhǎng)，因?yàn)樗麄兡壳笆艿綌?shù)據(jù)中心容量的限制。這表明他們相信通過擴(kuò)大規(guī)�？梢栽诟�(jìng)爭(zhēng)中獲勝，所以才會(huì)不斷投入。
主持人：你之前提到的關(guān)于預(yù)訓(xùn)練的大規(guī)模集群建設(shè)，如果預(yù)訓(xùn)練趨勢(shì)發(fā)生變化，他們?cè)谕评矸矫娴慕ㄔO(shè)會(huì)有什么變化嗎？
迪倫：在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，正向傳播用于生成數(shù)據(jù)，反向傳播用于更新權(quán)重，而在合成數(shù)據(jù)生成、評(píng)估輸出和訓(xùn)練模型的新范式中，正向傳播的計(jì)算量大幅增加，因?yàn)樾枰纱罅靠赡苄裕聪騻鞑サ挠?jì)算量相對(duì)較少，因?yàn)橹辉谏贁?shù)有效數(shù)據(jù)上進(jìn)行訓(xùn)練。這意味著在訓(xùn)練過程中有大量的推理計(jì)算，實(shí)際上訓(xùn)練中的推理計(jì)算量比更新模型權(quán)重的計(jì)算量還要大。
此外，在訓(xùn)練模型時(shí)，是否需要所有組件都在同一位置取決于具體情況。
例如，微軟在不同地區(qū)建設(shè)多個(gè)數(shù)據(jù)中心，因?yàn)樗麄儼l(fā)現(xiàn)可以將推理工作負(fù)載分配到不同數(shù)據(jù)中心，同時(shí)在其他地方更新模型，這樣可以更有效地利用資源。因此，預(yù)訓(xùn)練的范式并沒有放緩，只是每一代的改進(jìn)成本呈對(duì)數(shù)增加，但企業(yè)正在尋找其他方法來降低成本，提高效率。
英偉達(dá)不是2000年的思科
主持人：有人將英偉達(dá)與思科在 2000 年的情況進(jìn)行比較，你怎么看？
迪倫：這種比較存在一些不公平之處。思科的收入很大一部分來自私人 / 信貸投資于電信基礎(chǔ)設(shè)施建設(shè)，而英偉達(dá)的收入來源與此不同，其私人 / 信貸投資占比較小，如 CoreWeave 由微軟支持。
此外，在互聯(lián)網(wǎng)泡沫時(shí)期，進(jìn)入該領(lǐng)域的私人資本規(guī)模遠(yuǎn)大于現(xiàn)在，雖然現(xiàn)在風(fēng)險(xiǎn)投資市場(chǎng)看似活躍，但實(shí)際上私人市場(chǎng)（如中東主權(quán)財(cái)富基金）的資金尚未大量進(jìn)入。而且，與思科當(dāng)時(shí)相比，現(xiàn)在這些盈利公司的資本來源、正現(xiàn)金流以及投資的理性程度都有所不同。英偉達(dá)目前的市盈率為 30，與思科當(dāng)時(shí)的 120 相比還有很大差距，因此不能簡(jiǎn)單地進(jìn)行類比。
推理時(shí)間推理（inference time reasoning）是擴(kuò)展智能的新方向
主持人：你提到推理時(shí)間推理是擴(kuò)展智能的新方向，并且計(jì)算密集度比預(yù)訓(xùn)練更高，能詳細(xì)解釋一下嗎？
迪倫：預(yù)訓(xùn)練可能會(huì)遇到收益遞減或成本過高的問題，但合成數(shù)據(jù)生成和推理時(shí)間計(jì)算成為新的發(fā)展方向。
推理時(shí)間計(jì)算聽起來不錯(cuò)，因?yàn)椴恍枰谟?xùn)練模型上花費(fèi)更多成本，但實(shí)際上存在很大的權(quán)衡。以 GPT - 4o 為例，它在推理時(shí)會(huì)生成大量數(shù)據(jù)，但最終輸出給用戶的只是其中一部分，在這個(gè)過程中，模型需要消耗大量計(jì)算資源。
例如，在處理用戶請(qǐng)求時(shí)，模型可能會(huì)生成數(shù)千個(gè)中間結(jié)果（令牌），但最終只輸出幾百個(gè)給用戶。這意味著計(jì)算成本大幅增加，不僅因?yàn)樯傻牧钆茢?shù)量增加，還因?yàn)樵谔幚磉@些令牌時(shí)，需要更多的內(nèi)存來存儲(chǔ)上下文信息（如 KV 緩存），這導(dǎo)致服務(wù)器能夠同時(shí)處理的用戶請(qǐng)求數(shù)量減少，從而增加了每個(gè)用戶的成本。
從成本角度看，對(duì)于微軟這樣的公司，如果其推理收入為 100 億美元，毛利率為 50 - 70%，成本為幾十億美元，當(dāng)使用像 GPT - 4o 這樣的模型時(shí)，由于推理計(jì)算成本增加，其成本可能會(huì)顯著上升，盡管模型性能更好，可以收取更高費(fèi)用，但成本的增加幅度可能超過收入的增加幅度。
GPT - 4o模型的企業(yè)級(jí)需求被低估了
主持人：那市場(chǎng)對(duì) GPT - 4o 這樣的模型的企業(yè)級(jí)需求是被高估還是低估了呢？
迪倫：GPT - 4o 目前還處于早期階段，人們對(duì)它的理解和應(yīng)用還不夠深入。
但從目前一些匿名基準(zhǔn)測(cè)試來看，有很多公司（如谷歌、Anthropic 等）正在開發(fā)推理模型，并且他們看到了通過增加計(jì)算資源來提升模型性能的明確路徑。這些公司在推理方面的投入相對(duì)較少，目前還處于起步階段，但他們有很大的提升空間，預(yù)計(jì)在未來 6 個(gè)月到 1 年，在某些具有功能驗(yàn)證的基準(zhǔn)測(cè)試中，模型性能將有巨大提升。因此，市場(chǎng)對(duì)這類模型的需求潛力巨大，但目前還難以準(zhǔn)確評(píng)估。
主持人：回顧互聯(lián)網(wǎng)浪潮，當(dāng)時(shí)很多創(chuàng)業(yè)公司最初依賴甲骨文和太陽公司的技術(shù)，但五年后情況發(fā)生了變化。在 AI 芯片領(lǐng)域，這種情況會(huì)發(fā)生嗎？
迪倫：目前 GPT - 4o 非常昂貴，但如果降低模型規(guī)模，成本會(huì)大幅下降。
例如，從 GPT - 4o 到 Llama 7b，成本可以降低很多。對(duì)于小型模型，推理相對(duì)容易，可以在單個(gè)芯片上運(yùn)行，這導(dǎo)致市場(chǎng)競(jìng)爭(zhēng)激烈，許多公司提供基于 Llama 等模型的 API 推理服務(wù)，價(jià)格競(jìng)爭(zhēng)激烈，利潤(rùn)率較低。
相比之下，像微軟這樣使用 OpenAI 模型的公司，毛利率較高（50 - 70%），因?yàn)樗麄儞碛懈咝阅苣Ｐ�，并且有企業(yè)或消費(fèi)者愿意為其支付高額費(fèi)用。
但隨著更多公司進(jìn)入市場(chǎng)，模型的差異化變得更加重要，只有擁有最好的模型，并且能夠找到愿意為其付費(fèi)的企業(yè)或消費(fèi)者，才能在競(jìng)爭(zhēng)中脫穎而出。因此，市場(chǎng)正在快速篩選，最終可能只有少數(shù)幾家公司能夠在這個(gè)領(lǐng)域競(jìng)爭(zhēng)。
谷歌、亞馬遜芯片各自有優(yōu)劣
主持人：那在這些競(jìng)爭(zhēng)公司中，AMD 的情況如何呢？
迪倫：AMD 在芯片工程方面表現(xiàn)出色，但在軟件方面存在明顯不足。他們?nèi)狈ψ銐虻能浖_發(fā)人員，也沒有投入資金建設(shè) GPU 集群來開發(fā)軟件，這與英偉達(dá)形成鮮明對(duì)比。
此外，AMD 一直專注于與英特爾競(jìng)爭(zhēng)，缺乏系統(tǒng)級(jí)設(shè)計(jì)經(jīng)驗(yàn)，雖然收購(gòu)了 ZT 系統(tǒng)公司，但在大規(guī)模數(shù)據(jù)中心的系統(tǒng)架構(gòu)設(shè)計(jì)方面仍落后于英偉達(dá)。
超大規(guī)模數(shù)據(jù)中心客戶（如 Meta 和微軟）在幫助 AMD 改進(jìn)軟件和理解模型開發(fā)、推理經(jīng)濟(jì)等方面，但 AMD 仍無法與英偉達(dá)在同一時(shí)間表上競(jìng)爭(zhēng)。預(yù)計(jì) AMD 明年在微軟和 Meta 等客戶中的 AI 收入份額將下降，但仍能從市場(chǎng)中獲利，只是不會(huì)像英偉達(dá)那樣取得巨大成功。
主持人：谷歌的 TPU 情況呢？它似乎是僅次于英偉達(dá)的選擇。
迪倫：谷歌的 TPU 在系統(tǒng)和基礎(chǔ)設(shè)施方面有其獨(dú)特之處。單個(gè) TPU 的性能雖然不錯(cuò)，但更重要的是其系統(tǒng)設(shè)計(jì)。谷歌與博通合作構(gòu)建的 TPU 系統(tǒng)，在芯片互連、網(wǎng)絡(luò)架構(gòu)等方面具有競(jìng)爭(zhēng)力，甚至在某些方面優(yōu)于英偉達(dá)。
此外，谷歌多年來采用水冷技術(shù)，提高了系統(tǒng)的可靠性，而英偉達(dá)直到最近才意識(shí)到需要水冷技術(shù)。
然而，谷歌的 TPU 在商業(yè)上的成功相對(duì)有限，主要原因包括其軟件不夠開放，很多內(nèi)部使用的軟件（如 DeepMind 使用的軟件）未向谷歌云用戶提供；
定價(jià)方面，雖然官方定價(jià)較高，但實(shí)際談判后價(jià)格仍缺乏競(jìng)爭(zhēng)力，相比其他云服務(wù)提供商（如甲骨文、微軟、亞馬遜等），谷歌的 TPU 價(jià)格沒有優(yōu)勢(shì)；
此外，谷歌將大量 TPU 用于內(nèi)部服務(wù)（如搜索、Gemini 應(yīng)用等），外部租用市場(chǎng)份額較小，主要客戶為蘋果，且蘋果租用 TPU 可能與對(duì)英偉達(dá)的態(tài)度有關(guān)（可能存在競(jìng)爭(zhēng)關(guān)系，但具體原因暫未提及）。
主持人：那亞馬遜呢？能像介紹谷歌 TPU 那樣詳細(xì)介紹一下亞馬遜的芯片嗎？
迪倫：亞馬遜的芯片可以被稱為 “亞馬遜基礎(chǔ)版 TPU”。它在一些方面具有成本效益優(yōu)勢(shì)，例如使用更多的硅和內(nèi)存，網(wǎng)絡(luò)能力與 TPU 有一定可比性，但在效率方面存在不足，如使用更多的有源電纜（與博通合作的谷歌 TPU 使用無源電纜），硅片面積使用效率較低等。
然而，亞馬遜通過降低成本，在 HBM 內(nèi)存帶寬和每美元成本方面具有優(yōu)勢(shì)，其芯片價(jià)格遠(yuǎn)低于英偉達(dá)，雖然在技術(shù)指標(biāo)上（如內(nèi)存、帶寬等）低于英偉達(dá)，但對(duì)于一些對(duì)成本敏感的應(yīng)用場(chǎng)景具有吸引力。
亞馬遜與 Anthropic 合作建立了一個(gè)包含 40 萬個(gè)芯片的超級(jí)計(jì)算機(jī)系統(tǒng)，他們相信大規(guī)模的芯片部署對(duì)于推理和模型改進(jìn)是有用的，盡管在技術(shù)上可能不是最先進(jìn)的，但成本效益使其成為亞馬遜的一個(gè)合理選擇。
明年資本開支明確，26年后存在不確定性
主持人：展望 2025 - 2026 年，你對(duì)半導(dǎo)體市場(chǎng)有什么看法？比如博通最近股價(jià)上漲，英偉達(dá)股價(jià)波動(dòng)，你認(rèn)為市場(chǎng)會(huì)如何發(fā)展？
迪倫：博通在定制 ASIC 領(lǐng)域取得了一些成果，例如贏得了多個(gè)定制 ASIC 訂單，包括谷歌等公司的訂單。谷歌正在努力提升其定制芯片的性能，尤其是在推薦系統(tǒng)方面。此外，像 OpenAI 等公司也在開發(fā)自己的芯片，蘋果也有部分芯片與博通合作生產(chǎn)。這些發(fā)展趨勢(shì)表明，市場(chǎng)競(jìng)爭(zhēng)將更加激烈。
從市場(chǎng)整體來看，超大規(guī)模數(shù)據(jù)中心計(jì)劃在明年大幅增加支出，這將帶動(dòng)整個(gè)半導(dǎo)體生態(tài)系統(tǒng)（包括網(wǎng)絡(luò)設(shè)備供應(yīng)商、ASIC 供應(yīng)商、系統(tǒng)供應(yīng)商等）的發(fā)展。
然而，2026 年的情況存在一定的不確定性。
一方面，模型性能是否能夠持續(xù)提升將是關(guān)鍵因素。如果模型性能提升速度放緩，可能會(huì)導(dǎo)致市場(chǎng)出現(xiàn)調(diào)整，因?yàn)槟壳笆袌?chǎng)的增長(zhǎng)在很大程度上依賴于模型性能的不斷進(jìn)步以及由此帶來的對(duì)計(jì)算資源的需求增長(zhǎng)。
另一方面，資本投入也是一個(gè)重要變量。目前中東主權(quán)財(cái)富基金、新加坡、北歐和加拿大養(yǎng)老基金等尚未大規(guī)模進(jìn)入該市場(chǎng)，但如果他們未來決定投入大量資金，將對(duì)市場(chǎng)產(chǎn)生重大影響。
此外，新云市場(chǎng)將面臨整合。目前我們跟蹤的約 80 家新云服務(wù)提供商中，只有少數(shù)（5 - 10 家）可能在競(jìng)爭(zhēng)中存活下來。其中 5 家是主權(quán)云服務(wù)提供商，另外 5 家左右是具有市場(chǎng)競(jìng)爭(zhēng)力的企業(yè)。
當(dāng)前，GPU 租賃市場(chǎng)價(jià)格變化迅速，例如英偉達(dá) H100 的租賃價(jià)格大幅下降，不僅新云服務(wù)提供商之間的競(jìng)爭(zhēng)激烈，亞馬遜等大型云服務(wù)提供商的按需 GPU 定價(jià)也在快速下降。企業(yè)購(gòu)買 GPU 集群的比例仍然相對(duì)較低，他們更傾向于將 GPU 計(jì)算需求外包給新云服務(wù)提供商，但隨著市場(chǎng)整合，這種情況可能會(huì)發(fā)生變化。
對(duì)于英偉達(dá)來說，雖然其面臨競(jìng)爭(zhēng)，但如果能夠繼續(xù)保持技術(shù)領(lǐng)先，推出性能更優(yōu)、成本更低的產(chǎn)品，仍然有機(jī)會(huì)在市場(chǎng)中占據(jù)主導(dǎo)地位。例如，他們即將推出的產(chǎn)品成本雖然高于前代產(chǎn)品，但通過優(yōu)化性能和調(diào)整價(jià)格策略，仍有可能實(shí)現(xiàn)增長(zhǎng)。然而，如果市場(chǎng)需求未能如預(yù)期增長(zhǎng)，或者出現(xiàn)更具競(jìng)爭(zhēng)力的替代品，英偉達(dá)的收入可能會(huì)受到影響。
主持人：非常感謝迪倫今天的分享，這讓我們對(duì)半導(dǎo)體行業(yè)在 AI 領(lǐng)域的發(fā)展有了更深入的了解。希望在未來我們能繼續(xù)關(guān)注這個(gè)領(lǐng)域的動(dòng)態(tài)，也期待看到各公司在這個(gè)充滿機(jī)遇和挑戰(zhàn)的市場(chǎng)中的表現(xiàn)。再次感謝！
迪倫：謝謝，很高興能在這里分享我的觀點(diǎn)。
主持人：提醒一下大家，以上內(nèi)容僅代表我們的觀點(diǎn)，不構(gòu)成投資建議。
本文來自華爾街見聞，歡迎下載APP查看更多
