文 | 王吉偉
大語言模型不再被視作通往AGI的橋梁，生成式AI未來的發(fā)展方向在哪里？
已經(jīng)燒掉5000億美元還要繼續(xù)耗費(fèi)資源的大語言模型，后面的路還走得動(dòng)嗎？
燒錢、耗費(fèi)資源、難以盈利，被持續(xù)唱衰的大語言模型前路艱難但商業(yè)價(jià)值明顯
被砸重金的Transformer架構(gòu)卻不是AGI的鑰匙，大語言模型的前路是否光明？
機(jī)構(gòu)看衰專家批評(píng)項(xiàng)目艱難，大語言模型會(huì)不會(huì)成為即將破碎的AI泡沫？
全球看衰大語言模型，“AI六小虎”傳聞迭起，生成式AI的價(jià)值空間已經(jīng)觸頂？
國慶節(jié)過后，人工智能領(lǐng)域似乎多了幾分冷色調(diào)。不知道是因?yàn)榇笳Z言模型（Large Language Model，LLM）的幻覺，還是因?yàn)楹稌r(shí)節(jié)的到來。
或許人工智能還無法感受到時(shí)下的寒意，即便是帶有氣象傳感器的具身智能和端側(cè)Agent。因?yàn)檫@份寒意更多來自于經(jīng)濟(jì)圈層和精神層面，現(xiàn)實(shí)世界的復(fù)雜程度遠(yuǎn)不是一個(gè)采用Transformer及其變體架構(gòu)的大語言模型所能體會(huì)的。
技術(shù)上，這一輪人工智能的熱潮源自于Transformer架構(gòu)。而這個(gè)讓OpenAI最新融資額度達(dá)到1570億美元估值的技術(shù)架構(gòu)，在一些人看來卻并不咋地。
不看好并質(zhì)疑Transformer架構(gòu)的種種觀點(diǎn)，大體可以總結(jié)為：
Transformer缺點(diǎn)和優(yōu)點(diǎn)一樣明顯；
大語言模型并不是通往AGI的橋梁；
連帶著，生成式AI（Generative AI，GenAI）也開始被批判。當(dāng)然這些批判之聲并非只因Transformer架構(gòu)的技術(shù)缺陷，更在于生成式AI爆發(fā)以來出現(xiàn)的各種版權(quán)、安全等問題與當(dāng)前經(jīng)濟(jì)、社會(huì)乃至政治層面的各種沖突。
唱衰大語言模型的聲音，也得到了一些投資機(jī)構(gòu)的支持。在國外，高盛就認(rèn)為生成式AI投入很高而收益太少。Mighty Capital過去兩年沒有進(jìn)行AI領(lǐng)域的投資，認(rèn)為當(dāng)前的創(chuàng)業(yè)項(xiàng)目都被高估了。Next Round Capital Partners的言論更加偏激，預(yù)測85%的AI初創(chuàng)公司將在三年內(nèi)因資金耗盡或者被收購而倒閉。
最近甚至有聲音認(rèn)為OpenAI或者Anthropic最終會(huì)以被收購收場，即便OpenAI有很大的可能性能夠?qū)崿F(xiàn)主導(dǎo)上市。
國外關(guān)于AI泡沫的聲音，從去年開始就沒有間斷過。
在國內(nèi)，曾主導(dǎo)滴滴與快的合并的傳奇投資人朱嘯虎也認(rèn)為，五年以后可能不會(huì)再有獨(dú)立的大模型公司存在。言外之意明顯，大模型公司可能都會(huì)被收購，畢竟二、三線大模型創(chuàng)業(yè)項(xiàng)目已經(jīng)在賣身了。
而最近的幾個(gè)似是而非的傳聞，似乎也透露了一些問題。傳聞中的國產(chǎn)大模型“六小虎”目前的情況好像都不是很好，在裁員、靜默、迷茫中惶惶度日。
國外的大語言模型公司也沒有好多少。作為大語言模型領(lǐng)域的風(fēng)向標(biāo)，雖然OpenAI估值正在向2000億美元狂奔，卻難掩其骨干離職、持續(xù)燒錢、難于贏利、越發(fā)向虛的尷尬境地，人們對OpenAI的關(guān)注度正在逐漸下降。而Anthropic也越發(fā)表現(xiàn)平平，何時(shí)贏利仍是個(gè)問題。
現(xiàn)在來看，從技術(shù)到資本再到商業(yè)，沒有彰顯出大語言模型應(yīng)有的奮勇直上的姿態(tài)，反而是透露了一種難以為繼的疲態(tài)，要知道LLM的爆發(fā)至今僅有短短的2年。為什么很多人都在說LLM不是通往AGI的橋梁？資本市場和應(yīng)用市場如何看待生成式AI？如何看待“AI六小虎”傳聞？LLM真的不能長久嗎？
本文，王吉偉頻道結(jié)合近期的行業(yè)動(dòng)向，跟大家聊聊這些。
LLM是不是通往AGI的橋梁？
2023年3月下旬，ChatGPT如日中天LLM Based AI Agent嶄露頭角之時(shí)，未來生命研究所（Future of Life Institute，F(xiàn)LI）發(fā)布了一則公開信，呼吁所有人工智能實(shí)驗(yàn)室立即暫停訓(xùn)練比GPT-4更強(qiáng)大的人工智能系統(tǒng)至少6個(gè)月。
信中寫道，廣泛的研究表明，具有與人類智能競爭的人工智能系統(tǒng)可能對社會(huì)和人類構(gòu)成深遠(yuǎn)的風(fēng)險(xiǎn)這封信得到了包括馬斯克等在內(nèi)的1000多科技領(lǐng)袖和研究人員的簽名。
有意思的是，這封信發(fā)出后或許沒讓多少人重視AI的安全，反而堅(jiān)定了更多人相信LLM能夠?qū)崿F(xiàn)AGI的信心。
但一些人也認(rèn)為，LLM與AGI的距離就像人類在火星上定居一樣遙遠(yuǎn)。甚至有人認(rèn)為，OpenAI將AGI的進(jìn)展倒退了5到10年。因?yàn)楝F(xiàn)在所有人都在做LLM，使得其他研究和出版越發(fā)緩慢。
Meta首席人工智能科學(xué)家楊立昆（Yann LeCun）認(rèn)為，在某種程度上，AI 模型的“智能”程度取決于它所訓(xùn)練的數(shù)據(jù)，像 ChatGPT、Google的Gemini或Meta的 Llama這樣的LLM永遠(yuǎn)不會(huì)達(dá)到人類的智能水平。
在通往人類水平智能的道路上，LLM基本上是一種"off-ramp"（岔路）、"distraction"（干擾）和"dead end"（死胡同）。這意味著LLM并不能有效推動(dòng)我們實(shí)現(xiàn)人類水平的人工智能，反而可能會(huì)分散我們的注意力，讓我們誤入歧途。
甚至連OpenAI的CEO Sam Altman也曾表示，他不認(rèn)為僅僅通過擴(kuò)大LLM的規(guī)模就能實(shí)現(xiàn)AGI，對當(dāng)前LLM在實(shí)現(xiàn)AGI方面的潛力持保留態(tài)度。所以也有觀點(diǎn)認(rèn)為，未來GPT-5會(huì)不會(huì)繼續(xù)采用Transformer架構(gòu)尚未可知。
目前主流的AI模型和產(chǎn)品，比如ChatGPT、Sora、Bard、Claude、Midjourney、ChatGLM、Baichuan、Kimi 等都基于Transformer架構(gòu)。
在RWKV（Receptance Weighted Key Value，一種結(jié)合了遞歸神經(jīng)網(wǎng)絡(luò)和Transformer模型優(yōu)點(diǎn)的新型架構(gòu)）論文作者彭博看來，現(xiàn)實(shí)世界不是基于Transformer邏輯去做推理來運(yùn)轉(zhuǎn)的其運(yùn)轉(zhuǎn)規(guī)律是基于類似RNN 結(jié)構(gòu)的。這個(gè)世界的下一秒，不會(huì)跟你過去所有的時(shí)間、所有的信息相關(guān)聯(lián)，只會(huì)跟你的上一秒相關(guān)聯(lián)。但Transformer 要辨認(rèn)所有的 token，這是不合理的。
RWKV架構(gòu)圖
之所以說基于Transformer架構(gòu)的LLM不是通往AGI的橋梁，綜合各路大神的觀點(diǎn)與看法，主要原因歸結(jié)于LLM的技術(shù)局限性，表現(xiàn)為以下幾點(diǎn)：
局限一：預(yù)訓(xùn)練不能實(shí)時(shí)學(xué)習(xí)
人類智能的核心在于持續(xù)的實(shí)時(shí)學(xué)習(xí)，這得益于大腦的可塑性和神經(jīng)連接的動(dòng)態(tài)形成。相比之下，LLM在訓(xùn)練后被凍結(jié)，以批處理方式進(jìn)行學(xué)習(xí)，缺乏實(shí)時(shí)反饋和動(dòng)態(tài)適應(yīng)的能力。
數(shù)學(xué)上，這種限制源于它們在固定向量空間中的映射關(guān)系，無法隨著新數(shù)據(jù)的發(fā)展而調(diào)整。為實(shí)現(xiàn)實(shí)時(shí)學(xué)習(xí)，需要將Sobolev空間中的動(dòng)態(tài)映射引入。
局限二：記憶缺乏動(dòng)態(tài)整合能力
大腦的記憶系統(tǒng)是復(fù)雜而動(dòng)態(tài)的，能夠根據(jù)上下文和情感不斷調(diào)整。然而，LLM的記憶是靜態(tài)的，僅以固定權(quán)重存儲(chǔ)知識(shí)，缺乏動(dòng)態(tài)整合能力。
雖然有一些內(nèi)存增強(qiáng)技術(shù)（如RAG和神經(jīng)圖靈機(jī)）試圖引入外部記憶，但它們的計(jì)算成本高，且無法實(shí)現(xiàn)實(shí)時(shí)學(xué)習(xí)和適應(yīng)性召回。這種離散的記憶機(jī)制，使得LLM無法實(shí)現(xiàn)真正的上下文感知和聯(lián)想學(xué)習(xí)。
局限三：無法進(jìn)行實(shí)時(shí)動(dòng)態(tài)調(diào)整
盡管思維鏈（CoT）推理、上下文學(xué)習(xí)和元學(xué)習(xí)（如MAML）被認(rèn)為是改善LLM性能的潛在解決方案，但它們?nèi)晕催_(dá)到真正的通用智能（AGI）所需的流動(dòng)智能。
這些方法提高了特定任務(wù)的表現(xiàn)，但模型依然依賴于固定的訓(xùn)練模式，無法進(jìn)行實(shí)時(shí)動(dòng)態(tài)調(diào)整。大腦能夠通過每次體驗(yàn)重構(gòu)其突觸網(wǎng)絡(luò)，而LLM則需要繁瑣的微調(diào)過程。
局限四：能源效率與可持續(xù)性差
人腦以極高的能源效率運(yùn)作，能在僅20瓦的功耗下執(zhí)行1 exaflop的計(jì)算。相比之下，LLM的訓(xùn)練和推理過程能源密集，消耗數(shù)兆瓦的能量。
盡管有可能通過事件驅(qū)動(dòng)架構(gòu)和脈沖神經(jīng)網(wǎng)絡(luò)（SNN）來提高能效，但當(dāng)前的LLM仍未能達(dá)到大腦的能效水平。
局限五：缺乏可塑性與動(dòng)態(tài)適應(yīng)
大腦的可塑性使其能夠根據(jù)新信息和環(huán)境變化重組神經(jīng)連接，支持持續(xù)學(xué)習(xí)。相對而言，LLM的參數(shù)在訓(xùn)練后固定，缺乏根據(jù)新信息自我重組的能力。
這種可塑性的缺失限制了LLM在新挑戰(zhàn)下的適應(yīng)能力，真正的AGI需要具備動(dòng)態(tài)重新配置內(nèi)部結(jié)構(gòu)的能力，以降低運(yùn)營成本并提高效率。
這些局限性，也就是不看好LLM者常說的：Transformer 效率不高，天花板易窺見，計(jì)算成本高昂且占用內(nèi)存，資源浪費(fèi)嚴(yán)重。
并且LLM的這些局限性，很難或者無法從根本上改變，這也決定了LLM不會(huì)把人工智能帶向AGI。從局限性角度解讀LLM不能帶來AGI的文章，大家還可以參考下面幾篇：
鑒于Transformer的局限性，便出現(xiàn)了許多非Transformer架構(gòu)，其中比較有影響力的包括中國的RWKV、Meta 的Mega、微軟亞研的Retnet和Mamba、DeepMind團(tuán)隊(duì)的Hawk和Griffin等，這些架構(gòu)都是在Transformer大模型火爆之后提出的。
可以看到，在這個(gè)名單里除了RWKV架構(gòu)是創(chuàng)業(yè)項(xiàng)目，其他架構(gòu)都是科技巨頭推出的，其中似乎也映射了他們對Transformer無法實(shí)現(xiàn)AGI的看法。
需要說明的是，作為國產(chǎn)開源的首個(gè)非Transformer架構(gòu)大語言模型，目前RWKV已經(jīng)迭代至第六代RWKV-6。
有意思的是，跟OpenAI深度綁定的微軟已在Windows系統(tǒng)集成了RWKV，數(shù)據(jù)顯示在9月份win10+win11的裝機(jī)量已經(jīng)達(dá)到15億，驗(yàn)證了該架構(gòu)的實(shí)用性。
出現(xiàn)問題，就要解決問題。為了克服LLM的限制性，研究者們也正在探索新的數(shù)學(xué)框架和AI架構(gòu)，以模擬大腦的自適應(yīng)、上下文感知和節(jié)能特性。一些比較有發(fā)展?jié)摿Φ模ǔ醪剑┓较�，如下圖：
從各種研究方向以及LLM當(dāng)前面臨的問題來看，未來AGI的實(shí)現(xiàn)定然不會(huì)只依賴于一種模型，而是需要多種模型的組合和協(xié)作。LLM只是諸多模型中率先實(shí)現(xiàn)突破并且卓有成效的，使得今天的技術(shù)、生態(tài)、商業(yè)乃至資本都在重度往這個(gè)領(lǐng)域傾斜。
Transformer已經(jīng)形成壟斷地位，無論資源還是生態(tài)，非Transformer研究都差了很多。目前研究非Transformer新架構(gòu)的團(tuán)隊(duì)要么在學(xué)術(shù)界，要么是體量很小的創(chuàng)業(yè)團(tuán)隊(duì)，很少有大公司投入一個(gè)大的團(tuán)隊(duì)來研究新架構(gòu)。
目前行業(yè)的整體方向，如同在一個(gè)不太正確的方向上壓重注，導(dǎo)致更多的資源投放到Transformer技術(shù)的研究上而忽略其他方向，壓縮了非Transformer的生存空間，這也是一些人斥責(zé)LLM會(huì)把AGI的實(shí)現(xiàn)時(shí)間縮短5-10年的主要原因。
資本市場眼中的GenAI
除了技術(shù)領(lǐng)域頻頻吐槽基于Transformer的LLM，一些投資機(jī)構(gòu)也對生成式AI頗有看法，乃至于非常看衰GenAI，認(rèn)為這波炒作所帶來的AI泡沫即將破裂。
以O(shè)penAI為例，在今年早些時(shí)間募資時(shí)，很多投資機(jī)構(gòu)都認(rèn)為其1000億美元的估值太高。其新一輪融資最終以1570億美元的估值，但蘋果放棄了這一輪融資，于2021年投資OpenAI的紅杉資本沒有跟投。
還有一些投資機(jī)構(gòu)對投資AI非常慎重，比如風(fēng)險(xiǎn)投資機(jī)構(gòu)Mighty Capital過去兩年都沒有進(jìn)行AI領(lǐng)域投資，認(rèn)為價(jià)格被高估了。專注AI領(lǐng)域的投資機(jī)構(gòu)Thrive Capital在與一些LP、主權(quán)財(cái)富基金和大型機(jī)構(gòu)投資者溝通中發(fā)現(xiàn)，一些機(jī)構(gòu)面臨收入回報(bào)壓力，已拒絕讓VC投資風(fēng)險(xiǎn)高的項(xiàng)目。
高盛在《GEN AI: TOO MUCH SPEND, TOO LITTLE BENEFIT?》報(bào)告中對于AI的投資回報(bào)做出了質(zhì)疑：盡管預(yù)計(jì)未來幾年科技巨頭和各類企業(yè)將在AI相關(guān)領(lǐng)域投入約1萬億美元，但截至目前這些投資似乎并未帶來顯著成果。
在報(bào)告中，麻省理工學(xué)院教授Daron Acemoglu也對AI的前景持保留態(tài)度，預(yù)測未來十年內(nèi)，只有大約四分之一的AI任務(wù)能夠?qū)崿F(xiàn)成本效益的自動(dòng)化，AI可能只會(huì)使美國的生產(chǎn)力增加0.5%，GDP增長累計(jì)增加0.9%
高盛策略師Ryan Hammond團(tuán)隊(duì)報(bào)告稱，科技巨頭在AI領(lǐng)域的大量投資尚未產(chǎn)生相應(yīng)的收入和利潤，可能導(dǎo)致估值貶值。高盛全球股票研究主管Jim Covello更為謹(jǐn)慎，認(rèn)為AI必須解決復(fù)雜問題才能實(shí)現(xiàn)合理回報(bào)。
當(dāng)然，高盛內(nèi)部目前對AI的看法并不一致。一些分析師認(rèn)為，即使AI技術(shù)的基本敘事最終無法在資本市場站住腳跟，AI泡沫也可能需要更長時(shí)間才會(huì)破裂。另一些分析師則持懷疑態(tài)度，認(rèn)為AI自動(dòng)化任務(wù)不到5%，且AI技術(shù)的成本高昂，且并非為解決復(fù)雜問題而生
紅杉資本合伙人認(rèn)為，按照當(dāng)前的投資成本，要保證50%的利潤，需要賺到6000億美元。這個(gè)數(shù)字是基于當(dāng)前GPU和云服務(wù)投資的預(yù)測。福布斯則認(rèn)為紅杉的估算是樂觀的，實(shí)際回報(bào)可能更低，除非生成式AI出現(xiàn)殺手級(jí)應(yīng)用。
但越來越多的華爾街分析師對AI的熱情也在減退，認(rèn)為AI技術(shù)尚未達(dá)到實(shí)用水平，投資過度可能導(dǎo)致不良后果。
在國內(nèi)市場，金沙江創(chuàng)投合伙人朱嘯虎在“創(chuàng)投十年”高峰論壇上的分享中，關(guān)于大模型創(chuàng)業(yè)提到了兩點(diǎn)：
一是如果到年底不能推出GPT-5，OpenAI和英偉達(dá)的股價(jià)可能都要狂跌；二是五年以后可能不會(huì)再有獨(dú)立的大模型公司存在，要么只有AI應(yīng)用公司，要么就是云服務(wù)。
雖然他不看好大模型創(chuàng)業(yè)但看好生成式AI應(yīng)用，這一點(diǎn)我們在后文還會(huì)提及。
應(yīng)用市場這樣看GenAI
除了資本市場，在應(yīng)用市場一些研究機(jī)構(gòu)對GenAI的看法也不是很樂觀。
根據(jù)Gartner 7月發(fā)布的最新炒作周期報(bào)告，用于采購的GenAI已經(jīng)達(dá)到了“高估期望的峰值”。這個(gè)階段之后是“幻滅的低谷”，一個(gè)“由于實(shí)驗(yàn)和實(shí)施未能實(shí)現(xiàn)”的興趣減弱的時(shí)期。
▲ 2024 采購和尋源解決方案技術(shù)成熟度曲線
雖然GenAI可能會(huì)從現(xiàn)在開始迅速成熟，在2到5年內(nèi)達(dá)到“生產(chǎn)力平臺(tái)”，但達(dá)到這一點(diǎn)的道路可能不會(huì)一帆風(fēng)順。Gartner估計(jì)，到2025年底，至少有30%的GenAI項(xiàng)目將在概念驗(yàn)證后被放棄。
市場研究開始證實(shí)這一點(diǎn)。軟件公司Asana對1200多名IT專業(yè)人士進(jìn)行了調(diào)查，發(fā)現(xiàn)四分之一的受訪者后悔如此迅速地投資了AI。Boston Consulting Group發(fā)現(xiàn)，三分之二的高管對其組織在AI方面的進(jìn)展持矛盾態(tài)度或不滿意。
SaaS公司W(wǎng)alkMe 表示，自從開始使用這些技術(shù)以來，一半的美國辦公室工作人員的工作沒有得到改善。
今年4月，麻省理工學(xué)院經(jīng)濟(jì)學(xué)家Daron Acemoglu的一篇論文引起了轟動(dòng)，該論文預(yù)測了AI“非平凡但適度”的經(jīng)濟(jì)利益。與高盛和麥肯錫相反，阿西莫格魯預(yù)計(jì)未來10年的GDP增長不會(huì)超過1.16%，而生產(chǎn)率增長僅略高于半個(gè)百分點(diǎn)。
《經(jīng)濟(jì)學(xué)人》7月份的一篇文章則更為犀利，指出“到現(xiàn)在為止這項(xiàng)技術(shù)幾乎沒有對經(jīng)濟(jì)產(chǎn)生任何影響”。
在Daron Acemoglu看來，每個(gè)人都在瘋狂地沖刺，想用AI做一些事情，卻不知道自己在做什么。這些技術(shù)還不夠成熟，將導(dǎo)致大量中斷和不必要的自動(dòng)化，并且可能會(huì)降低公司提供的產(chǎn)品和服務(wù)的有效性。
在具體應(yīng)用層面，Gartner研究主管Pieter J. den Hamer表示，市場內(nèi)部對GenAI的失望感正在加大。特別是對于在ChatGPT病毒式傳播后開始投資GenAI的公司來說，他們越發(fā)意識(shí)到GenAI并不是靈丹妙藥。GenAI是一項(xiàng)非常強(qiáng)大的技術(shù)，但像任何其他技術(shù)一樣，它需要仔細(xì)分析研究后才能有效使用。
他指出，許多CIO投資于AI是為了提高生產(chǎn)力。當(dāng)他們努力量化這些收益時(shí)，挑戰(zhàn)就會(huì)進(jìn)一步出現(xiàn)。在Gartner 最近的一項(xiàng)調(diào)查中，近一半的IT領(lǐng)導(dǎo)者表示，他們在確定AI的商業(yè)價(jià)值時(shí)遇到了問題。
den Hamer表示其看到的目前最成功的應(yīng)用是將AI 應(yīng)用于客戶服務(wù)。以呼叫中心座席可以處理的電話數(shù)量來衡量，平均生產(chǎn)力大概提高10%，但前提是員工技能得到提升并能夠有效使用AI。在營銷領(lǐng)域也是一樣，需要適當(dāng)培訓(xùn)員工并讓他們適應(yīng)新的工作方式，否則成效就會(huì)小很多。
事實(shí)上，Gartner調(diào)查發(fā)現(xiàn)，目前只有9%的企業(yè)被歸類為“AI成熟”。他們與眾不同的是可擴(kuò)展的AI運(yùn)營模型、對AI工程的關(guān)注、對提高員工技能的投資以及更好的風(fēng)險(xiǎn)管理能力。
網(wǎng)絡(luò)安全咨詢公司SkySiege的首席工程師Andrew Southall認(rèn)為，風(fēng)險(xiǎn)管理能力很關(guān)鍵。他與許多客戶合作，這些客戶對他們的GenAI投資感到后悔，不僅因?yàn)樯虡I(yè)價(jià)值被誤解和高擁有成本，還因?yàn)?ldquo;數(shù)據(jù)中毒”等安全問題。
從技術(shù)供應(yīng)而言，目前像微軟這樣的生產(chǎn)力和商業(yè)軟件領(lǐng)域的領(lǐng)頭羊，也沒有真正找到愿意為此付費(fèi)的客戶。
The Information 稱，微軟365套件的客戶對 AI 驅(qū)動(dòng)的“Copilot”產(chǎn)品幾乎沒有太多興趣。在 4.4 億個(gè)用戶中，只有 0.1% 到 1% 的用戶愿意為這些 AI 功能付費(fèi)。
一家測試了這些 AI 功能的公司表示，“大多數(shù)人目前并不認(rèn)為它具有太大價(jià)值”，還有人說，“許多企業(yè)沒有看到在生產(chǎn)力和其他方面的顯著改進(jìn)”，他們“不確定何時(shí)才能看到”。
要體驗(yàn)這些功能，需要每人每月額外收取 30 美元。對于所謂的“Copilots for Sales”，則每月額外收取 50 美元。如果按年支付，這也將是一筆不小的費(fèi)用，因此很多企業(yè)對此并不太感冒。
對于這種技術(shù)與市場脫節(jié)的情況， 公共關(guān)系公司EZPR首席執(zhí)行官Edward Zitron在名為《The Subprime AI Crisis》的博文中寫道：
整個(gè)行業(yè)對生成式 AI 的大規(guī)模投入，結(jié)果卻只是出現(xiàn)了四、五個(gè)幾乎相同的大語言模型、世界上最不盈利的初創(chuàng)企業(yè)，還有數(shù)千個(gè)價(jià)格昂貴且令人失望的集成產(chǎn)品。
他認(rèn)為目前我們正在面對一種共同的幻覺：一種死胡同一樣的技術(shù)，它依賴版權(quán)盜竊、需要持續(xù)的資本注入，同時(shí)它所提供的服務(wù)在最好的情況下也是非必需的，它被包裝成一種尚未實(shí)現(xiàn)的自動(dòng)化，耗費(fèi)了數(shù)十億美元，而且可能會(huì)永遠(yuǎn)如此。生成式AI不單單靠金錢在運(yùn)行，還有信仰，問題是信仰是一種有限的資源。
這么犀利的筆鋒，透露了Edward對AI行業(yè)的極度擔(dān)心。
關(guān)于近期“AI六小虎”的傳聞
9月初，幾則關(guān)于大模型公司現(xiàn)狀的傳聞，似乎在印證資本市場及應(yīng)用市場目前不太認(rèn)可大語言模型的情況。
一則來自于橘子汽水鋪，整體提到了大模型創(chuàng)業(yè)公司的現(xiàn)狀。
一則來自于AI暴躁吐槽君，介紹了幾個(gè)創(chuàng)業(yè)公司的運(yùn)營情況。
在王吉偉頻道看來，重點(diǎn)發(fā)力AI應(yīng)用也沒什么不好，光守著大模型不能變現(xiàn)沒啥用，畢竟更好地活著才更有希望。
但這則報(bào)道，也讓之前的傳聞越發(fā)真實(shí)起來。
針對傳聞及報(bào)道中“某些公司放棄預(yù)訓(xùn)練”的說法，李開復(fù)已經(jīng)發(fā)朋友圈辟謠，稱零一萬物一直在做預(yù)訓(xùn)練。
其實(shí)傳聞就是如此，你不管它別人也就是猜猜罷了。但若是認(rèn)真，則有可能堅(jiān)定別人的看法。
既然是傳聞，大多可能會(huì)是捕風(fēng)捉影。但無風(fēng)不起浪，真實(shí)情況可能不會(huì)像傳聞中說的那么嚴(yán)重，但還是為國內(nèi)AI圈披上了一層悲觀色彩。
即便沒有這些傳聞，還有朱嘯虎的預(yù)測。其“未來5年不會(huì)有獨(dú)立大模型公司”的說法，幾乎是預(yù)判了大模型創(chuàng)業(yè)公司的命運(yùn)，比這些傳聞還要嚴(yán)重的多。
假設(shè)這些大模型創(chuàng)業(yè)項(xiàng)目的生命周期只有五年，現(xiàn)在出現(xiàn)這樣的情況也就再正常不過了。
即使沒有朱嘯虎的預(yù)測，也還有最近蘭德公司（RAND Corporation）的研報(bào)。其所發(fā)布的報(bào)告《The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed Avoiding the Anti-Patterns of AI》超過80%的AI項(xiàng)目失敗了，是不涉及AI的信息技術(shù)項(xiàng)目的失敗率的兩倍，浪費(fèi)了數(shù)十億美元的資本和資源。
報(bào)告指出了項(xiàng)目失敗的幾個(gè)原因：利益相關(guān)者之間目標(biāo)不一致、過度關(guān)注并應(yīng)用AI而不考慮其價(jià)值、缺乏正確準(zhǔn)備的數(shù)據(jù)集、基礎(chǔ)設(shè)施不足以及AI與手頭問題不兼容。它還指出，這些問題不僅限于私營部門：即使是學(xué)術(shù)界也對 AI 項(xiàng)目存在問題，其中許多項(xiàng)目只專注于發(fā)布AI研究，而不是查看現(xiàn)實(shí)世界的成果應(yīng)用。
報(bào)告的觀點(diǎn)，與李彥宏之前的看法不謀而合。他也曾表示，中國有太多的大型語言模型，浪費(fèi)了大量資源，因?yàn)檫@些模型通常幾乎沒有實(shí)際的實(shí)際應(yīng)用。
這大概也是很多投資機(jī)構(gòu)，不敢再貿(mào)然投資大模型項(xiàng)目的重要原因之一了。
其實(shí)不只在中國，全球大模型項(xiàng)目面臨的情況都是一樣的。
雖然OpenAI估值已達(dá)1570億美元，但仍需應(yīng)對高達(dá)數(shù)十億美元的年度虧損，以及未來幾年巨額的運(yùn)營成本。根據(jù)公司的財(cái)務(wù)文件預(yù)測，OpenAI在2026年將虧損140億美元，并且這一預(yù)計(jì)并不包含股票薪酬，這是OpenAI最大的支出之一。
OpenAI公司預(yù)測，未來幾年模型訓(xùn)練的計(jì)算成本將大幅上升，到2026年將高達(dá)每年95億美元，其中不包括大模型研究的前期訓(xùn)練成本。預(yù)計(jì)到2030年將花費(fèi)超過2000億美元，其中60%至80%將用于訓(xùn)練和運(yùn)行模型。
至于贏利，OpenAI預(yù)計(jì)，在2023年至2028年期間公司的總虧損將達(dá)到440億美元，直到2029年才能實(shí)現(xiàn)140億美元的利潤。
Anthropic首席執(zhí)行官也表示，當(dāng)前AI模型訓(xùn)練成本是10億美元，未來三年這個(gè)數(shù)字可能會(huì)上升到100億美元甚至1000億美元。
這意味著，這兩個(gè)代表性大模型項(xiàng)目，在贏利之前都將繼續(xù)邊燒錢邊融資。而全球大模型創(chuàng)業(yè)項(xiàng)目，基本都在向這兩個(gè)項(xiàng)目看齊。
當(dāng)前AI行業(yè)僅是訓(xùn)練成本，就已經(jīng)超過5000億美元，收入?yún)s是寥寥。如果未來全球大模型項(xiàng)目都是這樣的投入和產(chǎn)出，大部分資本投入都不會(huì)轉(zhuǎn)化為收益。面對5年之后才有可能實(shí)現(xiàn)盈利的局面，又有多少公司和投資機(jī)構(gòu)能夠堅(jiān)持下來？
所以，才會(huì)有那么多人擔(dān)憂AI會(huì)成為泡沫，并可能在被戳破之后導(dǎo)致新的經(jīng)濟(jì)危機(jī)。
LLM未來的方向在哪里？
大語言模型不像微軟Windows這樣的系統(tǒng)，成為企業(yè)業(yè)務(wù)數(shù)字化運(yùn)行的軟件必需，也不像iPhone一樣成為人們工作、學(xué)習(xí)、生活的硬件必需。它的推出并沒有以終端產(chǎn)品的形態(tài)讓大家隨手可用，而是需要一定的學(xué)習(xí)門檻才能更好地使用。
同時(shí)技術(shù)提供的方式讓它跟其他技術(shù)供應(yīng)商沒有什么區(qū)別，服務(wù)各個(gè)企業(yè)與平臺(tái)的方式給產(chǎn)業(yè)鏈上下游帶來的好處，但也讓其利潤進(jìn)一步攤保雖然創(chuàng)造了GPT Store這樣的商業(yè)模式，但想要打造出APP Store一樣的完善生態(tài)系統(tǒng)需要一定的時(shí)間，這足以出現(xiàn)更多的商業(yè)競爭對手。
而想要進(jìn)一步彌補(bǔ)大語言模型的技術(shù)局限與能力不足以高效應(yīng)用于生產(chǎn)，又需要更多廠商和用戶投入更多資源與精力。想要能力更加出眾，就需要投入更多資源燒更多的錢。此外技術(shù)突進(jìn)與安全管理的矛盾，也一直是各個(gè)廠商的重頭戲。
大語言模型屬于大力出奇跡，但是大力的背后是持續(xù)燒錢。
當(dāng)然，并不是說大模型以后就沒有希望了。
OpenAI雖然燒錢嚴(yán)重，但其發(fā)布的模型一直都是行業(yè)領(lǐng)先的，并且得到了一些大客戶的器重。保持足夠的優(yōu)勢，拿到投資的可能性也就更大。如果兩年內(nèi)能夠轉(zhuǎn)型成為盈利性企業(yè)并完成上市，屆時(shí)可以獲得更多投資。
當(dāng)然OpenAI的營收能力也在不斷提高，2026年的虧損高峰后，2027年、2028年虧損幅度或?qū)⒋蠓照?/p>
所以現(xiàn)在的OpenAI一切向錢看無可厚非之，畢竟活著才有更多可能。
對比OpenAI，國內(nèi)一眾大模型項(xiàng)目如果能夠做到某垂直領(lǐng)域領(lǐng)先，能夠?yàn)槟承┯脩羧后w提供穩(wěn)定、高效應(yīng)用服務(wù)，在業(yè)務(wù)精進(jìn)且逐步盈利的情況下進(jìn)一步獲得融資的可能性也會(huì)更大。
此外，在更加“省錢、省力”的非Transformer架構(gòu)模型上做點(diǎn)文章，用小體量模型做一些大模型的事，也是一個(gè)值得考慮的方向。
今年以來，國內(nèi)大模型項(xiàng)目基本都已拿到新一輪融資。相關(guān)數(shù)據(jù)統(tǒng)計(jì)，截至8月份，國內(nèi)大模型公司融資金額在億元級(jí)別的有20起。“新AI六小龍”（零一萬物、MimiMax、百川智能、智譜AI、階躍星辰、月之暗面）中有五家公司今年已獲得億元級(jí)融資，另外一家也傳出正在融資的消息。
其中，月之暗面在8月完成新一輪騰訊投資的3億美元融資后估值已達(dá)33億美元，9月份智譜再次拿到繼中東財(cái)團(tuán)之后的新一輪融資，實(shí)現(xiàn)兩年內(nèi)完成6輪融資。
王吉偉頻道認(rèn)為，國有資本和大型科技公司的不斷注資，不但為這些大模型項(xiàng)目提供了源源不斷動(dòng)力，也在助力這些項(xiàng)目更好的完善生態(tài)以及更多的行業(yè)資源。
在技術(shù)上國產(chǎn)大模型相對滯后一些，但這并不妨礙大模型在一些領(lǐng)域的落地與應(yīng)用。只要能夠推出適合國內(nèi)企業(yè)的技術(shù)、產(chǎn)品與解決方案，這片土壤養(yǎng)活幾個(gè)大模型廠商綽綽有余。
雖然基于Transformer架構(gòu)的LLM不是連接AGI的最終橋梁，但它注定會(huì)在這個(gè)階段發(fā)光發(fā)熱，且它的發(fā)展空間遠(yuǎn)未觸頂，在這個(gè)進(jìn)程中將會(huì)創(chuàng)造足夠的商業(yè)及社會(huì)價(jià)值。
而那些大模型項(xiàng)目，不管最后是賣身還是獨(dú)立發(fā)展，它們的努力和創(chuàng)新都能為國產(chǎn)大模型的進(jìn)程貢獻(xiàn)一份應(yīng)有的力量。
高盛的報(bào)告在擔(dān)心AI投入過多收益太少的同時(shí)，也預(yù)測未來數(shù)年內(nèi)將有約1萬億美元的投資用于生成式AI及相關(guān)基礎(chǔ)設(shè)施，只是目前這些投資似乎并未帶來顯著成果。
摩根士丹利認(rèn)為市場對微軟在AI貨幣化方面的擔(dān)憂導(dǎo)致其股價(jià)承壓，但對微軟AI業(yè)務(wù)的商業(yè)回報(bào)增長持信心。
朱嘯虎認(rèn)為生成式AI可能是像PC互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)一樣以十年為單位的長周期的機(jī)會(huì)，并認(rèn)為大模型迭代速度放緩應(yīng)用創(chuàng)新的機(jī)會(huì)就會(huì)增多，今年開始在AIGC應(yīng)用端可能會(huì)出現(xiàn)大量機(jī)會(huì)。
最近跟一位年輕的朋友交流工作時(shí)，他說經(jīng)常用Kimi搜索和查找相關(guān)資料。而我周圍的幾個(gè)長輩，手機(jī)上竟也裝著豆包。
這，就是大模型應(yīng)用不錯(cuò)的開始。
