AI的下一個飛躍似乎沒法準時報道了。
當?shù)貢r間20日，據《華爾街日報》報道，OpenAI的新一代人工智能項目GPT-5（代號Orion）正面臨重重困難。該項目已開發(fā)超過18個月，成本花費巨大，卻仍未取得預期成果。
有知情人士透露稱，OpenAI的最大“金主”微軟原本預計能在2024年中期左右看到新模型。而OpenAI曾進行過至少兩次大規(guī)模訓練，每次都耗時數(shù)月并消耗海量數(shù)據，但每次都出現(xiàn)新問題，軟件無法達到研究人員所期望的結果。
分析認為，世界上可能沒有足夠的數(shù)據讓它變得足夠聰明。
巨額成本令人咋舌，GPT-5項目進展不順
分析師此前預測，科技巨頭們可能會在未來幾年在人工智能項目上投入1萬億美元。還有估算顯示，GPT-5一次為期6個月的訓練僅計算成本就高達約5億美元。OpenAI首席執(zhí)行官Sam Altman則表示，未來的AI模型成本預計將超過10億美元。但了解該項目的人士表示：
“雖然Orion的表現(xiàn)較OpenAI目前的產品有所提升，但還不足以證明其巨額運營成本的合理性�！�
今年10月，投資者給予OpenAI的1570億美元估值很大程度上是基于Altman的預測，他此前稱，GPT-5將是一次“重大飛躍”，他還曾說GPT-4表現(xiàn)得像一個聰明的高中生，但最終的GPT-5實際上在某些任務上更像擁有博士學位。
報道稱，GPT-5應該能夠解鎖新的科學發(fā)現(xiàn)，并完成諸如預約或航班等日常人類任務。研究人員希望它犯的錯誤會比現(xiàn)有的AI少，或者至少承認“懷疑”，因為目前的模型可能會產生幻覺。
不過，對于“何時能成為足夠聰明的AI”還沒有固定的標準，更多的是憑感覺。
而到目前為止，正在開發(fā)中的GPT-5給人的感覺還是不夠強。Altman在11月表示，“2024年內不會發(fā)布任何名為GPT-5的產品”。
數(shù)據短缺成為主要瓶頸
為了不使巨額投資“打水漂”，研究人員試圖通過小規(guī)模試運行來最大限度地降低這種失敗的幾率。
但是，GPT-5的計劃似乎從一開始就存在問題。2023年年中，OpenAI開始了一次訓練運行，同時也是對Orion擬議的新設計的測試。但這個過程進展緩慢，這表明更大規(guī)模的訓練可能需要非常長的時間，而這反過來又會使成本變得異常高昂。
OpenAI的研究人員決定進行一些技術調整來增強Orion，他們還發(fā)現(xiàn)，要讓Orion變得更智能，就需要更多高質量、多樣化的數(shù)據。模型的測試是一個持續(xù)的過程，大規(guī)模的訓練運行可能需要幾個月的時間，數(shù)萬億個token會被“投喂”給模型。
然而，公共互聯(lián)網上的新聞文章、社交媒體帖子、科學論文等數(shù)據已不足以滿足需求。DatologyAI首席執(zhí)行官Ari Morcos說：
“這變得非常昂貴，而且很難找到更多同等高質量的數(shù)據。”
為解決這一問題，OpenAI選擇從頭開始創(chuàng)建數(shù)據。他們雇傭軟件工程師和數(shù)學家等專業(yè)人士編寫新代碼或解決數(shù)學問題，以此作為訓練數(shù)據。
公司還與理論物理學等領域的專家合作，解釋他們將如何處理該領域最棘手的問題，但這個過程非常緩慢，GPT-4的訓練使用了大約13萬億個token。即便有1000人每天寫5000字，數(shù)月之內也只能產生10億個token。
OpenAI也開始開發(fā)“合成數(shù)據”，利用AI生成的數(shù)據來訓練Orion，并認為可以通過使用其另一個AI模型o1生成的數(shù)據來避免故障。
谷歌迎頭趕上，OpenAI慌不擇路？
今年，隨著谷歌推出了最受歡迎的新AI應用程序NotebookLM，OpenAI更慌了。
由于Orion停滯不前，公司開始開發(fā)其他項目和應用程序，包括精簡版的GPT-4和可以制作AI生成視頻的Sora。但知情人士表示，這導致了開發(fā)新產品的團隊和 Orion研究人員之間需要爭奪有限的計算資源。
另外，OpenAI也正在開發(fā)更先進的推理模型，認為通過讓AI“思考”更長時間，可以解決訓練中未遇到過的復雜問題。
然而，這些新策略也面臨挑戰(zhàn)。蘋果公司的研究人員發(fā)現(xiàn)，包括OpenAI的o1在內的推理模型很可能只是在模仿訓練數(shù)據，而非真正解決新問題。此外，o1生成多個答案的方法也大大增加了運營成本。
盡管如此，OpenAI仍在堅持不懈地推進GPT-5的開發(fā)。周五，Altman宣布了一個比以往任何產品都更智能的新推理模型計劃，但未透露何時或是否會推出堪稱GPT-5的模型。
