近期，OpenAI CEO Sam Altman 于東京大學(xué)內(nèi)開展了一次訪談。期間，他透露了有關(guān) OpenAI 新的推理模型、以及公司未來(lái)規(guī)劃等關(guān)鍵信息。Altman 稱，在內(nèi)部，OpenAI 的模型已經(jīng)開發(fā)到了相當(dāng)于 GPT-4.5 的水平，并且要達(dá)到 GPT-5.5 的水平并不需要像過(guò)去那樣將計(jì)算能力提升 100 倍。而這種突破背后，是 OpenAI 在模型訓(xùn)練方法上的根本性轉(zhuǎn)變。
（來(lái)源：Youtube）
“過(guò)去一年中，對(duì)我們來(lái)說(shuō)，領(lǐng)域內(nèi)最重要的突破是這些能夠進(jìn)行推理的新模型，”Altman 在訪談中解釋道。這標(biāo)志著 AI 發(fā)展范式的一種轉(zhuǎn)變：從簡(jiǎn)單依靠擴(kuò)大模型規(guī)模和增加預(yù)訓(xùn)練數(shù)據(jù)，轉(zhuǎn)向了一種更精細(xì)、更有針對(duì)性的方法。在這種新方法中，強(qiáng)化學(xué)習(xí)發(fā)揮著核心作用。
傳統(tǒng)的大語(yǔ)言模型遵循一個(gè)相對(duì)簡(jiǎn)單的擴(kuò)展邏輯：每一代模型的計(jì)算能力大約是前一代的 100 倍。正如 Altman 所說(shuō)：“在過(guò)去的范式中，我們只做預(yù)訓(xùn)練，從 GPT-1 到 GPT-4，每個(gè)版本都大約是前一個(gè)版本的 100 倍計(jì)算能力，每次都會(huì)出現(xiàn)重大的新特性�！比欢�，這種簡(jiǎn)單的擴(kuò)展策略似乎已經(jīng)遇到了瓶頸。
為此，OpenAI 開始探索一種全新的方向：專注于開發(fā)通過(guò)強(qiáng)化學(xué)習(xí)優(yōu)化的專業(yè)化模型。
這些模型通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)行優(yōu)化，特別擅長(zhǎng)處理具有明確答案的任務(wù)，如編程和數(shù)學(xué)問(wèn)題。這種方法帶來(lái)了驚人的計(jì)算效率提升，使得他們能夠用更小的模型達(dá)到此前需要等到 GPT-6 才可能實(shí)現(xiàn)的性能水平。
比如，在編程領(lǐng)域，這種新方法的效果格外明顯。他們的第一個(gè)推理模型 o1 在全球競(jìng)爭(zhēng)性程序員中排名為前一百萬(wàn)位，這在當(dāng)時(shí)就已經(jīng)被認(rèn)為是個(gè)重要突破。隨后，模型的能力快速提升，很快進(jìn)入了前一萬(wàn)名。到 2024 年 12 月，他們公開發(fā)布的 o3 模型已經(jīng)達(dá)到了第 175 位。而目前，他們內(nèi)部的最新模型已經(jīng)達(dá)到約第 50 位的水平。Altman 甚至預(yù)計(jì)，在今年年底有望排名第一。
不過(guò)，這種新方法也存在其局限性。“當(dāng)我們采用這種新方式時(shí)，模型并不是在所有方面都會(huì)變得更好，而是在特定維度上取得突破，”他解釋道。這種專門化的特點(diǎn)使得新一代模型在編程領(lǐng)域表現(xiàn)出色，但在創(chuàng)造性任務(wù)，如發(fā)明全新算法或發(fā)現(xiàn)新的科學(xué)知識(shí)方面，仍有提升空間。
為了突破這些限制，OpenAI 正在嘗試一個(gè)新的方向：把大規(guī)模預(yù)訓(xùn)練模型與專業(yè)化的推理能力結(jié)合起來(lái)。Altman 認(rèn)為，這種結(jié)合可能帶來(lái)重要突破，帶來(lái)“在真正新的科學(xué)知識(shí)上的第一個(gè)跡象或某種生命跡象。”
實(shí)際上，DeepSeek-R1 這款推理模型已將強(qiáng)化學(xué)習(xí)帶來(lái)的推理能力泛化到了其他領(lǐng)域，給寫作等通用場(chǎng)帶來(lái)的能力提升，已經(jīng)讓我們看到這種可能。
圖丨 Andrej Karpathy 關(guān)于強(qiáng)化學(xué)習(xí)能否泛化的看法（來(lái)源：X）
在訪談中，Altman 還透露了 OpenAI 在未來(lái)的規(guī)劃。他表示，在未來(lái) 6 到 12 個(gè)月內(nèi)，他們將專注于開發(fā)小型但高效的推理模型。這些模型不僅要在科學(xué)和技術(shù)領(lǐng)域保持優(yōu)勢(shì)，還將逐步擴(kuò)展到其他領(lǐng)域。同時(shí)，他們也在努力實(shí)現(xiàn)多模態(tài)集成，讓用戶能夠同時(shí)使用語(yǔ)音、代碼編寫、畫布創(chuàng)作等多種功能。
“到今年年底，我們希望能夠推出一個(gè)新的模型，“Altman 說(shuō)，“如果用戶使用 Pro 版本，將計(jì)算能力調(diào)到最大，就能向它提出非常困難的問(wèn)題。雖然這個(gè)模型可能需要幾個(gè)小時(shí)的思考時(shí)間，可能需要使用多種工具，但最終能夠獨(dú)立完成任務(wù)。不過(guò)現(xiàn)在還不能期待它發(fā)現(xiàn)全新的科學(xué)原理�！�
另外，在開源問(wèn)題上，OpenAI 的立場(chǎng)正在發(fā)生微妙的變化。這一變化部分正是對(duì) Deepseek 發(fā)布開源推理模型 R1 的回應(yīng)。“我們會(huì)走向開源，”Altman 說(shuō)，“雖然我現(xiàn)在還不能確切說(shuō)明會(huì)開源什么或什么時(shí)候開源，但社會(huì)似乎已經(jīng)準(zhǔn)備好接受開源模型帶來(lái)的各種影響。”
Altman 表示，OpenAI 在確保模型安全性和穩(wěn)健性方面已經(jīng)取得了進(jìn)展。雖然開源模型的使用方式可能不會(huì)完全符合預(yù)期，但他們相信在大多數(shù)情況下，這些模型會(huì)發(fā)揮應(yīng)有的作用。
2025 年，OpenAI 會(huì)如 Altman 所宣稱的那樣更開放、更領(lǐng)先嗎？讓我們拭目以待。
參考資料：
1. https://www.youtube.com/watch?v=8LmfkUb2uIY
排版：初嘉實(shí)
