夢(mèng)晨 西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
DeepSeek版o1,有消息了。
還未正式發(fā)布,已在代碼基準(zhǔn)測(cè)試LiveCodeBench霸榜前三,表現(xiàn)與OpenAI o1的中檔推理設(shè)置相當(dāng)。
注意了,這不是在DeepSeek官方App已經(jīng)能試玩的DeepSeek-R1-Lite-Preview(輕量預(yù)覽版)。
而是摘掉了輕量版的帽子,稱(chēng)為DeepSeek-R1-Preview(預(yù)覽版),意味著替換了規(guī)模更大的基礎(chǔ)模型。
LiveCodeBench團(tuán)隊(duì)透露,他們正在與DeepSeek合作評(píng)估新模型的能力,在合作過(guò)程中,DeepSeek團(tuán)隊(duì)還幫他們找出并解決了評(píng)分系統(tǒng)的一些bug。
與此同時(shí),他們還曬出了目前僅有的一張DeepSeek-R1-Preview的思考過(guò)程。
鑒于DeepSeek此前已宣布R1模型將開(kāi)源,有網(wǎng)友表示,與OpenAI o1編程能力相當(dāng)?shù)拈_(kāi)源模型即將發(fā)布,2025年的編程就只剩下按Tab鍵了。
DeepSeek推理大模型滿(mǎn)血版兩個(gè)月前,DeepSeek在官網(wǎng)上線DeepSeek-R1-Lite-Preview時(shí)曾透露:
DeepSeek-R1-Lite-Preview使用強(qiáng)化學(xué)習(xí)訓(xùn)練,推理含大量反思和驗(yàn)證,遵循新的Scaling Laws
推理越長(zhǎng),表現(xiàn)越強(qiáng)。
在AIME測(cè)試基準(zhǔn)中,隨著推理長(zhǎng)度的增加,DeepSeek-R1-Lite-Preview表現(xiàn)出穩(wěn)定的得分提升。
DeepSeek-R1-Lite推理的特點(diǎn)在網(wǎng)友們的后續(xù)測(cè)試中也得到了驗(yàn)證:
在某些情況下,模型似乎能夠在生成推理步驟時(shí)自我糾正,表現(xiàn)出類(lèi)似原生“自我反思”的能力。不過(guò),沒(méi)有訓(xùn)練數(shù)據(jù)、模型架構(gòu)和技術(shù)報(bào)告/論文的細(xì)節(jié),很難確認(rèn)這一點(diǎn)。
期待未來(lái)的開(kāi)源模型和API!
摘掉Lite的帽子,變成DeepSeek-R1-Preview,意味著換了更大的基礎(chǔ)模型。
之前Lite版就在難度較高數(shù)學(xué)和代碼任務(wù)上超越o1-preview,大幅領(lǐng)先GPT-4o。
這次在LiveCodeBench上,這次的DeepSeek-R1-Preview的表現(xiàn)又與OpenAI o1-Medium相當(dāng),網(wǎng)友們更加期待開(kāi)源模型和API了。
LiveCodeBench由UC伯克利、MIT和康奈爾大學(xué)團(tuán)隊(duì)推出,旨在對(duì)大模型的代碼能力進(jìn)行全面且無(wú)污染的評(píng)估。
具體避免測(cè)試數(shù)據(jù)泄露的方法,是隨著時(shí)間的推移不斷從人類(lèi)的編程競(jìng)賽平臺(tái)收集新的題目。
除了代碼生成,還會(huì)評(píng)估模型在代碼自修復(fù)、執(zhí)行和測(cè)試輸出預(yù)測(cè)等方面的能力。
這樣實(shí)時(shí)更新、確保公平性和可靠性的測(cè)試方法,獲得了開(kāi)發(fā)者社區(qū)的認(rèn)可。
還有程序猿喊話(huà)Cursor直接把R1-Preview集成到Agent mode里:
One More Thing趕在春節(jié)前,許多還在做訓(xùn)練的國(guó)產(chǎn)大模型團(tuán)隊(duì),都把自家模型更新了一遍:
MiniMax開(kāi)源4M超長(zhǎng)上下文新模型!性能比肩DeepSeek-v3、GPT-4o
全球首次!國(guó)產(chǎn)AI開(kāi)源端側(cè)GPT-4o海外爆火,8B參數(shù)iPad就能跑
國(guó)內(nèi)數(shù)學(xué)最強(qiáng)!實(shí)測(cè)訊飛版o1:上能打奧賽卷高考,下能輔導(dǎo)寒假作業(yè)
阿里開(kāi)源首個(gè)視覺(jué)推理模型,擊敗GPT-4o,網(wǎng)頁(yè)一度404
……
OpenAI似乎要趁這邊放假開(kāi)始搞事情了(狗頭),奧特曼發(fā)帖透露:
o3-mini完成外部合作測(cè)試,已確定最終版,將在幾周內(nèi)推出,會(huì)同時(shí)上線API和ChatGPT。
在后續(xù)對(duì)話(huà)中,奧特曼還確認(rèn)了未來(lái)模型更多基本情況:
o3-mini的速度會(huì)非?
o3-mini大多數(shù)情況下不如o1-pro
o3 pro收費(fèi)從$200/月起步
OpenAI正在關(guān)注如何讓AI一次性輸出更多內(nèi)容
2025年計(jì)劃把GPT系列和o系列合并
參考鏈接:[1]https://x.com/StringChaos/status/1880317308515897761[2]https://x.com/deepseek_ai/status/1859200149844803724[3]https://x.com/sama/status/1880356297985638649