近日，一項(xiàng)關(guān)于大模型核心理論“Scaling Law”的起源討論正在外網(wǎng)熱烈展開(kāi)。最新觀點(diǎn)提到，中國(guó)科技巨頭百度比OpenAI更早實(shí)現(xiàn)了這一突破。
《南華早報(bào)》在其報(bào)道《百度在OpenAI之前就發(fā)現(xiàn)了Scaling Law？AI領(lǐng)域的辯論重新燃起》中指出，盡管美國(guó)在AI模型創(chuàng)新方面一直被視為領(lǐng)先者，但最新的討論顯示，中國(guó)在探索這些概念上可能更為超前。
大模型發(fā)展的核心是“Scaling Law”這一原則認(rèn)為，訓(xùn)練數(shù)據(jù)和模型參數(shù)越大，模型的智能能力就越強(qiáng)。這一思想廣泛歸功于OpenAI在2020年發(fā)表的論文《Scaling Laws for Neural Language Models》，自那以后，這個(gè)概念已成為AI研究的基石。
然而，OpenAI論文的合著者、前OpenAI研究副總裁 、Anthropic創(chuàng)始人Dario Amodei ，在11月的一期播客中透露，他在2014年與吳恩達(dá)在百度研究AI時(shí)，就已經(jīng)發(fā)現(xiàn)了模型發(fā)展的規(guī)律Scaling Law這一現(xiàn)象。Dario Amodei表示，隨著提供給模型的數(shù)據(jù)量增加、模型規(guī)模的擴(kuò)大以及訓(xùn)練時(shí)間的延長(zhǎng)，模型的性能開(kāi)始顯著提升。這一非正式的觀察后來(lái)在OpenAI的GPT-1語(yǔ)言模型中得到了驗(yàn)證，并被認(rèn)為是大模型發(fā)展的“金科玉律”。
此外，行業(yè)人士也發(fā)文稱(chēng)，關(guān)于Scaling Law的原始研究實(shí)際上來(lái)自2017年的百度，而不是2020年的OpenAI。Meta研究員、康奈爾大學(xué)博士候選人Jack Morris在X（前Twitter）上引用了一篇標(biāo)題為《Deep Learning Scaling is Predictable, Empirically》論文，論文于2017年由百度硅谷人工智能實(shí)驗(yàn)室發(fā)布，詳細(xì)討論了機(jī)器翻譯、語(yǔ)言建模等領(lǐng)域的Scaling現(xiàn)象。
但這篇論文的重要性被嚴(yán)重忽視，OpenAI在 2020年的Scaling Law研究中引用了百度研究人員在2019年發(fā)表的論文《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》（超越人類(lèi)水平的準(zhǔn)確性： 深度學(xué)習(xí)的計(jì)算挑戰(zhàn)）。批評(píng)者稱(chēng)，OpenAI 有選擇地引用了百度 2019 年的論文，而忽略了 2017 年早些時(shí)候的研究，而該研究才是Scaling Law概念的真正原始來(lái)源。
有研究者表示，正是百度的早期研究為AI大模型的發(fā)展奠定了理論基礎(chǔ)，并在2019年發(fā)布了第一代文心大模型，幾乎與OpenAI處于同一時(shí)期�！爸袊�(guó)在大型模型方面的進(jìn)步也獲得國(guó)際認(rèn)可�！睋�(jù)《南華早報(bào)》，在上海舉行的百度世界大會(huì)2024上，百度宣布了新技術(shù)，用以減輕圖像生成中的幻覺(jué)問(wèn)題即生成誤導(dǎo)性或事實(shí)不一致的圖像。百度還透露，截至11月初，百度文心大模型的日均調(diào)用量已經(jīng)達(dá)到了15億，相較一年前首次披露的5000萬(wàn)次，增長(zhǎng)約30倍。
隨著AI技術(shù)的不斷進(jìn)步和應(yīng)用的深入，中國(guó)在全球AI領(lǐng)域的影響力和領(lǐng)導(dǎo)地位將更加凸顯。（古雨）
