展會(huì)信息港展會(huì)大全

為超越 OpenAI GPT-4,Meta 不惜使用爭(zhēng)議數(shù)據(jù)訓(xùn)練 Llama 3
來源:互聯(lián)網(wǎng)   發(fā)布日期:2025-01-15 19:51:40   瀏覽:235次  

導(dǎo)讀:IT之家 1 月 15 日消息,周二,在一場(chǎng)涉及 Meta 的人工智能版權(quán)案件(Kadrey 訴 Meta 案)中,法院公開了 Meta 高管和研究人員的內(nèi)部通信記錄。這些文件顯示,Meta 在開發(fā)其最新 AI 模型 Llama 3 的過程中,高管和研究人員將超越 OpenAI 的 GPT-4 視為核心目標(biāo),并在內(nèi)部討論中表現(xiàn)出極強(qiáng)的競(jìng)爭(zhēng)意識(shí)。Meta 生成式 AI 副總裁 Ahmad Al-Dahle 在 2023 年 10 月發(fā)給研究員 Hugo To ......

IT之家 1 月 15 日消息,周二,在一場(chǎng)涉及 Meta 的人工智能版權(quán)案件(Kadrey 訴 Meta 案)中,法院公開了 Meta 高管和研究人員的內(nèi)部通信記錄。這些文件顯示,Meta 在開發(fā)其最新 AI 模型 Llama 3 的過程中,高管和研究人員將超越 OpenAI 的 GPT-4 視為核心目標(biāo),并在內(nèi)部討論中表現(xiàn)出極強(qiáng)的競(jìng)爭(zhēng)意識(shí)。

為超越 OpenAI GPT-4,Meta 不惜使用爭(zhēng)議數(shù)據(jù)訓(xùn)練 Llama 3

Meta 生成式 AI 副總裁 Ahmad Al-Dahle 在 2023 年 10 月發(fā)給研究員 Hugo Touvron 的消息中表示:“說實(shí)話…… 我們的目標(biāo)必須是 GPT-4。我們即將擁有 64,000 個(gè) GPU!我們必須學(xué)會(huì)如何構(gòu)建前沿技術(shù)并贏得這場(chǎng)競(jìng)賽!

盡管 Meta 一直以開源 AI 模型著稱,但其 AI 團(tuán)隊(duì)顯然更關(guān)注如何超越那些不公開模型權(quán)重的競(jìng)爭(zhēng)對(duì)手,例如 Anthropic 和 OpenAI。Meta 的高管和研究人員將 Anthropic 的 Claude 和 OpenAI 的 GPT-4 視為行業(yè)標(biāo)桿,并以此為目標(biāo)努力。

在內(nèi)部討論中,Meta 對(duì)法國(guó) AI 初創(chuàng)公司 Mistral 的態(tài)度顯得不屑一顧。Mistral 是 Meta 在開源領(lǐng)域的主要競(jìng)爭(zhēng)對(duì)手之一,但 Al-Dahle 在消息中直言:“Mistral 對(duì)我們來說不值一提。我們應(yīng)該能做得更好。”

當(dāng)前,科技公司正競(jìng)相推出尖端 AI 模型,而 Meta 的內(nèi)部通信進(jìn)一步揭示了其 AI 領(lǐng)導(dǎo)層的高度競(jìng)爭(zhēng)心態(tài)。在多次交流中,Meta 的 AI 負(fù)責(zé)人提到,他們?cè)讷@取訓(xùn)練 Llama 模型所需數(shù)據(jù)時(shí)表現(xiàn)得“非常激進(jìn)”。一位高管甚至在一封內(nèi)部郵件中表示:“Llama 3 幾乎是我唯一關(guān)心的事情!

然而,這種激進(jìn)的競(jìng)爭(zhēng)策略也引發(fā)了法律問題。本案檢察官指控 Meta 高管在匆忙推出 AI 模型的過程中,存在使用受版權(quán)保護(hù)的書籍進(jìn)行訓(xùn)練的行為。Touvron 在一份消息中指出,用于訓(xùn)練 Llama 2 的數(shù)據(jù)集“質(zhì)量不佳”,并討論了如何通過優(yōu)化數(shù)據(jù)源來提升 Llama 3 的表現(xiàn)。隨后,Touvron 和 Al-Dahle 討論了使用 LibGen 數(shù)據(jù)集的可能性,該數(shù)據(jù)集包含 Cengage Learning、Macmillan Learning、McGraw Hill 和 Pearson Education 等出版商的受版權(quán)保護(hù)作品。Al-Dahle 在消息中問道:“我們是否有合適的數(shù)據(jù)集?有沒有什么數(shù)據(jù)是你想用卻因?yàn)槟承┯薮赖脑驘o法使用的?”

IT之家注意到,Meta 首席執(zhí)行官馬克·扎克伯格此前曾表示,他正致力于縮小 Llama 模型與 OpenAI、谷歌等公司的閉源模型之間的性能差距。內(nèi)部消息顯示,公司內(nèi)部為實(shí)現(xiàn)這一目標(biāo)承受了巨大壓力。扎克伯格在 2024 年 7 月的一封信中寫道:“今年,Llama 3 已經(jīng)能夠與最先進(jìn)的模型競(jìng)爭(zhēng),并在某些領(lǐng)域處于領(lǐng)先地位。從明年開始,我們預(yù)計(jì)未來的 Llama 模型將成為行業(yè)中最先進(jìn)的!

2024 年 4 月,Meta 正式發(fā)布了 Llama 3。這款開源 AI 模型在性能上與谷歌、OpenAI 和 Anthropic 的閉源模型不相上下,并超越了 Mistral 的開源模型。然而,Meta 用于訓(xùn)練模型的數(shù)據(jù)  盡管扎克伯格據(jù)稱批準(zhǔn)使用這些數(shù)據(jù),但其版權(quán)狀態(tài)疑,正在多起訴訟中面臨審查。

贊助本站

相關(guān)內(nèi)容
AiLab云推薦
展開

熱門欄目HotCates

Copyright © 2010-2025 AiLab Team. 人工智能實(shí)驗(yàn)室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動(dòng)態(tài) | 免責(zé)聲明 | 隱私條款 | 工作機(jī)會(huì) | 展會(huì)港