“DeepSeek 只用了兩年追上了這個(gè)差距，所以現(xiàn)在（中美以外的其他國(guó)家）完全還有機(jī)會(huì)�！�
整理 | 王啟隆
出品丨AI 科技大本營(yíng)（ID：rgznai100）出處丨h(huán)ttps://www.youtube.com/watch?v=6HDjVncL5Go（長(zhǎng)達(dá)八小時(shí)，比較難啃）一說(shuō)起“人工智能三教父”，大家很容易先想到 Geofeery Hinton 和 Yann LeCun 這兩位 “頂流” 大佬。
一位是德高望重的老教授、Google Brain 的靈魂人物，去年更有諾獎(jiǎng)加身，自帶光環(huán)；
另一位去年在推特上天天和馬斯克吵架，還是 Meta AI 的頭號(hào)技術(shù)大咖，想不關(guān)注都難。
但 Yoshua Bengio 能和另外兩位并稱深度學(xué)習(xí)三巨頭，可不是隨便叫叫的，他們都是實(shí)打?qū)嵉拇笊窦?jí)人物，不僅一起拿了圖靈獎(jiǎng)，還共同開(kāi)創(chuàng)了深度學(xué)習(xí)的時(shí)代。
前幾天，Bengio教授參與了巴黎理工學(xué)院的國(guó)際會(huì)議「AI Action Summit」，做了一場(chǎng)演講 + 兩場(chǎng)圓桌討論，相當(dāng)辛苦。這場(chǎng)會(huì)議由機(jī)器學(xué)習(xí)的領(lǐng)軍人物 Michael Jordan 擔(dān)任主席，是接下來(lái)將在 2 月 10 號(hào)開(kāi)幕的巴黎 AI 峰會(huì)的“預(yù)演”（也可以稱之為“熱身賽”），目的是為幾天后的活動(dòng)打個(gè)頭陣。
事實(shí)上，這場(chǎng)會(huì)議的前一天就有 Michael Jordan 本人和另一位教父 Yann LeCun 的爐邊談話環(huán)節(jié)，可謂是全明星陣容了。
Bengio教授演講的核心內(nèi)容，是他牽頭了一年完成的《人工智能高級(jí)系統(tǒng)風(fēng)險(xiǎn)綜合評(píng)估報(bào)告》。
這份報(bào)告不是一家之言，而是匯集了全球 100 位頂尖 AI 專家的集體智慧，共同 “把脈” 人工智能發(fā)展，聚焦最核心、最敏感的 “風(fēng)險(xiǎn)” 問(wèn)題，深度分析了人工智能未來(lái)可能遇到的關(guān)鍵挑戰(zhàn)。
所以這份報(bào)告中提出的觀點(diǎn)和結(jié)論，將直接影響到幾天后巴黎 AI 峰會(huì)的議程設(shè)置和討論方向，甚至可能對(duì)全球人工智能政策的制定產(chǎn)生深遠(yuǎn)的影響。
在后續(xù)關(guān)于這份報(bào)告的圓桌討論中，Bengio 教授也是精辟地點(diǎn)出，“我們不能像點(diǎn)菜一樣選擇 AI 風(fēng)險(xiǎn)，所有風(fēng)險(xiǎn)都必須一同解決。”
前面提到，Bengio 在這一天之內(nèi)還參加了第二場(chǎng)圓桌，其實(shí)就是這次會(huì)議的閉幕圓桌。這個(gè)圓桌討論了人工智能對(duì)社會(huì)、技術(shù)和可持續(xù)發(fā)展的變革性影響，話題也比較勁爆，像 Bengio 教授直接點(diǎn)名了 OpenAI，進(jìn)行了一頓批評(píng)：“OpenAI 會(huì)保留真正強(qiáng)大的那些人工智能供自己使用，與現(xiàn)有的非人工智能系統(tǒng)競(jìng)爭(zhēng)，他們基本上會(huì)摧毀所有其他沒(méi)有這些超級(jí)智能系統(tǒng)的國(guó)家的經(jīng)濟(jì)。我認(rèn)為這確實(shí)是生存危機(jī)，需要幾年的時(shí)間才能彌合這一差距但 DeepSeek 只用了兩年追上了這個(gè)差距，所以現(xiàn)在（其他國(guó)家）完全還有機(jī)會(huì)。”
Bengio 還犀利地評(píng)價(jià)了當(dāng)前的一大矛盾：“很多人都希望 AI 可以成為工具。但智能體（Agent）作為一個(gè)自主的實(shí)體，有自己的目標(biāo)，會(huì)自主選擇如何實(shí)現(xiàn)這些目標(biāo)，希望智能體成為工具就有些一廂情愿了。”
當(dāng)然，關(guān)于如今的當(dāng)紅辣子雞 DeepSeek，也有更多的討論。比方說(shuō)，OpenAI 與 DeepSeek 之間，以及 OpenAI 與《紐約時(shí)報(bào)》之間的訴訟，突顯了圍繞 AI 模型訓(xùn)練數(shù)據(jù)和生成內(nèi)容的版權(quán)歸屬問(wèn)題。
總之，咱們也不準(zhǔn)備水三篇文章了，以下就把Bengio教授的這場(chǎng)演講 +兩場(chǎng)圓桌討論，先后整理在下面，一次性放送，供大家一同學(xué)習(xí)：
演講| 人工智能憂患
以下是 Bengio 教授的演講實(shí)錄：
我將簡(jiǎn)要地向大家介紹這份令人驚嘆的報(bào)告，它共計(jì)花費(fèi)了我一年的時(shí)間。
這份報(bào)告是在布萊切利園會(huì)議峰會(huì)上授權(quán)發(fā)布的，那次峰會(huì)實(shí)際上先于現(xiàn)在開(kāi)始的這次法國(guó)峰會(huì)。會(huì)議大約在一年前幾個(gè)月前舉行，各國(guó)政府在會(huì)上決定，有必要對(duì)關(guān)于最先進(jìn)人工智能系統(tǒng)風(fēng)險(xiǎn)的研究工作進(jìn)行科學(xué)綜合。
這就是我們所做的工作。那場(chǎng)會(huì)議的結(jié)果就是創(chuàng)建了一個(gè)由各國(guó)專家代表組成的小組。此外，該小組還包括歐盟、聯(lián)合國(guó)和經(jīng)合組織的代表。
實(shí)際上，這是首次發(fā)布此類國(guó)際報(bào)告，其靈感來(lái)自于 IPCC，但結(jié)構(gòu)是非政治化的，真正獨(dú)立于政府可能施加的壓力，而是真正專注于科學(xué)和證據(jù)，這些科學(xué)和證據(jù)隨后可用于為政策制定者提供信息。
這是一項(xiàng)大規(guī)模的努力，匯集了來(lái)自世界各地約 100 位人工智能專家�？梢韵胂�，這些專家并非都彼此意見(jiàn)一致，關(guān)于人工智能存在許多爭(zhēng)論。但我們可以在適當(dāng)?shù)臅r(shí)候同意彼此保留不同意見(jiàn)。事實(shí)上，對(duì)于政策制定者來(lái)說(shuō)，了解科學(xué)家們?cè)谀男┓矫孢_(dá)成共識(shí)，在哪些方面存在分歧，是非常重要的信息。
因此，報(bào)告中討論了三個(gè)主要問(wèn)題：
首先是關(guān)于能力。這些先進(jìn)的人工智能系統(tǒng)，我們稱之為通用人工智能系統(tǒng)，它們?cè)诖罅繑?shù)據(jù)上進(jìn)行訓(xùn)練，可以做很多事情。例如，就大語(yǔ)言模型而言，它們掌握了 200 種語(yǔ)言，掌握了非常廣泛的知識(shí)。報(bào)告著眼于這些系統(tǒng)在不同領(lǐng)域的能力演變，以及科學(xué)界現(xiàn)有的基準(zhǔn)。
報(bào)告的第二部分，也是核心部分，是風(fēng)險(xiǎn)。我們選擇了以特定的方式組織這些風(fēng)險(xiǎn)，下文會(huì)詳細(xì)描述。
然后，第三部分，也許更偏積極方面，是我們能做些什么？至少在科學(xué)層面是這樣。所以，報(bào)告再次聲明，不提出任何政治建議，而是試圖調(diào)查現(xiàn)有的緩解方法。下文也會(huì)詳細(xì)介紹這一點(diǎn)。
關(guān)于能力，你必須思考我們已知的內(nèi)容，以及已經(jīng)衡量的內(nèi)容。有許多不同的基準(zhǔn)。下圖顯示了不同的 AI 系統(tǒng)，以及過(guò)去幾年中不同的時(shí)間點(diǎn)�？傮w情況并不令人驚訝，我們看到在許多方面都取得了進(jìn)展。稍后我將在另一張圖中向你展示一些更近期的資料。
同樣有趣的是，自從去年五月發(fā)布中期報(bào)告以來(lái)，發(fā)生了很多事情，其中最大的進(jìn)步是在推理、編程和數(shù)學(xué)方面。在這些科學(xué)學(xué)科領(lǐng)域，我們一年前的系統(tǒng)表現(xiàn)不佳，但現(xiàn)在我們看到一些系統(tǒng)能夠通過(guò)博士水平的考試，能夠贏得計(jì)算機(jī)科學(xué)和數(shù)學(xué)領(lǐng)域的競(jìng)賽。因此，了解這一點(diǎn)很重要。
下面這張圖表顯示了一些更容易理解的內(nèi)容。每條曲線對(duì)應(yīng)不同的基準(zhǔn)測(cè)試。它們涵蓋了語(yǔ)言、科學(xué)、編程和數(shù)學(xué)等不同領(lǐng)域的問(wèn)題。如今，AI 系統(tǒng)在許多科學(xué)領(lǐng)域都取得了進(jìn)展。
多年來(lái)的許多進(jìn)步都與更多計(jì)算資源的使用有關(guān)，也稱為擴(kuò)展（Scaling）。但最近，我們?cè)?2024 年，甚至在過(guò)去幾周的 DeepSeek 中看到的情況，是推理擴(kuò)展（Reasoning Scaling）的潛力和驚人的進(jìn)步。我們使用運(yùn)行時(shí)計(jì)算，以獲得更好的預(yù)測(cè)和更連貫的答案，這些答案使系統(tǒng)能夠在可能的答案中做出更合理的選擇，這與以前的情況有所不同。
我們應(yīng)該思考的是，系統(tǒng) 1 的運(yùn)作方式是直接從問(wèn)題生成答案。這有點(diǎn)像模仿人類的直覺(jué)當(dāng)你被問(wèn)到一個(gè)問(wèn)題時(shí)，你會(huì)直接給出答案。
而系統(tǒng) 2 的思考方式則涉及深思熟慮。你會(huì)思考多種可能的答案，評(píng)估自己的答案，然后選擇一個(gè)更好的答案。因此，這就是新事物，盡管它自 2022 年隨著思維鏈的引入而醞釀。
另一件重要的事情是，在 2024 年底和 2025 年初，各公司正在努力構(gòu)建所謂的“智能體”（Agent），換句話說(shuō)，就是比我們過(guò)去使用的 ChatGPT 更具自主性的系統(tǒng)。這些系統(tǒng)可以用來(lái)執(zhí)行一段時(shí)間的任務(wù)，例如網(wǎng)絡(luò)瀏覽、編碼、研究任務(wù)等等。它們?nèi)匀徊蝗缛祟�，特別是當(dāng)任務(wù)需要人類花費(fèi)很長(zhǎng)時(shí)間時(shí)。如果一項(xiàng)任務(wù)需要人類花費(fèi)幾個(gè)小時(shí)以上，通常這些系統(tǒng)就不如人類。但我們看到，從 24 年初到現(xiàn)在，這些方面取得了驚人的進(jìn)步。
如果我們展望未來(lái)，有一些有趣的研究可以幫助我們預(yù)測(cè)可能減緩計(jì)算進(jìn)步的瓶頸，例如能源需求或更多芯片的需求，這些都需要投資和時(shí)間才能生產(chǎn)出來(lái)。
報(bào)告中談到的另一件事是，我們開(kāi)始看到公司使用人工智能本身作為工具來(lái)加速人工智能的研發(fā)，包括工程和編程方面。隨著這些系統(tǒng)變得更加勝任復(fù)雜的工作，更接近人類研究員的水平，這亦將加速人工智能的發(fā)展。
接下來(lái)，我將簡(jiǎn)要介紹我們用于風(fēng)險(xiǎn)討論的分類方法。風(fēng)險(xiǎn)主要分為三大類：惡意使用風(fēng)險(xiǎn)、功能故障風(fēng)險(xiǎn)（主要指無(wú)意造成的問(wèn)題）以及系統(tǒng)性風(fēng)險(xiǎn)。
系統(tǒng)性風(fēng)險(xiǎn)指的是由眾多細(xì)小問(wèn)題累積而成的風(fēng)險(xiǎn)，最終可能釀成重大問(wèn)題。功能故障風(fēng)險(xiǎn)以及部分惡意使用風(fēng)險(xiǎn)則可能具有災(zāi)難性后果，甚至在不利情況下會(huì)使問(wèn)題雪上加霜。
因此，在上述各個(gè)風(fēng)險(xiǎn)類別中，都存在一些已被充分研究和理解的風(fēng)險(xiǎn)。在惡意使用方面，諸如詐騙和深度偽造技術(shù)被用于政治或犯罪目的的案例已屢見(jiàn)不鮮。功能故障方面，偏見(jiàn)和歧視的普遍存在性也已得到充分研究，正如薩莎所指出的那樣。系統(tǒng)性風(fēng)險(xiǎn)方面，隱私侵犯是當(dāng)前備受關(guān)注的問(wèn)題，相關(guān)的隱私侵犯緩解措施以及法律地位等問(wèn)題也引發(fā)了廣泛討論。
若展望未來(lái)，惡意使用方面近期最顯著的問(wèn)題在于，缺乏專業(yè)知識(shí)的人員可能利用這些系統(tǒng)開(kāi)發(fā)新型武器、發(fā)起網(wǎng)絡(luò)攻擊或部署生物武器。由于這些系統(tǒng)掌握了大量知識(shí)，它們能以搜索引擎無(wú)法企及的方式提供協(xié)助。例如，用戶可以與系統(tǒng)互動(dòng)，詳細(xì)詢問(wèn)實(shí)現(xiàn)特定目標(biāo)的步驟。
我曾親眼目睹一個(gè)演示，演示者通過(guò)平板電腦的視頻功能向人工智能系統(tǒng)展示其操作過(guò)程，并提問(wèn)：“我現(xiàn)在應(yīng)該如何使用移液管？下一步需要按哪個(gè)按鈕？” 這顯然是搜索引擎無(wú)法實(shí)現(xiàn)的。
然而，在進(jìn)行風(fēng)險(xiǎn)評(píng)估時(shí)，我們必須注意考量這些系統(tǒng)所帶來(lái)的邊際損害或風(fēng)險(xiǎn)，并將其與現(xiàn)有系統(tǒng)進(jìn)行比較。
功能故障方面，展望未來(lái)，人們擔(dān)憂系統(tǒng)失控。近幾周出現(xiàn)了一些新的進(jìn)展，部分研究論文指出，一些最先進(jìn)的系統(tǒng)在輸入文檔中讀到將被新版本人工智能取代時(shí)，會(huì)嘗試“逃逸”。具體而言，它們會(huì)試圖入侵系統(tǒng)，并用自身的代碼和權(quán)重替換下一代系統(tǒng)的代碼和權(quán)重。當(dāng)然，這些都是人為設(shè)置的受控實(shí)驗(yàn)，人工智能實(shí)際上并未真正“逃逸”。但我認(rèn)為這表明，系統(tǒng)可能表現(xiàn)出我們不期望的行為意圖，例如某種欺騙和自我保護(hù)行為。如果事后詢問(wèn)系統(tǒng)“你為什么要這樣做？”，它們可能會(huì)回答“我什么也沒(méi)做”。
因此，我們亟需找到減輕這些風(fēng)險(xiǎn)的方法，深入了解風(fēng)險(xiǎn)產(chǎn)生的原因，并確保我們構(gòu)建的人工智能系統(tǒng)不會(huì)做出不道德行為，不會(huì)以違反指令的方式傷害人類。
我并非勞動(dòng)力市場(chǎng)專家，但我們有多位經(jīng)濟(jì)學(xué)家正積極參與研究人工智能對(duì)勞動(dòng)力市場(chǎng)的潛在影響。如同許多其他風(fēng)險(xiǎn)一樣，專家們對(duì)此問(wèn)題的看法也存在分歧。然而，關(guān)鍵信息在于，無(wú)論是對(duì)于政府還是科學(xué)家而言，都存在諸多不確定性。我們需要深入研究這些問(wèn)題，并加大對(duì)必要研究的投入，以減輕風(fēng)險(xiǎn)，防止其發(fā)展到失控的程度。
接下來(lái)，我想簡(jiǎn)要介紹一下我們?cè)谛聢?bào)告中新增的內(nèi)容，這些內(nèi)容在中期報(bào)告中并未涉及。特別是，我們新增了一個(gè)章節(jié)，專門(mén)討論開(kāi)放權(quán)重模型。
這是一個(gè)術(shù)語(yǔ)，可能與大家熟知的開(kāi)源有所區(qū)別。開(kāi)放權(quán)重模型是指公司會(huì)共享允許用戶使用模型的代碼，包括模型權(quán)重，但不公開(kāi)模型的訓(xùn)練方式。而模型的訓(xùn)練方式信息對(duì)于科學(xué)家而言至關(guān)重要。實(shí)際上，關(guān)于共享的程度和類型存在多種變體，具體細(xì)節(jié)可以在報(bào)告的表格中查閱，這些內(nèi)容都非常重要。
同樣重要的是要理解開(kāi)放權(quán)重模型的優(yōu)點(diǎn)和缺點(diǎn)。開(kāi)放權(quán)重模型顯然有助于提高透明度，這對(duì)社會(huì)發(fā)展具有積極意義。它們促進(jìn)了創(chuàng)新，因?yàn)樗鼈兪沟眯⌒蜋C(jī)構(gòu)或個(gè)人也能使用這些可能耗資巨大的系統(tǒng)。此外，它們還促進(jìn)了人工智能研究。學(xué)者們確實(shí)需要獲取此類訪問(wèn)權(quán)限，包括在人工智能安全領(lǐng)域的研究。
然而，我們必須認(rèn)識(shí)到，開(kāi)放權(quán)重模型也可能助長(zhǎng)惡意或誤導(dǎo)性使用。如果系統(tǒng)是開(kāi)源的，即使設(shè)置了一些安全預(yù)防措施、緩解措施或保障措施，惡意使用者也很容易從代碼中移除這些措施，或者通過(guò)微調(diào)模型來(lái)消除這些防御機(jī)制。因此，這使得惡意行為者更容易利用這些系統(tǒng)。當(dāng)這些系統(tǒng)變得足夠強(qiáng)大以至于可以被武器化時(shí)，這將成為一個(gè)我們必須認(rèn)真對(duì)待的問(wèn)題。
關(guān)于緩解措施，我在此不展開(kāi)過(guò)多闡述，因?yàn)槟壳搬槍?duì)緩解措施的研究尚不充分。盡管一些風(fēng)險(xiǎn)管理技術(shù)公司和研究人員已經(jīng)開(kāi)發(fā)出一些緩解方案，但這些方案都存在局限性。我認(rèn)為目前存在一些有前景的研究方向，但我們需要在這些方向上投入更多研究力量。
另外，從政策制定者的角度來(lái)看，非常重要的一點(diǎn)是，我一直在強(qiáng)調(diào)這些風(fēng)險(xiǎn)以及可能發(fā)生的情形或結(jié)果都存在不確定性。這種不確定性使得政策制定者難以確定其決策是否正確。如果他們采取措施減輕風(fēng)險(xiǎn)，但最終風(fēng)險(xiǎn)并未發(fā)生，那么事后看來(lái)這些措施可能會(huì)被認(rèn)為是多余的。另一方面，如果他們選擇等待更有力的證據(jù)，則可能導(dǎo)致社會(huì)在面對(duì)重大風(fēng)險(xiǎn)時(shí)毫無(wú)準(zhǔn)備。因此，這些都是艱難的抉擇，真正屬于政策制定領(lǐng)域。
再次強(qiáng)調(diào)，科學(xué)研究已表明，關(guān)于人工智能風(fēng)險(xiǎn)存在大量證據(jù)，包括當(dāng)前已發(fā)生的風(fēng)險(xiǎn)，以及我們已掌握線索和預(yù)警信號(hào)的潛在風(fēng)險(xiǎn)。人工智能可能非常有用，也可能帶來(lái)巨大益處事實(shí)上，本次峰會(huì)的大部分內(nèi)容都將圍繞人工智能的積極作用展開(kāi)然而，為了充分利用人工智能的益處，我們需要更深入地了解這些風(fēng)險(xiǎn)，并采取恰當(dāng)?shù)谋Ｕ虾途徑獯胧�，以確保我們能從人工智能中獲益，而不是遭受其負(fù)面影響。
最后，我想強(qiáng)調(diào)的是，我們擁有改變現(xiàn)狀的能力。閱讀這類報(bào)告可能會(huì)讓人感到擔(dān)憂，但實(shí)際上，未來(lái)掌握在我們手中，更重要的是掌握在政府手中。因此，向政府提供正確的建議，并確保政府能夠聽(tīng)取科學(xué)證據(jù)，對(duì)于我們未來(lái)的發(fā)展至關(guān)重要。
接下來(lái)，我將邀請(qǐng)我的同事上臺(tái)參與小組討論環(huán)節(jié)。
圓桌討論 | “在霧中行駛汽車(chē)”
對(duì)話嘉賓
Yoshua Bengio（深度學(xué)習(xí)三巨頭之一，圖靈獎(jiǎng)得主）蒙特利爾大學(xué)正教授，Mila 創(chuàng)始人兼科學(xué)主任
Dawn Song加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)教授
曾毅（Yi Zeng）中國(guó)科學(xué)院類腦人工智能與人工智能治理教授；聯(lián)合國(guó)人工智能咨詢機(jī)構(gòu)成員
Nuria OliverELLIS 阿利坎特分部主任兼聯(lián)合創(chuàng)始人
主持人 Guillaume Avrin法國(guó)國(guó)家人工智能協(xié)調(diào)員
以下是這場(chǎng)圓桌對(duì)話的演講實(shí)錄：
主持人：非常感謝 Yoshua，也感謝各位對(duì)國(guó)際人工智能安全報(bào)告的貢獻(xiàn)。該報(bào)告為可信賴人工智能的研究及相關(guān)公共政策提供了框架。
各位在人工智能和人工智能安全領(lǐng)域都做出了重要貢獻(xiàn)。今天，我們希望能聽(tīng)取各位對(duì)這份報(bào)告的看法，以及它將如何影響各位未來(lái)的研究。
首先，我們向 Yoshua 提問(wèn)，談?wù)勅斯ぶ悄艿哪芰ΑＤ阍谘葜v中提到了人工智能在數(shù)學(xué)、科學(xué)推理和編程等領(lǐng)域的進(jìn)步。你認(rèn)為，從中期報(bào)告到最終報(bào)告，人工智能能力方面最顯著的進(jìn)展是什么？
Yoshua Bengio：我認(rèn)為最顯著的進(jìn)展是推理能力。然而，目前的方法是否足以達(dá)到人類級(jí)別的推理能力，特別是創(chuàng)造性推理，仍然是一個(gè)有爭(zhēng)議的問(wèn)題。
但從 AlphaGo 等人工智能應(yīng)用中，我們看到，通過(guò)強(qiáng)化學(xué)習(xí)，人工智能有可能產(chǎn)生超越人類的創(chuàng)新解決方案。我們尚未達(dá)到那個(gè)程度，但近幾個(gè)月來(lái)，隨著對(duì)更高自主性和能動(dòng)性的追求，從預(yù)訓(xùn)練大型語(yǔ)言模型到智能體的轉(zhuǎn)變正在發(fā)生。我們不能再將它們僅僅視為語(yǔ)言模型，而是智能體，它們學(xué)習(xí)行動(dòng)，學(xué)習(xí)實(shí)現(xiàn)目標(biāo)。我認(rèn)為這改變了我們對(duì)人工智能的認(rèn)知。
主持人：Song 教授，對(duì)于我們尚未知曉的部分，你有什么看法？目前，關(guān)于最先進(jìn)人工智能模型的能力，我們有哪些未知之處？
Dawn Song：這個(gè)問(wèn)題非常好。實(shí)際上，我們已知的東西非常少，未知的東西很多。在人工智能能力的幾乎每個(gè)方面，都存在大量未解決的問(wèn)題。
首先，關(guān)于能力提升的方式。之前的關(guān)注點(diǎn)主要在預(yù)訓(xùn)練和規(guī)�；�，最近則轉(zhuǎn)向推理時(shí)間的規(guī)�；�。隨著 DeepSeek 等技術(shù)的出現(xiàn)，我們看到推理時(shí)間規(guī)�；杀究赡芙档汀Ｒ虼�，能力如何提升仍有很多未知之處。
其次是智能體方面，我認(rèn)為這是一個(gè)巨大的未知數(shù)。我相信智能體是下一個(gè)前沿。我正在教授一個(gè)關(guān)于大型語(yǔ)言模型智能體的 MOOC（慕課），上學(xué)期有超過(guò) 15000 人注冊(cè)。本學(xué)期，我們推出了新版本“高級(jí)大語(yǔ)言模型智能體”，專注于推理、規(guī)劃、編碼智能體、網(wǎng)絡(luò)智能體和數(shù)學(xué)人工智能等。這又是一個(gè)巨大的未知領(lǐng)域。
第三，我們甚至不知道自己不知道什么。我們常說(shuō)模型具有某些能力，但如何有效激發(fā)這些能力？我們不清楚模型還能做什么，目前還沒(méi)有正確的方法來(lái)挖掘這些能力。其中一些能力可能是我們現(xiàn)在還未意識(shí)到的危險(xiǎn)能力。如何最好地激發(fā)和理解這些能力，使得我們更難全面評(píng)估人工智能系統(tǒng)的能力。
主持人：非常感謝你的精彩回答。正如我們對(duì)人工智能能力了解有限，這也意味著我們對(duì)相關(guān)風(fēng)險(xiǎn)的認(rèn)識(shí)也不全面，對(duì)嗎？
我想問(wèn)各位一個(gè)問(wèn)題，請(qǐng)隨意回答。Yoshua 在演講中提到了許多風(fēng)險(xiǎn)，大家認(rèn)為哪些風(fēng)險(xiǎn)最重要？這些風(fēng)險(xiǎn)發(fā)生的可能性和嚴(yán)重程度如何？如果每人只能強(qiáng)調(diào)一個(gè)風(fēng)險(xiǎn)，那會(huì)是什么？
Yi Zeng：我這樣理解這個(gè)問(wèn)題。就像人工智能促進(jìn)可持續(xù)發(fā)展一樣，如果可持續(xù)發(fā)展的 17 個(gè)支柱中，你在 16 個(gè)方面都成功了，但在第 17 個(gè)方面失敗了，那么整體的可持續(xù)發(fā)展就失敗了。
人工智能安全也是如此。我們不應(yīng)區(qū)分風(fēng)險(xiǎn)的嚴(yán)重程度。解決問(wèn)題的方式應(yīng)該是：風(fēng)險(xiǎn)可能分層級(jí)，但目前人工智能可能具備自反性，模型可以自我認(rèn)知升級(jí)。我們無(wú)法預(yù)測(cè)人工智能模型認(rèn)知水平提升的時(shí)間，因此風(fēng)險(xiǎn)水平也可能自動(dòng)上升。
所以，選擇單一風(fēng)險(xiǎn)是不合理的。中期報(bào)告后，最危險(xiǎn)的是大語(yǔ)言模型對(duì)自身模型有了初步認(rèn)知，并具備反思性思維。這是最值得關(guān)注的風(fēng)險(xiǎn)，因?yàn)樗鼈兛梢宰晕艺J(rèn)知升級(jí)，導(dǎo)致不同層級(jí)的風(fēng)險(xiǎn)評(píng)估變得非常困難。這是科學(xué)進(jìn)步需要關(guān)注的重點(diǎn)。
Nuria Oliver：我補(bǔ)充幾句。所有風(fēng)險(xiǎn)都很重要，都值得關(guān)注，否則不會(huì)出現(xiàn)在報(bào)告中。但這些風(fēng)險(xiǎn)發(fā)生的概率和已有的證據(jù)各不相同。
我更關(guān)注研究和減輕那些我們已確定存在的風(fēng)險(xiǎn)，例如侵犯隱私和偏見(jiàn)。這些風(fēng)險(xiǎn)真實(shí)存在，影響著數(shù)百萬(wàn)人的生活，我們需要努力解決和減輕它們。當(dāng)然，推測(cè)性風(fēng)險(xiǎn)也需要關(guān)注，但不能忽視已存在的現(xiàn)實(shí)風(fēng)險(xiǎn)。
關(guān)于能力問(wèn)題，我想補(bǔ)充一點(diǎn)。人類花費(fèi)數(shù)百年時(shí)間來(lái)理解人類認(rèn)知，因此可以確定人類的能力。解決復(fù)雜物理問(wèn)題需要具備數(shù)學(xué)知識(shí)，否則幾乎不可能完成。
但通用人工智能模型并非如此。它們?cè)诜苫驍?shù)學(xué)測(cè)試中表現(xiàn)出色，并不一定意味著它們具備人類完成這些測(cè)試的全部能力。很多例子表明它們的脆弱性。例如，簡(jiǎn)單的算術(shù)運(yùn)算在訓(xùn)練數(shù)據(jù)中較少出現(xiàn)，它們就可能失敗，比如 42 * 43 的計(jì)算。提問(wèn)方式、提示中是否包含無(wú)關(guān)句子、問(wèn)題順序等，都可能導(dǎo)致它們給出完全不同的答案。
這些行為是人類在 SAT 考試中取得優(yōu)異成績(jī)時(shí)不會(huì)出現(xiàn)的。評(píng)估和理解這些模型能力時(shí)，我們需要避免認(rèn)知偏差，不要從人類能力出發(fā)進(jìn)行推斷，因?yàn)槿斯ぶ悄苷J(rèn)知與人類認(rèn)知并非完全對(duì)應(yīng)。
Dawn Song：我來(lái)補(bǔ)充一下風(fēng)險(xiǎn)清單。對(duì)我而言，目前最擔(dān)心的風(fēng)險(xiǎn)是網(wǎng)絡(luò)安全領(lǐng)域的風(fēng)險(xiǎn)。
原因在于人工智能作為一種雙重用途技術(shù)，既能幫助攻擊者，也能幫助防御者。關(guān)鍵問(wèn)題是：人工智能會(huì)更多地幫助哪一方？與權(quán)力風(fēng)險(xiǎn)等其他風(fēng)險(xiǎn)不同，網(wǎng)絡(luò)安全風(fēng)險(xiǎn)的攻擊者動(dòng)機(jī)多樣，從國(guó)家行為體到網(wǎng)絡(luò)犯罪，甚至業(yè)余愛(ài)好者。
人工智能技術(shù)的進(jìn)步可能會(huì)大大降低網(wǎng)絡(luò)攻擊成本，擴(kuò)大規(guī)模，并提高自動(dòng)化程度。例如，在網(wǎng)絡(luò)釣魚(yú)和社會(huì)工程攻擊中，生成式人工智能已帶來(lái)顯著變化。金融犯罪中，曾有香港金融從業(yè)人員參加與“同事”的電話會(huì)議，被指示匯款 2500 萬(wàn)美元，事后發(fā)現(xiàn)“同事”都是人工智能生成的。
這些例子表明，人工智能進(jìn)步可能帶來(lái)巨大變化。我們當(dāng)然希望人工智能更多地幫助防御方。這是一個(gè)充滿挑戰(zhàn)，且需要高度關(guān)注的風(fēng)險(xiǎn)領(lǐng)域。
Yi Zeng：關(guān)于攻防，許多人致力于開(kāi)發(fā)更強(qiáng)的攻擊和防御技術(shù)。但從科學(xué)角度看，我們需要認(rèn)識(shí)到，當(dāng)所有攻擊者和防御者都參與時(shí)，沒(méi)有哪個(gè)攻擊者能完全突破所有防御，也沒(méi)有哪個(gè)防御者能應(yīng)對(duì)所有攻擊。坦率地說(shuō)，從科學(xué)角度來(lái)看，攻防雙方都無(wú)法完全保護(hù)我們。我認(rèn)為這是目前的現(xiàn)狀。
Yoshua Bengio：我認(rèn)為不能像剛才那樣只選擇一個(gè)風(fēng)險(xiǎn)而忽略其他。在政策層面，我們需要解決所有風(fēng)險(xiǎn)。
你提到了風(fēng)險(xiǎn)的嚴(yán)重性和可能性。這是非常重要的考量因素。有些風(fēng)險(xiǎn)已發(fā)生且可衡量，可能性是 100%。有些風(fēng)險(xiǎn)的嚴(yán)重程度更高，例如恐怖分子利用人工智能可能導(dǎo)致數(shù)百萬(wàn)人死亡。
許多人，包括我自己在內(nèi)，擔(dān)心我們會(huì)失去對(duì)人工智能系統(tǒng)的控制，甚至出現(xiàn)系統(tǒng)試圖接管社會(huì)的情況。這種風(fēng)險(xiǎn)的嚴(yán)重性極高，但可能性難以確定，不同的人有不同看法。
為了明智地應(yīng)對(duì)風(fēng)險(xiǎn)，我們不能有所偏廢。還有一個(gè)風(fēng)險(xiǎn)值得更多關(guān)注，那就是權(quán)力集中。人工智能發(fā)展需要大量資本和人才，目前只有少數(shù)國(guó)家主導(dǎo)。這非常危險(xiǎn)，可能加劇其他風(fēng)險(xiǎn)。
應(yīng)對(duì)方法在于有意義的多邊治理和國(guó)際協(xié)調(diào)。我們不希望個(gè)人、公司或國(guó)家擁有過(guò)于強(qiáng)大的人工智能系統(tǒng)，他們可能為了自身利益使用，甚至犯下意想不到的錯(cuò)誤，最終由所有人承擔(dān)代價(jià)。我們參與人工智能科學(xué)與社會(huì)日活動(dòng)，正是為了探討這些問(wèn)題。
主持人：Nuria，你是 ELLIS 阿利坎特分部的負(fù)責(zé)人，也是 ELLIS 歐洲網(wǎng)絡(luò)在西班牙的中心。在剛才討論的所有主題中，你認(rèn)為哪些領(lǐng)域需要更多研究？
Nuria Oliver：謝謝。在回答問(wèn)題前，我想強(qiáng)調(diào) Yoshua 剛才說(shuō)的，權(quán)力以前所未有的方式集中在少數(shù)人手中。這非常危險(xiǎn)，尤其是在人工智能領(lǐng)域，因?yàn)樗且婚T(mén)橫向?qū)W科，影響廣泛。
為應(yīng)對(duì)權(quán)力集中，歐洲以草根運(yùn)動(dòng)形式創(chuàng)建了 ELLIS（歐洲學(xué)習(xí)和智能系統(tǒng)實(shí)驗(yàn)室），旨在建立一個(gè)由歐洲頂尖人工智能人才組成的分布式卓越科學(xué)網(wǎng)絡(luò)，制衡權(quán)力集中。
阿利坎特分部名為“以人為本的人工智能研究所”，回應(yīng)了我個(gè)人對(duì)人工智能與人（包括個(gè)人和社會(huì)）互動(dòng)研究不足的擔(dān)憂，尤其缺乏獨(dú)立于經(jīng)濟(jì)和政治利益的研究。因此，我們需要更多這方面的研究。
進(jìn)行這類研究非常困難，尤其在影響評(píng)估方面。正如 Sasha 提到的，缺乏透明度導(dǎo)致數(shù)據(jù)不足。超大規(guī)模系統(tǒng)部署在全球，被數(shù)十億人使用，商業(yè)部署又是專有和封閉的，這使得研究更加困難。
但這并不意味著我們不應(yīng)該努力。我們需要倡導(dǎo)和投資研究方法，不僅要預(yù)測(cè)、衡量和評(píng)估風(fēng)險(xiǎn)，還要了解人工智能系統(tǒng)對(duì)社會(huì)和環(huán)境的影響。如果我是國(guó)家領(lǐng)導(dǎo)人，肯定會(huì)優(yōu)先關(guān)注這些研究。
主持人：我們?cè)儆懻撚懻摻鉀Q方案，例如國(guó)際合作。Song 教授，關(guān)于人工智能的風(fēng)險(xiǎn)管理和治理，你認(rèn)為目前最有希望的方法是什么？
Dawn Song：是的，謝謝。這是一個(gè)好問(wèn)題。最近，我們與頂尖研究人員發(fā)起“科學(xué)和循證人工智能政策之路”提案，強(qiáng)調(diào)人工智能政策應(yīng)以科學(xué)和證據(jù)為基礎(chǔ)，優(yōu)先提升對(duì)人工智能風(fēng)險(xiǎn)的科學(xué)認(rèn)知，并有效識(shí)別和減輕風(fēng)險(xiǎn)。Yoshua 和許多人都支持這項(xiàng)提案。
提案列出了五個(gè)優(yōu)先事項(xiàng)。其中一些與風(fēng)險(xiǎn)管理相關(guān)，結(jié)合了科學(xué)與政策。政策方面，我們強(qiáng)調(diào)透明度和不良事件監(jiān)測(cè)的重要性，這有助于監(jiān)測(cè)和理解人工智能系統(tǒng)的改進(jìn)，以及危險(xiǎn)能力監(jiān)測(cè)、部署及部署后損害等。
另一方面，我們需要推進(jìn)對(duì)人工智能風(fēng)險(xiǎn)的科學(xué)理解，并開(kāi)發(fā)風(fēng)險(xiǎn)緩解方法。風(fēng)險(xiǎn)類型廣泛，我們需要全面理解各種風(fēng)險(xiǎn)。
我們提出了“邊際風(fēng)險(xiǎn)評(píng)估”框架，需要理解前沿人工智能能力帶來(lái)的新增風(fēng)險(xiǎn)。例如，在網(wǎng)絡(luò)安全領(lǐng)域，我們正在評(píng)估前沿人工智能對(duì)網(wǎng)絡(luò)安全的影響，并希望與社區(qū)合作，持續(xù)監(jiān)測(cè)和縱向研究，以更好理解風(fēng)險(xiǎn)。
除了理解風(fēng)險(xiǎn)，我們還需要開(kāi)發(fā)新的風(fēng)險(xiǎn)緩解方法。為此，Yoshua 和其他人發(fā)起了“定量人工智能安全”倡議，旨在為人工智能系統(tǒng)的安全性和可靠性帶來(lái)更嚴(yán)謹(jǐn)、可證明的保障。我們最近發(fā)布了一篇新論文，探討如何利用人工智能進(jìn)行形式化數(shù)學(xué)推理和定理證明，目標(biāo)是開(kāi)發(fā)和利用更優(yōu)的人工智能技術(shù)進(jìn)行定理證明和程序驗(yàn)證，從而生成可證明安全且正確的代碼，幫助構(gòu)建安全系統(tǒng)。這些都是開(kāi)發(fā)風(fēng)險(xiǎn)管理方法的例子。
Yi Zeng：補(bǔ)充一點(diǎn)，法國(guó)在數(shù)學(xué)和機(jī)器學(xué)習(xí)理論方面很強(qiáng)。安全領(lǐng)域需要理論支撐，傳統(tǒng)的試錯(cuò)法在深度學(xué)習(xí)中有效，但現(xiàn)在不夠了。我們需要誤差界限等理論結(jié)構(gòu)，確保部署的系統(tǒng)對(duì)公眾安全。
主持人：Yoshua，你在演講中提到了證據(jù)困境。我們?nèi)绾螏椭咧贫ㄕ邞?yīng)對(duì)這一困境？
Yoshua Bengio：在科學(xué)領(lǐng)域，處理危險(xiǎn)實(shí)驗(yàn)早有先例，例如人類克隆或地球工程。這些領(lǐng)域的共同點(diǎn)是，潛在的壞結(jié)果非常嚴(yán)重，但我們?nèi)狈ν晟频臄?shù)學(xué)或物理模型來(lái)預(yù)測(cè)。
氣候問(wèn)題也是如此，我們難以預(yù)測(cè)向大氣中引入化學(xué)物質(zhì)的后果。人工智能領(lǐng)域也一樣，難以預(yù)測(cè)未來(lái)幾年甚至幾十年人工智能的進(jìn)步方向，以及政策走向。在高風(fēng)險(xiǎn)和高度不確定性的情況下，
合乎邏輯的做法是應(yīng)用預(yù)防原則，即保持謹(jǐn)慎。就像在霧中山區(qū)駕駛，應(yīng)該減速，并嘗試改進(jìn)技術(shù)以看清前方。正如 Dawn 所說(shuō)，我們需要發(fā)展科學(xué)，以便預(yù)見(jiàn)風(fēng)險(xiǎn)，必要時(shí)減速或轉(zhuǎn)向。預(yù)防原則告訴我們，不能在未知目的地的情況下盲目加速前進(jìn)，這如同拿所有人的生命玩俄羅斯輪盤(pán)賭。
主持人：最后一個(gè)問(wèn)題，請(qǐng)教 Yi Zeng 教授和 Nuria。歐洲有《人工智能法案》，各位都很清楚。關(guān)于如何制定法規(guī)，建立可信賴的框架，促進(jìn)人工智能發(fā)展和部署，同時(shí)又不阻礙創(chuàng)新，一直存在爭(zhēng)議。關(guān)于風(fēng)險(xiǎn)管理，各位認(rèn)為應(yīng)該如何平衡？
Yi Zeng：關(guān)鍵在于，發(fā)展和安全并非對(duì)立關(guān)系。我們最近的研究表明，通過(guò)將大型語(yǔ)言模型調(diào)整到安全向量空間，無(wú)需大幅改動(dòng)，就能顯著提高安全性，降低攻擊成功率，同時(shí)保持問(wèn)題解決的準(zhǔn)確性。
這項(xiàng)研究將在 ICLR 會(huì)議上發(fā)表。這意味著安全和發(fā)展可以兼顧。在許多情況下，不需要刻意平衡。我們可以開(kāi)發(fā)先進(jìn)系統(tǒng)，同時(shí)通過(guò)安全向量調(diào)整大型語(yǔ)言模型，確保系統(tǒng)安全。技術(shù)人員和科學(xué)家不應(yīng)誤導(dǎo)公眾，認(rèn)為不談人工智能安全就是支持人工智能發(fā)展。實(shí)際上，可以保持人工智能高度安全，并使其發(fā)揮有益作用。
關(guān)于如何平衡，我們的人工智能安全報(bào)告沒(méi)有討論不同地區(qū)的安全工作，但這并不代表不重要�！叭蛉斯ぶ悄馨踩笖�(shù)”評(píng)估了 40 個(gè)國(guó)家，結(jié)果并非人工智能安全準(zhǔn)備水平與經(jīng)濟(jì)水平正相關(guān)。所有國(guó)家的人工智能安全準(zhǔn)備水平都應(yīng)相同，無(wú)論經(jīng)濟(jì)水平如何。人工智能安全對(duì)每個(gè)國(guó)家都至關(guān)重要。
關(guān)于報(bào)告，再給大家分享個(gè)小故事：在一次咨詢會(huì)議上，我挑戰(zhàn)了 Yoshua，認(rèn)為報(bào)告過(guò)多關(guān)注大語(yǔ)言模型的風(fēng)險(xiǎn)，而忽略了基于規(guī)則的推理和人工智能大腦的風(fēng)險(xiǎn)。Yoshua 認(rèn)為這可能是個(gè)人偏見(jiàn)。我沒(méi)有被說(shuō)服。但報(bào)告后期版本改為關(guān)注通用人工智能。
這說(shuō)服了我，因?yàn)?strong>基于規(guī)則的推理和人工智能大腦目前主要不涉及通用人工智能。但這仍然是未來(lái)可以改進(jìn)的地方，即當(dāng)基于規(guī)則的推理與具有自反性推理的大型語(yǔ)言模型結(jié)合時(shí)，可能出現(xiàn)不可預(yù)測(cè)性，帶來(lái)更危險(xiǎn)的趨勢(shì)。這可以留到下一個(gè)版本討論。
Nuria Oliver：我想強(qiáng)調(diào)，監(jiān)管不是創(chuàng)新的阻礙。糟糕的監(jiān)管可能阻礙創(chuàng)新，但監(jiān)管本身不是。重要的是區(qū)分技術(shù)發(fā)展和進(jìn)步。并非所有技術(shù)發(fā)展都有利于進(jìn)步。監(jiān)管的作用是引導(dǎo)技術(shù)發(fā)展，使其真正促進(jìn)進(jìn)步。這也可能取決于社會(huì)文化背景。
我們現(xiàn)在面臨的挑戰(zhàn)，包括 Yoshua 和我參與編寫(xiě)通用人工智能模型行為準(zhǔn)則，是如何確�！度斯ぶ悄芊ò浮返膶�(shí)際實(shí)施成為良好的監(jiān)管范例，既不阻礙創(chuàng)新，又能將創(chuàng)新引導(dǎo)到符合歐洲核心價(jià)值觀的方向。
Yoshua Bengio：我認(rèn)為你的問(wèn)題隱含著一個(gè)常被提及的擔(dān)憂，即國(guó)家間的競(jìng)爭(zhēng)。有人認(rèn)為，如果我們因?yàn)橹?jǐn)慎而放慢腳步，或者因?yàn)楸O(jiān)管可能拖慢速度，其他國(guó)家就會(huì)超越我們。
我認(rèn)為這是一種誤導(dǎo)。我們需要考慮競(jìng)爭(zhēng)，事實(shí)上公司和國(guó)家之間都存在競(jìng)爭(zhēng)。但正如之前討論風(fēng)險(xiǎn)時(shí)所說(shuō)，風(fēng)險(xiǎn)種類繁多。我們不能只關(guān)注一種，比如其他國(guó)家的惡意利用。這可能是每個(gè)國(guó)家都在擔(dān)心的。
但在其他風(fēng)險(xiǎn)面前，我們都在同一條船上。歷史上，當(dāng)對(duì)立的人們意識(shí)到共同目標(biāo)時(shí)，就能找到解決方案。我們可以簽署國(guó)際條約，并找到驗(yàn)證方法。我認(rèn)為這是擺脫危險(xiǎn)競(jìng)爭(zhēng)的唯一途徑。
Yi Zeng：我補(bǔ)充一點(diǎn) Yoshua 的觀點(diǎn)。也許不需要全世界都發(fā)展通用人工智能，但需要全球合作解決人類可能面臨的災(zāi)難性風(fēng)險(xiǎn)。這是人工智能安全面臨的全球性挑戰(zhàn)，關(guān)系到每個(gè)人。我不認(rèn)為僅靠一個(gè)國(guó)家能解決世界人工智能安全問(wèn)題，特別是生存風(fēng)險(xiǎn)。我們談?wù)撋骘L(fēng)險(xiǎn)和應(yīng)對(duì)準(zhǔn)備還不夠。請(qǐng)記住，即使我們很快擁有通用人工智能，能在 10 年內(nèi)解決生存風(fēng)險(xiǎn)問(wèn)題嗎？可能來(lái)不及了。
Nuria Oliver：我想快速評(píng)論。我不認(rèn)為我們很快會(huì)擁有通用人工智能�，F(xiàn)在的情況是，我們改變了通用人工智能的定義。如果通用人工智能是指擁有與人類智能相當(dāng)?shù)娜斯ぶ悄埽覀冞�差很遠(yuǎn)。我不同意我們即將接近通用人工智能的說(shuō)法。我們只是為了方便改變了定義，將通用人工智能等同于通用人工智能模型的能力。
Yi Zeng：對(duì)，沒(méi)錯(cuò)。通用人工智能作為工具，與人類水平的通用人工智能截然不同。盡管如此，我們?nèi)孕铻橥ㄓ萌斯ぶ悄芤约皾撛诘母叨炔豢深A(yù)測(cè)性做好準(zhǔn)備。
圓桌討論| DeepSeek vs OpenAI，池里的其他魚(yú)遭殃了
對(duì)話嘉賓
Yoshua Bengio（深度學(xué)習(xí)三巨頭之一，圖靈獎(jiǎng)得主）蒙特利爾大學(xué)正教授，Mila 創(chuàng)始人兼科學(xué)主任
Philippe Aghion法蘭西學(xué)院和歐洲工商管理學(xué)院教授、 倫敦經(jīng)濟(jì)學(xué)院客座教授，計(jì)量經(jīng)濟(jì)學(xué)會(huì)和美國(guó)藝術(shù)與科學(xué)院院士
Erik Brynjolfsson斯坦福人類中心人工智能研究所教授，斯坦福數(shù)字經(jīng)濟(jì)實(shí)驗(yàn)室主任
Danielle Allen 哈佛大學(xué)詹姆斯-布萊恩特-科南特大學(xué)教授
主持人Alice Albizzati Revaia 基金創(chuàng)始合伙人
以下是這場(chǎng)閉幕對(duì)話的演講實(shí)錄：
主持人：感謝各位參加閉幕討論。我們這次討論的主題是“從構(gòu)建人工智能，到生活在人工智能構(gòu)建的世界中”。我想先請(qǐng)教 Erik 關(guān)于變革性人工智能的問(wèn)題，你深入研究了人工智能對(duì)社會(huì)經(jīng)濟(jì)的影響。你如何看待人工智能正在改變我們的世界，以及我們正在建設(shè)的世界？Erik Brynjolfsson：我們正在進(jìn)入未知的領(lǐng)域。Philippe 在他之前的演講中指出，我們很難獲得關(guān)于未來(lái)的數(shù)據(jù)。因此，在討論未來(lái)時(shí)，我們確實(shí)面臨挑戰(zhàn)。Yoshua 也提到，我們正在進(jìn)入非常難以預(yù)測(cè)的領(lǐng)域。盡管如此，我確實(shí)認(rèn)為有些部分是可以預(yù)見(jiàn)的。而且我認(rèn)為，人工智能這項(xiàng)基礎(chǔ)技術(shù)變得更加強(qiáng)大幾乎是不可避免的。即使是每周，我都會(huì)看到一些我意想不到的、令人驚訝的事情。我想即使是 Yoshua你也會(huì)感到驚訝，對(duì)嗎？Yoshua Bengio：我確實(shí)挺驚訝的。Erik Brynjolfsson：是的，我在人工智能領(lǐng)域的一些非常聰明的同事也這樣告訴我，他們一直對(duì)最近的一些進(jìn)展感到驚訝�，F(xiàn)在，如果你采取 Philippe 和我提到的那種基于任務(wù)的方法，你很容易看到，越來(lái)越多的任務(wù)將由人工智能完成，尤其是從認(rèn)知任務(wù)開(kāi)始，然后越來(lái)越多地?cái)U(kuò)展到一些體力任務(wù)。我原本以為體力任務(wù)需要更長(zhǎng)的時(shí)間才能實(shí)現(xiàn)，但我在機(jī)器人領(lǐng)域的朋友說(shuō)，實(shí)際上，現(xiàn)有技術(shù)的一些突破對(duì)于創(chuàng)建機(jī)器人自主系統(tǒng)非常有幫助。這樣一來(lái)，人類所做的許多任務(wù)就開(kāi)始可以被替代。我不認(rèn)為人類身上有什么神奇的火花是永遠(yuǎn)無(wú)法復(fù)制的。我認(rèn)為最終，我們是由原子構(gòu)成的，它們也是由原子構(gòu)成的，理論上它們可以覆蓋很多領(lǐng)域。我們可以做一個(gè)思想實(shí)驗(yàn)，假設(shè)存在一臺(tái)機(jī)器可以完成人類可以做的所有思考和體力任務(wù)，那意味著什么呢？那我們就會(huì)進(jìn)入一個(gè)非常不同的世界，這也是變革性人工智能經(jīng)濟(jì)學(xué)議程的一部分。我們可以想象，這很可能會(huì)帶來(lái)更高的生產(chǎn)力，這當(dāng)然很好，但我也向你們展示過(guò)，這并不一定意味著每個(gè)人都能從中受益。我們需要想出一些分配利益的方法。我們需要思考，是否有些東西我們?nèi)匀粫?huì)珍視人類的價(jià)值？例如，我更喜歡看人類打籃球、網(wǎng)球，甚至是下象棋，而不是看機(jī)器做這些事。所以，可能有些內(nèi)在的吸引力，也可能有些任務(wù)是這樣的。我認(rèn)為最大的挑戰(zhàn)實(shí)際上將圍繞權(quán)力展開(kāi)。當(dāng)我們不再擁有勞動(dòng)力時(shí)，我們的議價(jià)能力就會(huì)喪失，迫使社會(huì)給予我們一些補(bǔ)償。例如，如果不付錢(qián)給農(nóng)民，或者不付錢(qián)給工廠工人，或者不付錢(qián)給教授，你就得不到他們的產(chǎn)出。但在未來(lái)，我們將不再擁有這種杠桿。Philippe Aghion：我認(rèn)為人工智能是一種工具，它將使我們能夠做更多的事情。這是一方面。另一方面，我提到過(guò)，繁榮和幸福是技術(shù)和制度共同作用的結(jié)果。誰(shuí)來(lái)做制度改革？難道我們認(rèn)為只有人工智能會(huì)改變競(jìng)爭(zhēng)政策，建立彈性安全制度？這些都是社會(huì)性的事情，是社會(huì)運(yùn)動(dòng)決定的。我們知道，沒(méi)有制度的技術(shù)，將無(wú)法帶來(lái)我們想要的繁榮。因此，我在很多方面都能看到，人類干預(yù)和社會(huì)運(yùn)動(dòng)將更加重要。以及公民社會(huì)、政府、人類的判斷力，還有創(chuàng)新。此外，我一直在思考一個(gè)問(wèn)題。機(jī)器擅長(zhǎng)處理和分析信息，甚至能做到超出我們想象的程度。但是，生活中總會(huì)遇到這樣的時(shí)刻：我們需要徹底推翻過(guò)去的舊方法，啟用全新的思路。也許機(jī)器也能做到類似“轉(zhuǎn)變思路”的事情，但這背后需要的是更深層的判斷力和直覺(jué)。有些事情，終究需要人來(lái)完成。就算機(jī)器能處理所有的事情，但有時(shí)我們會(huì)憑直覺(jué)感到不對(duì)勁，或者意識(shí)到某些方面必須要改變。我對(duì)此表示懷疑。我仍然認(rèn)為，在這些關(guān)鍵領(lǐng)域，人類的價(jià)值在于我們的判斷力和直覺(jué)。這體現(xiàn)的是人與機(jī)器的互相配合，而不是機(jī)器完全取代人類。Yoshua Bengio：我做幾點(diǎn)評(píng)論。我認(rèn)為將人工智能視為工具是大多數(shù)人的設(shè)想，你說(shuō)得對(duì)，這應(yīng)該是我們的目標(biāo)。只要這些工具以有益的方式使用，而不是過(guò)度擾亂我們的社會(huì)，我們必須引導(dǎo)它們，不要過(guò)度擾亂我們的社會(huì)。但實(shí)際上，這不是公司發(fā)展的方向。他們發(fā)展的方向是智能體（Agent）。換句話說(shuō)，是自主的實(shí)體，它們可以執(zhí)行任務(wù)，不僅僅是幾次互動(dòng)或回答幾個(gè)問(wèn)題，而是可以像人類一樣，持續(xù)幾天甚至幾周地執(zhí)行一項(xiàng)任務(wù)。那么，在那個(gè)時(shí)候，將這些實(shí)體視為工具就有些一廂情愿了，因?yàn)樗鼈冇凶约旱哪繕?biāo)，它們會(huì)自主選擇如何實(shí)現(xiàn)這些目標(biāo)，更糟糕的是，現(xiàn)在我們不知道如何控制它們，以至于它們不會(huì)產(chǎn)生自我保護(hù)的目標(biāo)，就像我之前提到的那樣將它們視為工具只是一種美好的愿望。我們需要確保它們?nèi)匀皇枪ぞ摺?/strong>關(guān)于經(jīng)濟(jì)學(xué)，我不是經(jīng)濟(jì)學(xué)家，但我認(rèn)為非常重要的是，我們要展望未來(lái)，并提出這樣的問(wèn)題：不要去構(gòu)想人工智能現(xiàn)在是什么樣子（或者三年前、五年前是什么樣子），我們應(yīng)該構(gòu)想的是，人工智能達(dá)到與人類基本相同的認(rèn)知能力時(shí)，它會(huì)是什么樣子？順便說(shuō)一句，直覺(jué)是人工智能已經(jīng)擅長(zhǎng)的東西，知識(shí)也是它非常擅長(zhǎng)的東西。目前，我們?cè)谝?guī)劃和推理方面看到了進(jìn)步和差距，在過(guò)去的幾個(gè)月中，我們?cè)谶@方面看到了很大的進(jìn)步，而且這種進(jìn)步還將繼續(xù)下去。因此，目前尚不清楚我們將走向何方，但以我們現(xiàn)在對(duì)人工智能的理解，例如將其視為電腦或筆記本電腦，根本不足以應(yīng)對(duì)未來(lái)的發(fā)展，這些機(jī)器可能和我們一樣聰明，這可能在幾年或幾十年內(nèi)就會(huì)實(shí)現(xiàn)，我們真的不知道。Danielle Allen：我認(rèn)為我們正在經(jīng)歷一場(chǎng)范式轉(zhuǎn)變。我們對(duì)范式轉(zhuǎn)變的認(rèn)識(shí)是，它總是來(lái)自于需要解決的難題，來(lái)自于先前范式中存在的問(wèn)題，以及與潛在的主流思想的競(jìng)爭(zhēng)關(guān)系。因此，我們不需要預(yù)見(jiàn)未來(lái)，我們可以創(chuàng)造未來(lái)，我們將通過(guò)競(jìng)爭(zhēng)的過(guò)程來(lái)創(chuàng)造未來(lái)。Yoshua，你期望人工智能在人類生活的各個(gè)認(rèn)知和身體特征方面都非常出色，但你沒(méi)有提到人性的社會(huì)、情感和關(guān)系方面，而這正是 Philippe 在決策性質(zhì)的討論中所暗示的。因此，我認(rèn)為真正重要的是要溝通的是，我們正在世界上看到的不同的技術(shù)范式，實(shí)際上也是不同的經(jīng)濟(jì)和社會(huì)范式，它們對(duì)我們?nèi)绾巫龀鲞@些社會(huì)決策有著不同的答案。因此，有一種范式認(rèn)為，也許我們會(huì)有一個(gè)仁慈的獨(dú)裁者坦誠(chéng)地說(shuō)，我認(rèn)為 OpenAI 有點(diǎn)朝著這個(gè)方向發(fā)展。而我的觀點(diǎn)是，我們不應(yīng)該僅僅被動(dòng)接受這種可能性。我們有選擇。我們可以做社會(huì)工作，做關(guān)系工作，做政策工作，來(lái)引導(dǎo)技術(shù)，并發(fā)展支持人類繁榮的范式。但這再次印證了我演講的題目，現(xiàn)在是做出選擇的時(shí)候了，因?yàn)檫@不是關(guān)于預(yù)見(jiàn)未來(lái)，而是關(guān)于真正選擇未來(lái)。Yoshua Bengio：我可以補(bǔ)充一點(diǎn)嗎？我完全同意你的觀點(diǎn)。影響未來(lái)，使我們走向人工智能成為工具，并用于所有人福祉的世界，并且所有生產(chǎn)力收益都得到重新分配，這不會(huì)僅僅通過(guò)讓市場(chǎng)力量和國(guó)家之間的競(jìng)爭(zhēng)像往常一樣運(yùn)作來(lái)實(shí)現(xiàn)。因?yàn)槟壳暗母?jìng)爭(zhēng)，正在走向最容易被取代的崗位，例如，那些處境不太好的人可能不容易找到另一份工作。競(jìng)爭(zhēng)正在轉(zhuǎn)向使人工智能更強(qiáng)大，而不是更安全，而不是更道德地行動(dòng)。我認(rèn)為，我們可以用人工智能構(gòu)建一個(gè)更美好的世界，但這必須是有意識(shí)的，而不是放任自流。Danielle Allen：這是一個(gè)非常重要的觀點(diǎn)。我需要澄清一下我所說(shuō)的競(jìng)爭(zhēng)是什么意思，因?yàn)閷?shí)際上我指的不是市場(chǎng)競(jìng)爭(zhēng)，也不是通常使用的術(shù)語(yǔ)。而是智識(shí)上的競(jìng)爭(zhēng)。這才是我們真正需要的。除非我們圍繞范式本身進(jìn)行智識(shí)上的競(jìng)爭(zhēng)，否則我們實(shí)際上無(wú)法進(jìn)入另一個(gè)范式。Erik Brynjolfsson：我想呼應(yīng) Danielle、Yoshua 和 Philippe 都強(qiáng)調(diào)的觀點(diǎn)不是人工智能將要做什么，而是我們將用人工智能做什么。因此，記者最常問(wèn)的問(wèn)題是：人工智能將對(duì)就業(yè)造成什么影響？人工智能的未來(lái)會(huì)怎樣？我認(rèn)為我們必須真正重視這種意向性。人工智能是一種工具，至少目前是這樣，而且它正變得越來(lái)越強(qiáng)大。而根據(jù)定義，工具越強(qiáng)大，我們改變世界的力量就越大。拿起一根矛，扔向懸崖，它可能會(huì)留下一個(gè)小小的凹痕。但有了機(jī)關(guān)槍，有了炸彈，有了推土機(jī)擁有的力量越大，你就越能真正改變世界。現(xiàn)在我們擁有了一些最強(qiáng)大的技術(shù)，這可能是有史以來(lái)最強(qiáng)大的技術(shù)，這意味著，世界未來(lái)會(huì)變成什么樣，很大程度上取決于我們?cè)趺从眠@些技術(shù)。所以，我們必須認(rèn)真想想，我們到底想要什么？現(xiàn)在大家花在思考“智識(shí)競(jìng)爭(zhēng)”上的時(shí)間還遠(yuǎn)遠(yuǎn)不夠，更重要的是要思考，我們最看重哪些價(jià)值？我覺(jué)得我們現(xiàn)在有點(diǎn)像在盲目地往前沖，被技術(shù)發(fā)展的浪潮推著走。我們需要停下來(lái)好好想想，這里的“我們”指的是所有人，因?yàn)檫@件事關(guān)系到我們每一個(gè)人。我們要一起思考，在新技術(shù)塑造的世界里，我們希望哪些價(jià)值觀能被發(fā)揚(yáng)光大。
總之，如果我們只是像往常一樣被動(dòng)地等待，結(jié)果很可能不會(huì)好。我們想要的好結(jié)果，需要我們付出更多努力去構(gòu)建。創(chuàng)造有價(jià)值、復(fù)雜美好的事物，肯定比搞砸事情要難得多。幸運(yùn)的是，在人類歷史的大部分時(shí)間里，我們都還挺擅長(zhǎng)創(chuàng)造的但破壞總是比建設(shè)要快得多。
主持人：如今，美國(guó)在人工智能的布局很明顯，中國(guó)則出現(xiàn)了 DeepSeek。顯然，法國(guó)和歐洲也有非常強(qiáng)烈的雄心。我想聽(tīng)聽(tīng) Philippe 從法國(guó)和歐洲的角度，以及人工智能委員會(huì)的角度，對(duì)企業(yè)以及社會(huì)，在應(yīng)對(duì)這一挑戰(zhàn)方面所承擔(dān)的關(guān)鍵責(zé)任有何看法。Philippe Aghion：首先是要將人工智能普及到經(jīng)濟(jì)領(lǐng)域。因此，我們認(rèn)為，我們需要加強(qiáng)人工智能領(lǐng)域的研究。我們有杰出的數(shù)學(xué)家、計(jì)算機(jī)科學(xué)家，但他們?cè)诜▏?guó)的研究卻很薄弱。因此，我們需要，我們之前的一位研究部長(zhǎng)曾試圖削減 8 億歐元的預(yù)算，幸運(yùn)的是，新任研究部長(zhǎng)正在糾正這一做法，這真是太好了。然而，我們的研究經(jīng)費(fèi)已經(jīng)很緊張，他們還想進(jìn)一步削減預(yù)算。因此，我們需要在研究方面有一個(gè)例外，一個(gè)特殊的例外。但我們也需要在經(jīng)濟(jì)領(lǐng)域、企業(yè)中普及人工智能，因?yàn)楹艽笠徊糠质瞧髽I(yè)對(duì)人工智能的采用。因此，這需要公共投資。同樣，我們希望在學(xué)校和大學(xué)的每個(gè)專業(yè)都引入人工智能。因此，要普及人工智能，需要進(jìn)行巨大的投資。我們需要投資于計(jì)算能力，本地計(jì)算能力，以便為新企業(yè)提供訪問(wèn)權(quán)限，這不僅使競(jìng)爭(zhēng)對(duì)新進(jìn)入者更加友好，而且也使他們更容易獲得計(jì)算能力。這就是公共和私人干預(yù)發(fā)揮作用的地方。這些都是我們真正需要關(guān)注的重點(diǎn)。競(jìng)爭(zhēng)固然是主要威脅，但公共干預(yù)在普及計(jì)算能力和人工智能方面也至關(guān)重要。歐洲的情況尤為重要，我想重點(diǎn)談?wù)剼W洲。歐洲正在落后于美國(guó)。我們看到美國(guó)在高科技前沿創(chuàng)新方面領(lǐng)先，而歐洲主要處于中等技術(shù)增量創(chuàng)新階段。我們?cè)跉W洲錯(cuò)失了 IT 革命。我們不想再錯(cuò)失人工智能革命。為什么？因?yàn)槲覀儧](méi)有產(chǎn)生革命的生態(tài)系統(tǒng)。歐洲的問(wèn)題在于，歐洲總是在緊急情況下才團(tuán)結(jié)起來(lái)，我們需要一個(gè)真正的單一市場(chǎng)，我們需要一個(gè)真正的金融生態(tài)系統(tǒng)，我們需要真正的歐洲創(chuàng)新政策、產(chǎn)業(yè)政策和創(chuàng)新政策，才能使我們達(dá)到那些正在大量投資的國(guó)家的水準(zhǔn)。而且我還不確定歐洲是否能夠做到這一點(diǎn)。問(wèn)題是，我們是否要讓歐洲 20 個(gè)國(guó)家都這樣做？我們是按最低標(biāo)準(zhǔn)來(lái)做，還是建立意愿聯(lián)盟？我認(rèn)為在人工智能方面，我們應(yīng)該與那些想做事的人合作，而不是與那些不想做事的人合作。我們需要一種新的動(dòng)力來(lái)喚醒歐洲，否則我們將淪為無(wú)足輕重的角色，而中國(guó)正在崛起，美國(guó)仍保持領(lǐng)先地位，歐洲卻在衰落，這令人深感擔(dān)憂。Yoshua Bengio：我想補(bǔ)充一點(diǎn)關(guān)于從經(jīng)濟(jì)角度來(lái)看微不足道的問(wèn)題。我不是經(jīng)濟(jì)學(xué)家，但我認(rèn)為有些簡(jiǎn)單的事情我可以預(yù)見(jiàn)，這些事情是合理的。當(dāng)我們達(dá)到超級(jí)智能系統(tǒng)時(shí)，從經(jīng)濟(jì)角度來(lái)看，你們談到了就業(yè)問(wèn)題，但還有另一個(gè)問(wèn)題，那就是我可以從聲明中看到，控制這些系統(tǒng)的人比如 OpenAI，他們不會(huì)繼續(xù)僅僅出售對(duì)其人工智能的訪問(wèn)權(quán)限。他們會(huì)提供對(duì)低級(jí)人工智能的訪問(wèn)權(quán)限。他們會(huì)保留真正強(qiáng)大的那些人工智能供自己使用，他們會(huì)建立公司，這些公司將與現(xiàn)有的非人工智能系統(tǒng)競(jìng)爭(zhēng)，他們基本上會(huì)摧毀所有其他沒(méi)有這些超級(jí)智能系統(tǒng)的國(guó)家的經(jīng)濟(jì)。所以，Philippe 剛剛說(shuō)這不是生存危機(jī)，但我認(rèn)為對(duì)于那些沒(méi)有達(dá)到這種人工智能水平的國(guó)家來(lái)說(shuō)，這確實(shí)是生存危機(jī)，而且這是一個(gè)緊急情況，因?yàn)榧词褂幸庠嘎?lián)盟，也至少需要幾年的時(shí)間才能彌合這一差距但這又確實(shí)是可以彌合的。因?yàn)槟憧�，DeepSeek 是一個(gè)為期兩年的項(xiàng)目。所以我認(rèn)為現(xiàn)在完全來(lái)得及。主持人：我也同意這是可行的。我們還需要增加大量的資金才能實(shí)現(xiàn)這一目標(biāo)。關(guān)于構(gòu)建在人工智能之上的世界。目前人們擔(dān)心的問(wèn)題之一是，無(wú)法檢查個(gè)人數(shù)據(jù)是否被用于訓(xùn)練數(shù)據(jù)集。那么，我們?nèi)绾尾拍鼙Ｗo(hù)創(chuàng)意不被未經(jīng)作者同意就成為訓(xùn)練集的一部分？如果生成的創(chuàng)意受到現(xiàn)有作品的啟發(fā)，作者身份是否仍然存在？Erik Brynjolfsson：在美國(guó)，如今存在很多困惑。公司擔(dān)心使用大語(yǔ)言模型，因?yàn)樗麄儾淮_定自己是否侵犯了不同的版權(quán)，而且，現(xiàn)在，具有諷刺意味的是，OpenAI 正在起訴 DeepSeek，理由是 DeepSeek 可能使用了它的一些數(shù)據(jù)，但《紐約時(shí)報(bào)》也在起訴 OpenAI。我不知道 DeepSeek 是否已經(jīng)起訴《紐約時(shí)報(bào)》。但是，許多公司現(xiàn)在都在互相起訴，試圖確定誰(shuí)擁有權(quán)利。部分問(wèn)題當(dāng)然在于，這些法律是在大語(yǔ)言模型或任何這些技術(shù)出現(xiàn)之前制定的。所以不是很清楚。版權(quán)實(shí)際上禁止你制作完全相同的副本或非常相似的東西。因此，大語(yǔ)言模型公司辯稱，我們并非在制作與輸入內(nèi)容完全相同的副本，而是在生成原創(chuàng)內(nèi)容。盡管如此，版權(quán)的目的是為創(chuàng)造有價(jià)值的內(nèi)容提供激勵(lì)。它在美國(guó)憲法中，我認(rèn)為其他國(guó)家也有類似的規(guī)定。因此，如果你的目標(biāo)是鼓勵(lì)作者寫(xiě)書(shū)、寫(xiě)詩(shī)和進(jìn)行原創(chuàng)調(diào)查報(bào)道，你需要為他們提供激勵(lì)，否則如果他們沒(méi)有激勵(lì)，他們就不會(huì)這樣做。主持人：作為總結(jié)，我很想聽(tīng)聽(tīng)各位對(duì)人工智能以及研究和進(jìn)步方面最令人興奮的機(jī)遇有何看法。Yoshua Bengio：機(jī)遇在于，人工智能最令我興奮的積極方面是其在科學(xué)發(fā)現(xiàn)中的應(yīng)用。事實(shí)上，人們過(guò)多地考慮利用人工智能來(lái)構(gòu)建產(chǎn)品。但是，人工智能對(duì)我們社會(huì)的最大變革將間接地發(fā)生，因?yàn)槿斯ぶ悄鼙挥米髟O(shè)計(jì)以前不存在的新技術(shù)的工具。這涉及到所有領(lǐng)域。科學(xué)研究非常昂貴。我們有可能加速研究，降低成本，用更少的投入實(shí)現(xiàn)更多成果。當(dāng)我們繼續(xù)沿著這條道路前進(jìn)時(shí)，但這必須再次是有意識(shí)的。這不一定是商業(yè)壓力或利潤(rùn)最大化最感興趣的事情。最終也可能如此，但目前許多研究實(shí)際上是在大學(xué)里進(jìn)行的，而這些機(jī)構(gòu)缺乏足夠的計(jì)算能力，也難以留住人才。因此，這是一個(gè)我們需要政府投資的案例，在人工智能的各個(gè)應(yīng)用領(lǐng)域進(jìn)行登月計(jì)劃，而且這并不總是需要像超大型模型那樣。盡管我確實(shí)認(rèn)為，科學(xué)的根本進(jìn)步也將來(lái)自于這些最先進(jìn)的人工智能。如果我們能很好地引導(dǎo)它們，順便說(shuō)一句，我們不需要這些發(fā)現(xiàn)是由完全自主的人工智能做出的。我們只需要像科學(xué)家那樣工作的人工智能系統(tǒng)。換句話說(shuō)，基于他們擁有的數(shù)據(jù)，了解世界如何運(yùn)作，提出假設(shè)，提出實(shí)驗(yàn)，但無(wú)需設(shè)定自身的目標(biāo)和長(zhǎng)期目標(biāo)。Erik Brynjolfsson：首先，我非常贊同 Yoshua 所說(shuō)的關(guān)于科學(xué)發(fā)現(xiàn)的觀點(diǎn)。這確實(shí)是所有經(jīng)濟(jì)增長(zhǎng)和我們生活水平提高以及應(yīng)對(duì)許多挑戰(zhàn)的驅(qū)動(dòng)力。而且越來(lái)越多的系統(tǒng)專門(mén)用于幫助科學(xué)發(fā)現(xiàn)，可以追溯到 Alphafold，這些都是基于工具的系統(tǒng)，不一定是自主的，越來(lái)越多的科學(xué)家開(kāi)始使用它們。比方說(shuō)，我鼓勵(lì)你們所有人都開(kāi)始使用 Deep Research 和其他一些工具。大約四五個(gè)月前，我發(fā)現(xiàn)這些工具還不太有用。但現(xiàn)在在它們真正幫助我構(gòu)建事物方面的能力方面，已經(jīng)發(fā)生了翻天覆地的變化。我承認(rèn)，有一次我有點(diǎn)惱火，當(dāng)時(shí)我以為我有一個(gè)原創(chuàng)的想法，我正在思考它，然后我請(qǐng)求工具幫助我，它吐出了很多我一直在私下思考的東西。我給它提供了我的論文，所以它可能有點(diǎn)先發(fā)優(yōu)勢(shì)。但令人驚訝的是，它不僅能夠綜合大量事物，而且還能涌現(xiàn)某種原創(chuàng)性思維。我想強(qiáng)調(diào)的第二件事是，繼續(xù)利用人工智能與人類密切合作的機(jī)會(huì)。我認(rèn)為人們對(duì)這一點(diǎn)的強(qiáng)調(diào)還不夠，這是一個(gè)非常具有破壞性的方向，無(wú)論是在它能產(chǎn)生的產(chǎn)出方面，還是在價(jià)值分配方面。當(dāng)我與管理者交談時(shí)，我花了很多時(shí)間與 CEO 們交談，似乎有一種非常懶惰的想法，即我們有一項(xiàng)任務(wù)，我們將讓機(jī)器來(lái)完成這項(xiàng)任務(wù)并取代人類。但他們幾乎總是感到失望，因?yàn)?strong>事實(shí)證明，讓機(jī)器 100% 完成某些工作或任務(wù)要困難得多。你通常可以讓機(jī)器完成 80%、90% 甚至 99% 的工作。但是，正如自動(dòng)駕駛汽車(chē)領(lǐng)域的案例，最后一英里是最具挑戰(zhàn)性的，這在許多任務(wù)中都是如此。因此，盡管在你們的一個(gè)問(wèn)題中，我談到了人工智能可以做大多數(shù)事情的假設(shè)性未來(lái)，但我認(rèn)為我們還有很長(zhǎng)的路要走，我不知道有多長(zhǎng)，在很長(zhǎng)一段時(shí)間內(nèi)，它會(huì)像下象棋一樣，在許多任務(wù)中，起初只有人類才能完成，然后機(jī)器可以提供幫助。然后在某個(gè)時(shí)候，機(jī)器可以比人類做得更好，但即使在那之后，還會(huì)有一段時(shí)間，人類和機(jī)器的組合可以擊敗單獨(dú)的機(jī)器。現(xiàn)在，對(duì)于象棋來(lái)說(shuō)，這個(gè)窗口最終關(guān)閉了，但是象棋，當(dāng)你思考它時(shí)，與現(xiàn)實(shí)世界的復(fù)雜性相比，它是一個(gè)非常簡(jiǎn)單的棋盤(pán)。因此，對(duì)于大多數(shù)其他任務(wù)，我認(rèn)為我們將以更長(zhǎng)的速度經(jīng)歷這些不同的階段。Danielle Allen：除了對(duì)人工智能的力量感到興奮之外，我們也應(yīng)該對(duì)我們?nèi)祟惖牧α扛械脚d奮。為此，我百分之百同意 Yoshua 關(guān)于分散管理超級(jí)智能（如果它出現(xiàn)的話）的觀點(diǎn)。因此，也許我們應(yīng)該也給自己提出一個(gè)社會(huì)技術(shù)挑戰(zhàn)，即我們?nèi)绾螢槌?jí)智能建立治理體系。也許應(yīng)該做的事情是現(xiàn)在就開(kāi)始制定一項(xiàng)條約，其中包含這樣的承諾：如果并且當(dāng)超級(jí)智能存在時(shí)，在我們它出現(xiàn)之前，我們都已同意它將成為人類的共同財(cái)產(chǎn)，就像月球一樣，然后以此為基礎(chǔ)繼續(xù)前進(jìn)。在超級(jí)智能真正出現(xiàn)之前，現(xiàn)在是達(dá)成這樣一項(xiàng)條約的最佳時(shí)機(jī)。
