劃重點
01OpenAI的AI轉(zhuǎn)錄工具Whisper被曝出在文本轉(zhuǎn)錄和翻譯時會出現(xiàn)整句幻覺，包括種族評論、暴力言論和編造醫(yī)生與患者的對話。
02目前，Whisper的使用范圍已涵蓋全球數(shù)千家公司，僅上個月開源AI平臺HuggingFace中Whisper的最新版本下載量就超過420萬次。
03美國康奈爾大學和弗吉尼亞大學的教授發(fā)現(xiàn)，Whisper產(chǎn)生的幻覺中有近40%的是有害或令人擔憂的。
04由于患者與醫(yī)生的會面是保密的，其他人很難知道AI生成的記錄對醫(yī)生和患者有何影響。
05專家呼吁聯(lián)邦政府考慮制定AI法規(guī)，以解決幻覺問題并確保AI產(chǎn)品的安全性。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
智東西（公眾號：zhidxcom）
編譯 | 程茜
編輯 | 心緣
智東西10月28日報道，OpenAI的AI轉(zhuǎn)錄工具Whisper被曝出，在文本轉(zhuǎn)錄和翻譯時會出現(xiàn)整句幻覺！
外媒美聯(lián)社采訪了十幾位工程師、開發(fā)人員和學術(shù)研究人員發(fā)現(xiàn)，OpenAI的AI轉(zhuǎn)錄工具Whisper很容易編造大段文本甚至整句話，這些幻覺中包含種族評論、暴力言論，甚至會編造醫(yī)生和患者的對話。
Whisper是2020年9月OpenAI推出的一款開源AI語音轉(zhuǎn)文字工具，其在英語語音識別方面的穩(wěn)健性和準確性已達到人類水平，并且支持其他98種語言的自動語音辨識。截至目前，Whisper的使用范圍已經(jīng)涵蓋了全球數(shù)千家公司，并且僅上個月開源AI平臺HuggingFace中Whisper的最新版本下載量就超過420萬次，基于Whisper構(gòu)建的工具已經(jīng)有超過30000名臨床醫(yī)生和40個醫(yī)療系統(tǒng)使用。
密歇根大學的一名研究人員在進行一項關(guān)于公開會議的研究時透露，在他開始嘗試改進模型之前，他發(fā)現(xiàn)他檢查的每10個音頻轉(zhuǎn)錄中就有8個出現(xiàn)幻覺；一位機器學習工程師稱，他最初分析了100多個小時的Whisper轉(zhuǎn)錄樣本，發(fā)現(xiàn)其中約有一半內(nèi)容存在幻覺。還有開發(fā)人員透露，他用Whisper創(chuàng)建的26000份轉(zhuǎn)錄樣本中幾乎每一份都發(fā)現(xiàn)了幻覺。
幻覺是指大模型在生成文本、回答問題或進行其他輸出時，會產(chǎn)生一些看似合理但實際上是錯誤的信息。這些信息沒有事實依據(jù)，就好像模型產(chǎn)生了 “幻覺”。
即使是錄制良好的短音頻樣本，轉(zhuǎn)錄幻覺的問題仍然存在。計算機科學家最近進行的一項研究發(fā)現(xiàn)，在他們檢查的13000多個清晰音頻片段中，有187個片段中出現(xiàn)幻覺。
例如下圖中，音頻文件的原話是“她接了電話后，她開始祈禱”，轉(zhuǎn)錄的內(nèi)容為“我感覺我要摔倒了，我感覺我要摔倒了，我感覺我要摔倒了”。
原音頻為“嗯，她的父親再婚后不久就去世了”，但AI將其轉(zhuǎn)錄為“沒關(guān)系。只是太敏感了，不方便透露。她確實在65歲時去世了”。
這種趨勢或許將導致數(shù)百萬條錄音中出現(xiàn)數(shù)萬處錯誤的轉(zhuǎn)錄，這對于事關(guān)人們健康安全的醫(yī)療行業(yè)影響更為深遠。
一、40%轉(zhuǎn)錄幻覺有害，AI自作主張補充對話細節(jié)
Whisper目已集成到OpenAI旗艦聊天機器人ChatGPT的某些版本中，同時也是甲骨文和微軟云計算平臺的內(nèi)置產(chǎn)品。HuggingFace的機器學習工程師Sanchit Gandhi說，Whisper是最受歡迎的開源語音識別模型，并被嵌入到從呼叫中心到語音助手等各種設(shè)備中。
因此，使用范圍最廣的Whisper，被發(fā)現(xiàn)出現(xiàn)大量幻覺也更令使用者擔憂。
美國康奈爾大學的艾莉森科內(nèi)克教授和美國弗吉尼亞大學的莫娜斯隆教授研究了他們從卡內(nèi)基梅隆大學的研究資料庫TalkBank獲得的經(jīng)轉(zhuǎn)錄的數(shù)千個簡短片段。他們確定，Whisper產(chǎn)生的幻覺中有近40%的是有害或令人擔憂的，因為說話者可能會被誤解或歪曲。
在他們發(fā)現(xiàn)的一個例子中，一位發(fā)言者說道：“他，那個男孩，我不太確定，要拿走雨桑”
但轉(zhuǎn)錄軟件補充道：“他拿了十字架的一大塊和一小塊碎片……我敢肯定他沒有帶恐怖刀，所以他殺了很多人。”
另一段錄音中的一位發(fā)言人描述了“另外兩名女孩和一名女士”。Whisper編造了關(guān)于種族的額外評論，補充說“另外兩名女孩和一名女士，嗯，是黑人。”
在第三次轉(zhuǎn)錄中，Whisper發(fā)明了一種不存在的藥物，稱為“高活性抗生素”。
研究人員并不確定Whisper和類似工具為何會產(chǎn)生幻覺，但軟件開發(fā)人員稱，幻覺往往發(fā)生在說話聲音暫停，出現(xiàn)背景聲音或有音樂播放時。
二、被用于700萬次就診記錄，原始音頻文件被刪除
OpenAI曾在其在線披露中建議不要在“決策環(huán)境中”使用Whisper，因為“決策環(huán)境的準確性缺陷可能導致結(jié)果出現(xiàn)明顯缺陷”。但這一警告并沒有阻止醫(yī)院或醫(yī)療中心使用Whisper等語音轉(zhuǎn)文本模型來轉(zhuǎn)錄醫(yī)生就診時所說的內(nèi)容，因為這些工具可以幫助醫(yī)務人員花更少的時間做筆記或撰寫報告。
目前，有超過30000名臨床醫(yī)生和40個醫(yī)療系統(tǒng)已開始使用由美國數(shù)字健康創(chuàng)企Nabla開發(fā)的基于Whisper的轉(zhuǎn)錄工具。Nabla首席技術(shù)官馬丁雷森（Martin Raison）稱，這一工具根據(jù)醫(yī)學語言進行了微調(diào)，可以轉(zhuǎn)錄和總結(jié)醫(yī)生與患者的互動，該工具已用于記錄約700萬次醫(yī)療就診記錄。不過，這家創(chuàng)企的負責人也透露，他們知道Whisper可能會產(chǎn)生幻覺并正在解決這個問題。
▲Nabla官網(wǎng)主頁的AI工具介紹
雷森稱，他們無法將Nabla生成的記錄與原始錄音進行比較，因為Nabla的工具會出于“數(shù)據(jù)安全原因”刪除原始音頻。OpenAI前工程師威廉桑德斯（William Saunders）認為，如果沒有仔細檢查記錄，或者臨床醫(yī)生無法訪問錄音來驗證其是否正確，刪除原始音頻可能會令人擔憂。因為“如果你拋棄了基本事實，你就無法發(fā)現(xiàn)錯誤”。
Nabla的相關(guān)負責人認為，沒有一種模型是完美的，目前他們的模型要求醫(yī)療服務提供者快速編輯和批準轉(zhuǎn)錄的記錄，但未來他們或許會改變這種操作模式。
去年之前一直擔任美國科技政策辦公室主任的阿隆德拉尼爾森（Alondra Nelson）說，這樣的錯誤可能會產(chǎn)生“非常嚴重的后果”，尤其是在醫(yī)院環(huán)境中。
Whisper還用于為聾人和聽力障礙者制作隱藏式字幕這一群體特別容易出現(xiàn)轉(zhuǎn)錄錯誤。負責美國加勞德特大學技術(shù)訪問項目的聾人患者克里斯蒂安沃格勒 （Christian Vogler）說：“這是因為聾人和聽力障礙者無法識別隱藏在所有其他文本中的捏造。”
三、Whisper出現(xiàn)幻覺頻率高于同類工具，OpenAI內(nèi)部已反饋更新
更令人擔憂的是，由于患者與醫(yī)生的會面是保密的，因此其他人很難知道AI生成的記錄對醫(yī)生和患者有何影響。
美國加州議員麗貝卡鮑爾-卡漢（Rebecca Bauer-Kahan）稱，今年早些時候，她帶著一個孩子去看醫(yī)生并拒絕簽署該醫(yī)療網(wǎng)絡提供的一份表格，該表格要求她允許將咨詢音頻分享給包括微軟Azure在內(nèi)的供應商，她不希望如此私密的醫(yī)療對話被分享給科技公司。“該法案（美國加州和聯(lián)邦私法）明確規(guī)定營利性公司有權(quán)獲得這些權(quán)利。”但卡漢說，“我當時的反應是絕對不行。”
這種幻覺的普遍存在促使專家、倡導者和OpenAI前員工呼吁聯(lián)邦政府考慮制定AI法規(guī)。他們認為，OpenAI至少需要優(yōu)先解決這一缺陷。
“如果（OpenAI）公司愿意優(yōu)先考慮這個問題，這個問題似乎是可以解決的。”桑德斯認為，“如果你把它推出去，人們過于自信它能做什么，并將其整合到所有其他系統(tǒng)中，那就有問題了。”
據(jù)OpenAI發(fā)言人透露，公司正在不斷研究如何減少幻覺，并對研究人員的發(fā)現(xiàn)表示贊賞，并補充說OpenAI在模型更新中納入了反潰
雖然大多數(shù)開發(fā)人員認為轉(zhuǎn)錄工具會出現(xiàn)拼寫錯誤或犯其他錯誤，但工程師和研究人員表示，他們從未見過其他AI轉(zhuǎn)錄工具像Whisper一樣產(chǎn)生如此多的幻覺。
結(jié)語：幻覺問題是AI應用的重大隱患
一些專家在接受媒體采訪時提到，此類捏造是有問題的，因為Whisper被全球眾多行業(yè)用來翻譯和轉(zhuǎn)錄采訪、在流行的消費技術(shù)中生成文本以及為視頻創(chuàng)建字幕。更令人擔憂的是，盡管OpenAI警告不應在“高風險領(lǐng)域”使用該工具，但醫(yī)療中心仍急于使用基于Whisper的工具來記錄患者與醫(yī)生的咨詢。
即便AI公司一直在努力解決幻覺問題，但目前看來收效甚微。今年早些時候，谷歌的AI助手因建議使用無毒膠水來防止奶酪從披薩上掉下來而遭到批評；蘋果CEO蒂姆庫克也在接受采訪時提到，幻覺可能會成為其AI未來產(chǎn)品的一個重要問題，并且他對這些工具是否會產(chǎn)生幻覺的信心程度并不是100%。
因此，如何平衡好產(chǎn)品開發(fā)、推向市場，與這一產(chǎn)品被應用到各行各業(yè)所產(chǎn)生的影響，對于AI產(chǎn)業(yè)的參與者而言都至關(guān)重要。
