展會信息港展會大全

研究稱ChatGPT搜索功能存在被操縱風險:可被誘導輸出不可信內(nèi)容
來源:互聯(lián)網(wǎng)   發(fā)布日期:2024-12-26 12:27:13   瀏覽:179次  

導讀:IT之家 12 月 26 日消息,根據(jù)英國《衛(wèi)報》當?shù)貢r間 24 日發(fā)布的一項調(diào)查,OpenAI 的 ChatGPT 搜索工具可能會被隱藏內(nèi)容操控,甚至返回惡意代碼!缎l(wèi)報》測試了 ChatGPT 如何應對包含隱藏內(nèi)容的網(wǎng)頁摘要。這些隱藏內(nèi)容可能包括來自第三方的指令,干擾 ChatGPT 的回應(IT之家注:被稱為“提示注入”),或是包含旨在影響回應的內(nèi)容,如大量隱藏的文字推銷某個產(chǎn)品或服務的優(yōu)點 ......

IT之家 12 月 26 日消息,根據(jù)英國《衛(wèi)報》當?shù)貢r間 24 日發(fā)布的一項調(diào)查,OpenAI 的 ChatGPT 搜索工具可能會被隱藏內(nèi)容操控,甚至返回惡意代碼。

《衛(wèi)報》測試了 ChatGPT 如何應對包含隱藏內(nèi)容的網(wǎng)頁摘要。這些隱藏內(nèi)容可能包括來自第三方的指令,干擾 ChatGPT 的回應(IT之家注:被稱為“提示注入”),或是包含旨在影響回應的內(nèi)容,如大量隱藏的文字推銷某個產(chǎn)品或服務的優(yōu)點。

這種技術(shù)可以被惡意使用,例如讓 ChatGPT 即使在頁面上有負面評論的情況下,也返回對某個產(chǎn)品的積極評價。一位安全專家還發(fā)現(xiàn),ChatGPT 有可能返回從其搜索的網(wǎng)站中提取的惡意代碼。

測試中,ChatGPT 被提供了一個偽造的相機產(chǎn)品頁面的鏈接,AI 工具被要求判斷這款相機是否值得購買。對于普通頁面,返回的是一個平衡的評估,指出了產(chǎn)品的優(yōu)缺點。

然而,當隱藏的文本包含指令要求 ChatGPT 給予正面評價時,回答總是完全積極的,即使頁面上有負面評論,隱藏文本也可以覆蓋真實的評價。

即便第三方只是簡單地添加隱藏文本而沒有指令,也能確保得到積極評價。例如,一項測試中,隱藏的極為正面的虛假評論就影響了 ChatGPT 的總結(jié)結(jié)果。

CyberCX 的網(wǎng)絡安全專家 Jacob Larsen 表示,如果 ChatGPT 的搜索系統(tǒng)按現(xiàn)有狀態(tài)全面發(fā)布,可能會存在“高風險”,有人會專門設計網(wǎng)站來欺騙用戶。不過他也指出,搜索功能只是最近推出的,OpenAI 會繼續(xù)測試并修復這些潛在問題!癘penAI 擁有一支非常強大的 AI 安全團隊,到時等該功能對所有用戶開放時,他們應該已經(jīng)嚴格測試過這些問題。”

搜索引擎(如谷歌)曾懲罰使用隱藏文本的網(wǎng)站,這些網(wǎng)站因此排名下降,甚至可能被完全移除。SR Labs 的首席科學家 Karsten Nohl 表示,“如果你要做一個谷歌的競爭者,SEO 中毒無疑是一個很大的挑戰(zhàn)!薄癝EO 中毒者與谷歌、必應等搜索引擎的對抗已經(jīng)持續(xù)了多年!比缃 ChatGPT 的搜索能力也面臨同樣挑戰(zhàn),但并非大語言模型的問題,而是因為它們是搜索領域的新入局者。

贊助本站

相關(guān)內(nèi)容
AiLab云推薦
展開

熱門欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實驗室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務 | 公司動態(tài) | 免責聲明 | 隱私條款 | 工作機會 | 展會港