新智元報道
編輯：peter東 喬楊【新智元導(dǎo)讀】Nature子刊近日發(fā)布了一項研究，針對學(xué)術(shù)寫作中大模型的使用。他們發(fā)現(xiàn)，那些了解LLM以及大模型相關(guān)技術(shù)的受訪者有更多的發(fā)表文章數(shù)量。都說大模型被廣泛應(yīng)用于學(xué)術(shù)研究的文獻回顧、摘要篩選和稿件撰寫等方面，然而具體多少人在使用、如何使用，卻缺少定量的調(diào)查研究。為此，研究人員進行了一項調(diào)查，識別受訪者們在學(xué)術(shù)研究和發(fā)表中使用大模型的情況。以評估全球研究人員對大模型的認知水平。
論文地址：https://www.nature.com/articles/s41598-024-81370-6這項調(diào)查的參與者包括來自59個國家、65個專業(yè)的總計226名醫(yī)學(xué)相關(guān)研究者，他們在2020年至2024年間接受了哈佛醫(yī)學(xué)院全球臨床學(xué)者研究培訓(xùn)證書計劃的培訓(xùn)。研究人員如何使用大模型
在226名調(diào)查者中，198人（87.6%）表示之前知道大模型，其中對大模型有「一定程度」和「較深程度」了解的比例分別是33.3%和30.8%。值得注意的是：相比不知道大模型的受訪者，知道大模型的人發(fā)表的論文數(shù)更多，這一發(fā)現(xiàn)與先前的研究結(jié)果一致。去年4月，斯坦福大學(xué)等機構(gòu)發(fā)表的一篇論文稱，對大模型的熟悉程度和使用，與學(xué)術(shù)作者在預(yù)印本和出版物上的出率上存在正相關(guān)，這可能是緣于大模型領(lǐng)域研究的快節(jié)奏迭代，以及使用大模型進行寫作輔助的原因。
論文地址：https://arxiv.org/abs/2404.01268v1在這些知曉大模型的受訪者中，之前使用過大模型的只有18.7%，他們主要用大模型來糾正語法和格式錯誤（64.9%），第二高頻的使用方式是寫作（45.9%），最后是修訂和編輯（45.9%）。該研究中81.3%的受訪者表示，他們從未在研究項目或論文中使用大模型，有趣的是，這與去年9月發(fā)表的一篇論文的結(jié)論并不一致。
論文地址：https://www.europeanurology.com/article/S0302-2838(23)03211-6/abstract這篇較早的論文發(fā)現(xiàn)，近一半的受訪者表示在學(xué)術(shù)實踐中使用過LLM。盡管大模型在學(xué)術(shù)寫作的各個環(huán)節(jié)中被頻繁使用，但相當(dāng)比例的受訪者（約 40%）并不承認他們在出版物中使用過它。研究人員隱瞞AI工具使用情況的原因有很多。首先，是研究人員對工具背后的技術(shù)缺乏信息或理解，其次，人們對使用AI工具依然抱有懷疑或負面的態(tài)度。出版商也可能會要求作者提交或包含一份聲明，說明他們是否在寫作中使用了AI系統(tǒng)。對大模型未來影響的預(yù)期
除了當(dāng)前大模型的使用，這項調(diào)查還考察了受訪者如何看待大模型未來對各研究階段的影響。如下圖所示，從左到右按照學(xué)術(shù)研究的各階段，從觀點產(chǎn)生到文獻回顧，方法學(xué)涉及，數(shù)據(jù)分析，寫作，選擇期刊，修訂和編輯，校正語法錯誤，設(shè)置參考文獻。
預(yù)期學(xué)術(shù)研究各階段受到大模型影響的比例大多數(shù)（52%）受訪者認為大模型將產(chǎn)生重大的整體影響；分階段來看，有最多受訪者認為將受到重大影響的語法錯誤和格式（66.3%），其次是修訂&編輯（57.2%）和寫作（57.2%）。這些結(jié)果表明，在研究人員看來，大模型可以極大地提高上手速任務(wù)的效率和準確性，從而促進更快、更高品質(zhì)的學(xué)術(shù)產(chǎn)出。與之相對的是，有一些階段是被認為不受影響，或僅受到有限程序影響的，包括方法論（74.3%）、期刊選擇（73.3%）和研究觀點（71.1%），這反映了人們在對AI在批判性評估、研究設(shè)計和期刊選擇上的擔(dān)憂和質(zhì)疑。當(dāng)談及大模型對學(xué)術(shù)界會帶來正面或負面影響時，大多數(shù)受訪者認為它將帶來積極影響（50.8%），但相當(dāng)一部分人表示不確定（32.6%）。盡管大多數(shù)受訪者認為期刊應(yīng)允許在出版中使用AI工具（58.1%），但絕大多數(shù)（78.3%）也認為應(yīng)制定相應(yīng)的規(guī)定，例如修改期刊政策、增加檢測大模型使用的工具，以確保 AI 工具在科研中的有序使用。
圖2：受訪者認為大模型在未來的主要挑戰(zhàn)和應(yīng)用范圍具體來看，如圖2所示：28%的受訪者表示，大模型是論文發(fā)表過程中的有用工具，尤其是在系統(tǒng)地組織和撰寫文本上。此外，大約四分之一的受訪者表示，使用大模型后，研究人員能夠在文獻綜述、數(shù)據(jù)分析、稿件準備等研究項目的不同階段中節(jié)省更多時間。同時，這項調(diào)查還揭示了受訪者在學(xué)術(shù)研究中使用大模型時遇到的擔(dān)憂和挑戰(zhàn)：14%的受訪者表示對大模型存在不確定感或缺乏經(jīng)驗，還有8%的人存在道德?lián)鷳n，包括潛在的歧視、隱私泄露和剽竊問題。這表明，盡管大多數(shù)受訪者支持在學(xué)術(shù)論文中使用AI工具，但他們也不約而同地強調(diào)加強實施監(jiān)管措施的必要性。有趣的是，對于AI倫理，經(jīng)驗水平不同的研究人員之間存在差異。相比經(jīng)驗較少的參與者，擁有10年以上研究經(jīng)驗的參與者更有可能對AI工具有積極態(tài)度，并支持在監(jiān)管條件下使用。盡管這項調(diào)查近關(guān)注了醫(yī)學(xué)相關(guān)的研究，也缺少多次采樣從而獲得可能的因果關(guān)聯(lián)，但該研究的幾個發(fā)現(xiàn)卻值得關(guān)注。首先是學(xué)術(shù)研究中對大模型的使用，目前還只在「嘗鮮」的階段，隨著智能體的成熟，大模型的應(yīng)用將超越語法修改，文獻總結(jié)等方面，慢慢影響到更有批判性和創(chuàng)造性的研究階段。其次是該研究中發(fā)現(xiàn)大模型的應(yīng)用為研究人員節(jié)省了時間，但這些節(jié)省下的時間，能否抵消掉多出來的用于檢查LLM文本真實性的時間？參考資料：https://www.nature.com/articles/s41598-024-81370-6
