新智元報(bào)道
編輯：peter東 喬楊【新智元導(dǎo)讀】Nature子刊近日發(fā)布了一項(xiàng)研究，針對(duì)學(xué)術(shù)寫作中大模型的使用。他們發(fā)現(xiàn)，那些了解LLM以及大模型相關(guān)技術(shù)的受訪者有更多的發(fā)表文章數(shù)量。都說(shuō)大模型被廣泛應(yīng)用于學(xué)術(shù)研究的文獻(xiàn)回顧、摘要篩選和稿件撰寫等方面，然而具體多少人在使用、如何使用，卻缺少定量的調(diào)查研究。為此，研究人員進(jìn)行了一項(xiàng)調(diào)查，識(shí)別受訪者們?cè)趯W(xué)術(shù)研究和發(fā)表中使用大模型的情況。以評(píng)估全球研究人員對(duì)大模型的認(rèn)知水平。
論文地址：https://www.nature.com/articles/s41598-024-81370-6這項(xiàng)調(diào)查的參與者包括來(lái)自59個(gè)國(guó)家、65個(gè)專業(yè)的總計(jì)226名醫(yī)學(xué)相關(guān)研究者，他們?cè)?020年至2024年間接受了哈佛醫(yī)學(xué)院全球臨床學(xué)者研究培訓(xùn)證書計(jì)劃的培訓(xùn)。研究人員如何使用大模型
在226名調(diào)查者中，198人（87.6%）表示之前知道大模型，其中對(duì)大模型有「一定程度」和「較深程度」了解的比例分別是33.3%和30.8%。值得注意的是：相比不知道大模型的受訪者，知道大模型的人發(fā)表的論文數(shù)更多，這一發(fā)現(xiàn)與先前的研究結(jié)果一致。去年4月，斯坦福大學(xué)等機(jī)構(gòu)發(fā)表的一篇論文稱，對(duì)大模型的熟悉程度和使用，與學(xué)術(shù)作者在預(yù)印本和出版物上的出率上存在正相關(guān)，這可能是緣于大模型領(lǐng)域研究的快節(jié)奏迭代，以及使用大模型進(jìn)行寫作輔助的原因。
論文地址：https://arxiv.org/abs/2404.01268v1在這些知曉大模型的受訪者中，之前使用過(guò)大模型的只有18.7%，他們主要用大模型來(lái)糾正語(yǔ)法和格式錯(cuò)誤（64.9%），第二高頻的使用方式是寫作（45.9%），最后是修訂和編輯（45.9%）。該研究中81.3%的受訪者表示，他們從未在研究項(xiàng)目或論文中使用大模型，有趣的是，這與去年9月發(fā)表的一篇論文的結(jié)論并不一致。
論文地址：https://www.europeanurology.com/article/S0302-2838(23)03211-6/abstract這篇較早的論文發(fā)現(xiàn)，近一半的受訪者表示在學(xué)術(shù)實(shí)踐中使用過(guò)LLM。盡管大模型在學(xué)術(shù)寫作的各個(gè)環(huán)節(jié)中被頻繁使用，但相當(dāng)比例的受訪者（約 40%）并不承認(rèn)他們?cè)诔霭嫖镏惺褂眠^(guò)它。研究人員隱瞞AI工具使用情況的原因有很多。首先，是研究人員對(duì)工具背后的技術(shù)缺乏信息或理解，其次，人們對(duì)使用AI工具依然抱有懷疑或負(fù)面的態(tài)度。出版商也可能會(huì)要求作者提交或包含一份聲明，說(shuō)明他們是否在寫作中使用了AI系統(tǒng)。對(duì)大模型未來(lái)影響的預(yù)期
除了當(dāng)前大模型的使用，這項(xiàng)調(diào)查還考察了受訪者如何看待大模型未來(lái)對(duì)各研究階段的影響。如下圖所示，從左到右按照學(xué)術(shù)研究的各階段，從觀點(diǎn)產(chǎn)生到文獻(xiàn)回顧，方法學(xué)涉及，數(shù)據(jù)分析，寫作，選擇期刊，修訂和編輯，校正語(yǔ)法錯(cuò)誤，設(shè)置參考文獻(xiàn)。
預(yù)期學(xué)術(shù)研究各階段受到大模型影響的比例大多數(shù)（52%）受訪者認(rèn)為大模型將產(chǎn)生重大的整體影響；分階段來(lái)看，有最多受訪者認(rèn)為將受到重大影響的語(yǔ)法錯(cuò)誤和格式（66.3%），其次是修訂&編輯（57.2%）和寫作（57.2%）。這些結(jié)果表明，在研究人員看來(lái)，大模型可以極大地提高上手速任務(wù)的效率和準(zhǔn)確性，從而促進(jìn)更快、更高品質(zhì)的學(xué)術(shù)產(chǎn)出。與之相對(duì)的是，有一些階段是被認(rèn)為不受影響，或僅受到有限程序影響的，包括方法論（74.3%）、期刊選擇（73.3%）和研究觀點(diǎn)（71.1%），這反映了人們?cè)趯?duì)AI在批判性評(píng)估、研究設(shè)計(jì)和期刊選擇上的擔(dān)憂和質(zhì)疑。當(dāng)談及大模型對(duì)學(xué)術(shù)界會(huì)帶來(lái)正面或負(fù)面影響時(shí)，大多數(shù)受訪者認(rèn)為它將帶來(lái)積極影響（50.8%），但相當(dāng)一部分人表示不確定（32.6%）。盡管大多數(shù)受訪者認(rèn)為期刊應(yīng)允許在出版中使用AI工具（58.1%），但絕大多數(shù)（78.3%）也認(rèn)為應(yīng)制定相應(yīng)的規(guī)定，例如修改期刊政策、增加檢測(cè)大模型使用的工具，以確保 AI 工具在科研中的有序使用。
圖2：受訪者認(rèn)為大模型在未來(lái)的主要挑戰(zhàn)和應(yīng)用范圍具體來(lái)看，如圖2所示：28%的受訪者表示，大模型是論文發(fā)表過(guò)程中的有用工具，尤其是在系統(tǒng)地組織和撰寫文本上。此外，大約四分之一的受訪者表示，使用大模型后，研究人員能夠在文獻(xiàn)綜述、數(shù)據(jù)分析、稿件準(zhǔn)備等研究項(xiàng)目的不同階段中節(jié)省更多時(shí)間。同時(shí)，這項(xiàng)調(diào)查還揭示了受訪者在學(xué)術(shù)研究中使用大模型時(shí)遇到的擔(dān)憂和挑戰(zhàn)：14%的受訪者表示對(duì)大模型存在不確定感或缺乏經(jīng)驗(yàn)，還有8%的人存在道德?lián)鷳n，包括潛在的歧視、隱私泄露和剽竊問(wèn)題。這表明，盡管大多數(shù)受訪者支持在學(xué)術(shù)論文中使用AI工具，但他們也不約而同地強(qiáng)調(diào)加強(qiáng)實(shí)施監(jiān)管措施的必要性。有趣的是，對(duì)于AI倫理，經(jīng)驗(yàn)水平不同的研究人員之間存在差異。相比經(jīng)驗(yàn)較少的參與者，擁有10年以上研究經(jīng)驗(yàn)的參與者更有可能對(duì)AI工具有積極態(tài)度，并支持在監(jiān)管條件下使用。盡管這項(xiàng)調(diào)查近關(guān)注了醫(yī)學(xué)相關(guān)的研究，也缺少多次采樣從而獲得可能的因果關(guān)聯(lián)，但該研究的幾個(gè)發(fā)現(xiàn)卻值得關(guān)注。首先是學(xué)術(shù)研究中對(duì)大模型的使用，目前還只在「嘗鮮」的階段，隨著智能體的成熟，大模型的應(yīng)用將超越語(yǔ)法修改，文獻(xiàn)總結(jié)等方面，慢慢影響到更有批判性和創(chuàng)造性的研究階段。其次是該研究中發(fā)現(xiàn)大模型的應(yīng)用為研究人員節(jié)省了時(shí)間，但這些節(jié)省下的時(shí)間，能否抵消掉多出來(lái)的用于檢查L(zhǎng)LM文本真實(shí)性的時(shí)間？參考資料：https://www.nature.com/articles/s41598-024-81370-6
