“幫手”還是“幫兇”生成式AI學術(shù)使用亟須關(guān)注|今日視點

2024-08-07 17:26:26 來源: 科技日報 作者: 劉霞


圖片來源:《自然》網(wǎng)站

科技日報記者 劉霞

生成式人工智能(AI)工具快速普及,在學術(shù)寫作領(lǐng)域呈現(xiàn)爆炸式應(yīng)用勢頭。使用基于大語言模型(LLM)的生成式AI工具能節(jié)省時間,減少語言障礙,讓論文更加明白通暢。但這些工具的應(yīng)用也讓剽竊問題變得更復(fù)雜。

英國《自然》網(wǎng)站在近日的報道中指出,對利用AI寫作是否構(gòu)成剽竊,以及在什么情況下允許利用AI進行寫作,科研界應(yīng)充分探討并制定更明確的學術(shù)寫作AI使用指南。

AI學術(shù)寫作應(yīng)用增多

德國蒂賓根大學數(shù)據(jù)科學家德米特里·科巴克領(lǐng)導的團隊,分析了學術(shù)數(shù)據(jù)庫PubMed中2010年至2024年6月期間發(fā)表的1400萬篇論文摘要。他們估計,2024年上半年,至少有10%的生物醫(yī)學論文摘要(約7.5萬篇)使用了LLM進行寫作,以LLM為基礎(chǔ)的寫作“助理”的出現(xiàn),對學術(shù)界產(chǎn)生了前所未有的影響。

同時,有些人認為,AI工具是學術(shù)寫作的“好幫手”。它們可使文本和概念更清晰,減少語言障礙,使科學家能騰出更多時間進行實驗和思考。

剽竊行為很難揪出

2015年的一項研究估計,1.7%的科學家承認有剽竊行為,30%的科學家認識有剽竊行為的同事。

LLM經(jīng)過訓練,可通過“消化”大量以前發(fā)表的文章來生成文本。因此,使用它們可能會導致類似剽竊的情況。例如,研究人員將AI生成的論文冒充自己撰寫的論文;或者機器生成的論文與某人的論文非常接近,但沒有注明來源等等。英國普利茅斯大學生態(tài)學家皮特·科頓指出,在AI時代,定義學術(shù)不誠信或剽竊,以及合理使用AI的邊界,將變得非常困難。

如果LLM稍微修改一下措辭,那么其剽竊人類撰寫文本內(nèi)容的情況很容易被掩蓋。因為人們可給出提示,讓這些AI工具以復(fù)雜的方式(如以某個學術(shù)期刊的風格)撰寫論文。在2023年對1600名研究人員開展的一項調(diào)查中,68%的受訪者表示,AI將使剽竊更難被發(fā)現(xiàn)。

另外一個核心問題是,使用完全由機器而非人類編寫的未署名內(nèi)容是否算剽竊。德國柏林應(yīng)用科學大學專家黛博拉·韋伯·沃爾夫表示,盡管有的生成式AI生成的文本看起來與人類書寫的內(nèi)容相差無幾,但不能被視為剽竊。

使用界限急需制定

美國馬里蘭大學可靠人工智能實驗室主任索海爾·菲茲副教授認為,使用LLM改寫現(xiàn)有論文的內(nèi)容顯然構(gòu)成抄襲。但使用LLM來幫助表達想法,無論是根據(jù)詳細的提示生成文本,還是編輯草稿,如果透明地完成,都不應(yīng)該受到懲罰??茖W界應(yīng)該允許研究人員利用LLM,來輕松、清晰地表達他們的想法。

許多期刊現(xiàn)在都制定了相關(guān)政策,允許投稿者在一定程度上使用LLM?!犊茖W》雜志于2023年11月更新了其政策,稱作者應(yīng)該全部披露其在撰寫論文過程中的AI技術(shù)使用情況,包括使用了哪些AI系統(tǒng),提示詞有哪些等。《自然》雜志也表示,作者應(yīng)該記錄LLM的使用情況。

一項對100家大型學術(shù)出版商和100家排名靠前的期刊開展的分析發(fā)現(xiàn),截至2023年10月,24%的出版商和87%的期刊都制定了使用生成式AI的指導方針。幾乎所有這些期刊都聲明,AI工具不能被列為作者。

沃爾夫強調(diào),科學家迫切需要更明確的學術(shù)寫作AI使用指南。

檢測工具亟待提升

在一部分科學家利用LLM撰寫學術(shù)論文的同時,也有另一部分科學家正在開發(fā)旨在檢測LLM使用情況的工具。盡管一些工具的準確率較高,在某些情況下超過90%,但研究表明,大多數(shù)工具“名不副實”。在去年12月發(fā)表的一項研究中,沃爾夫及其同事評估了學術(shù)界廣泛使用的14種AI檢測工具。結(jié)果顯示,只有5款工具的準確率高于70%,沒有一款工具的得分超過80%。

當研究團隊通過替換同義詞及重排句子順序,對AI生成的文本進行微調(diào)后,檢測工具的準確率下降到平均不足50%。如果研究人員讓AI多次改寫由人類撰寫的文本,檢測工具的準確率也會大大降低。

AI檢測工具還面臨其他問題,比如非英語母語者用英語寫作,更有可能被誤認為由AI生成。菲茲指出,AI檢測工具無法可靠地區(qū)分完全由AI編寫的文本和作者使用AI潤色文本的情況。被錯誤地指控濫用AI,可能會對這些學者或?qū)W生的聲譽造成相當大的損害。

責任編輯: 左常睿