近日，南京大學(xué)歷史學(xué)院公布了“我用AI寫(xiě)歷史”論文競(jìng)賽的最終結(jié)果。這場(chǎng)發(fā)起于3個(gè)月前的實(shí)驗(yàn)性論文競(jìng)賽，吸引全國(guó)近900名本科生報(bào)名參與。比賽鼓勵(lì)學(xué)生充分使用AI輔助寫(xiě)作，但要求公開(kāi)全部操作痕跡。

作為一次大膽的實(shí)驗(yàn)，其結(jié)果如何？“我們并不覺(jué)得應(yīng)該有下一次比賽。”競(jìng)賽發(fā)起人、南大歷史學(xué)院副院長(zhǎng)王濤教授告訴記者，本次比賽已經(jīng)證明了一個(gè)令人不安的事實(shí)——即便是在如此倉(cāng)促的前提下，本科生借助AI也能提交一份像模像樣的學(xué)術(shù)論文。這讓他認(rèn)為，傳統(tǒng)意義上的課程論文，正在失去作為成果檢驗(yàn)工具的效力。

【資料圖】

有人有上百頁(yè)對(duì)話記錄，有人“一鍵出稿”

作為一項(xiàng)實(shí)驗(yàn)性賽事，“全程留痕”是競(jìng)賽的核心設(shè)計(jì)。參賽者需在南京大學(xué)自主研發(fā)的“數(shù)智文獻(xiàn)處理平臺(tái)”上完成創(chuàng)作，所有文獻(xiàn)處理、檢索、提問(wèn)與回答等操作軌跡均被自動(dòng)記錄。

然而，參賽者在留痕上的投入程度差異明顯。王濤透露，有的同學(xué)提交的交互證據(jù)僅有寥寥數(shù)頁(yè)，屬于“一鍵出稿+少量修改”模式；也有同學(xué)提交了上百頁(yè)的與AI對(duì)話記錄，而最終成文僅十余頁(yè)，每一輪提問(wèn)、史料核對(duì)、論證修正都留下了清晰的迭代痕跡。“這部分同學(xué)的寫(xiě)作過(guò)程相當(dāng)用心，真正把AI當(dāng)成了協(xié)作者，而不是代筆者。”王濤說(shuō)。

關(guān)于賽前普遍擔(dān)憂的“AI幻覺(jué)”問(wèn)題，主辦方通過(guò)推薦使用指定的數(shù)智文獻(xiàn)平臺(tái)，“鎖死”了材料來(lái)源，從技術(shù)層面最大程度降低了幻覺(jué)風(fēng)險(xiǎn)。但仍有部分同學(xué)選擇使用其他AI工具，且未對(duì)生成內(nèi)容進(jìn)行有效核實(shí)，提交的論文存在明顯的史實(shí)錯(cuò)誤和文獻(xiàn)虛構(gòu)問(wèn)題。“工具本身不是問(wèn)題，問(wèn)題在于使用者是否具備歷史學(xué)的基本素養(yǎng)和求證意識(shí)。”王濤表示。

提問(wèn)記錄難解“原創(chuàng)性”追問(wèn)，人機(jī)評(píng)分差異大

本次競(jìng)賽最受矚目的創(chuàng)新，在于評(píng)審環(huán)節(jié)引入了“人機(jī)雙軌制”，50多位人類(lèi)專(zhuān)家與一套AI評(píng)分系統(tǒng)各自獨(dú)立打分，再取均值形成最終榜單。

然而，評(píng)審過(guò)程暴露出的問(wèn)題，遠(yuǎn)比預(yù)想中復(fù)雜。

首先，“全程留痕”并未真正降低評(píng)審難度。 根據(jù)賽制，專(zhuān)家在評(píng)閱論文時(shí)需同時(shí)查看學(xué)生的提問(wèn)記錄與AI回答。但多位專(zhuān)家反饋，這一設(shè)計(jì)“增加了評(píng)審難度”——如何判斷學(xué)生在整個(gè)過(guò)程中到底做了多少智力貢獻(xiàn)？提問(wèn)的質(zhì)量能否等價(jià)于思考的深度？這些問(wèn)題至今沒(méi)有答案。王濤坦言：“如何判斷學(xué)生在AI輔助下的真實(shí)工作量，或許將成為AI時(shí)代論文評(píng)審的核心困境。”

其次，AI評(píng)委比人類(lèi)專(zhuān)家更為寬松，兩者評(píng)分標(biāo)準(zhǔn)存在系統(tǒng)性偏差。

數(shù)據(jù)顯示，AI評(píng)委給出的中位分為86分，而人類(lèi)專(zhuān)家的中位分僅為80分；最高分同樣出自AI之手。

進(jìn)一步統(tǒng)計(jì)顯示，專(zhuān)家均分與AI評(píng)分的相關(guān)系數(shù)較低，說(shuō)明兩者對(duì)“好論文”的認(rèn)知框架存在顯著差異。

這種差異直接體現(xiàn)在具體的評(píng)審結(jié)果上，有爭(zhēng)議的論文大量存在。此次特別增設(shè)的“最具爭(zhēng)議獎(jiǎng)”頒給了兩篇分差最大的作品：《簡(jiǎn)要分析西漢翔鷺紋銅鼓紋飾反映的民俗文化》（專(zhuān)家高分 vs AI低分），以及《論明征安南之戰(zhàn)中明軍火器戰(zhàn)術(shù)的應(yīng)用》（專(zhuān)家低分 vs AI高分）。王濤認(rèn)為，這跟論文風(fēng)格沒(méi)有關(guān)系，還在于行文邏輯和論證過(guò)程，“我們甚至推測(cè)，AI評(píng)審更側(cè)重于形式規(guī)范，如結(jié)構(gòu)、引用等，而專(zhuān)家看重歷史思維和問(wèn)題意識(shí)，這成為爭(zhēng)議的焦點(diǎn)。”

值得注意的是，人類(lèi)專(zhuān)家內(nèi)部也并非意見(jiàn)統(tǒng)一。據(jù)統(tǒng)計(jì)，專(zhuān)家內(nèi)部分差大于20分的論文達(dá)38篇，占總數(shù)的18%。這表明，即使在純?nèi)斯ぴu(píng)審時(shí)代，學(xué)術(shù)評(píng)價(jià)的主觀性也遠(yuǎn)未被充分討論。人機(jī)分歧，某種程度上只是將這一固有矛盾推向了前臺(tái)。

歷史學(xué)本科教育或需重新定義“何為成果”

王濤解釋?zhuān)敬胃?jìng)賽的目的并非打造一個(gè)更完美的“人機(jī)協(xié)作大賽”，而是通過(guò)實(shí)驗(yàn)揭示一個(gè)已到來(lái)的事實(shí)：在一個(gè)僅持續(xù)數(shù)月、多數(shù)參賽者倉(cāng)促上陣的競(jìng)賽中，已涌現(xiàn)出相當(dāng)數(shù)量“像模像樣”的學(xué)術(shù)論文。如果AI能在如此短的時(shí)間內(nèi)輔助本科生完成達(dá)到發(fā)表水準(zhǔn)的文本，那么傳統(tǒng)意義上以課程論文為終端的考核方式，其檢驗(yàn)學(xué)生學(xué)術(shù)能力的效力正面臨根本性質(zhì)疑。

“如果技術(shù)再進(jìn)步十年，”王濤說(shuō)，“歷史學(xué)本科教育中絕對(duì)不能被AI替代的部分，不是史料檢索、文獻(xiàn)綜述，甚至不是初稿撰寫(xiě)，而是提出真正問(wèn)題的能力、對(duì)史料進(jìn)行批判性質(zhì)疑的直覺(jué)，以及將碎片納入宏大敘事的歷史想象力。這些東西，AI可以模仿，但無(wú)法‘擁有’。”

據(jù)了解，本次競(jìng)賽的所有數(shù)據(jù)、論文與評(píng)審記錄將全部開(kāi)源，供全國(guó)高校文科教育工作者參考。主辦方將于近期召開(kāi)專(zhuān)題研討會(huì)，以這場(chǎng)實(shí)驗(yàn)為起點(diǎn)，推動(dòng)關(guān)于“AI時(shí)代歷史學(xué)本科教育何為”的進(jìn)一步討論。

揚(yáng)子晚報(bào)/紫牛新聞?dòng)浾?楊甜子

校對(duì) 朱亞萍