不敢用ChatGPT水論文了!OpenAI反作弊工具曝光,準確度高達99.9%

檢查內容是否用了ChatGPT,準確率高達99.9%!

這個工具,正是來自OpenAI。

它能專門用來檢測是否用ChatGPT水了論文/作業。早在2022年11月(ChatGPT發佈同月)就已經提出想法了。

但是!

這麼好用的東西,卻被內部雪藏了2年,現在都還沒對外公開。

爲啥?

OpenAI對忠實用戶做了調查,結果發現近三分之一的人都表示如果用了反作弊工具,他們就棄了ChatGPT。而且還可能對非英語母語的用戶影響更大。

但公司內部也有人提出,使用反作弊方法對OpenAI生態有好處。

雙方一直爭執不下,該水印檢測工具因此未發佈。

而除了OpenAI,如谷歌、蘋果也都準備了類似工具,有一些已開始內測,但都未正式上線。

ChatGPT沒發佈前已開始討論

ChatGPT大火後,不少高中生大學生都拿它來寫作業,所以如何甄別AI生成內容也成爲了圈內的熱議話題。

從最新曝光的信息來看,OpenAI早在ChatGPT發佈前就考慮到了這一問題。

當時開發這項技術的人是Scott Aaronson,他在OpenAI從事安全方面的工作,也是德克薩斯大學計算機科學教授。

2023年初,OpenAI聯合創始人之一John Schulman,在一份Google文檔中概述了該工具的優缺點。

隨後公司高管決定,在採取進一步行動之前,他們將徵求一系列人士的意見。

2023年4月,OpenAI的一項委託調查顯示,全球範圍內僅有1/4的人支持增加檢測工具。

同月,OpenAI又對ChatGPT用戶進行了調查。

結果顯示,有近30%的用戶表示,如果ChatGPT部署了水印,他們會減少使用ChatGPT。

此後,圍繞這項工具的技術成熟度以及用戶喜好的爭議一直不斷。

今年6月初,OpenAI召集了高級員工和研究人員再次討論該項目。

據稱最後大家一致認爲,雖然技術上已經成熟了,但去年的ChatGPT用戶調查結果還是無法忽視。

內部文件顯示,OpenAI認爲他們需要在今年秋天之前制定一項計劃,以影響公衆對人工智能透明度的看法。

不過直到目前消息曝出,OpenAI仍未透露出相關對策。

爲啥不公開?

總結OpenAI遲遲不公開這項技術的原因,主要有兩方面:一是技術,二是用戶偏好。

先說技術,早在2023年1月,OpenAI就開發了一種甄別多個AI模型(包括ChatGPT)文本的技術。

這項技術利用了一種類似“水印”的方法,把看不見的標記嵌入文本中。

這樣,當有人用檢測工具分析文本時,檢測器可以提供一個分數,表示文本由ChatGPT生成的可能性有多大。

不過當時成功率只有26%,僅過了7個月,OpenAI就撤回了。

後來OpenAI逐漸將技術的成功率提到了99.9%,從技術上講,該項目大約一年前就已經可以發佈。

然而,圍繞技術的另一個爭議是,內部員工認爲該技術可能會損害ChatGPT寫作質量。

同時,員工們還提出了一些關於“人們可能規避水印”的潛在風險。

比如大學生都會的“翻譯術”,將文本翻譯成另一種語言,然後通過類似谷歌翻譯的方式再次翻譯回來,從而有可能被擦除。

再比如有人搞個“上有政策下有對策”,一旦公開使用水印工具的人多了,網友們指定分分鐘搞出破解版。

除了技術,另一大阻礙因素就是用戶了,OpenAI的多項調查顯示,用戶們似乎並不看好這項技術。

這也不得不提到用戶們到底拿ChatGPT在幹啥?

這個問題可以參考《華盛頓郵報》的一項調研,他們從數據集WildChat中查看了近200,000個英語聊天記錄,這些對話由人類與兩個基於ChatGPT構建的機器人生成。

可以看出,人們主要用ChatGPT來寫作(21%)以及幫助完成家庭作業(18%)。

這樣看來,人們反對這項檢測技術好像也不難理解。

那麼,你同意在使用ChatGPT這類工具時增加水印嗎?