不敢用ChatGPT水論文了!OpenAI反作弊工具曝光,準確度高達99.9%
檢查內容是否用了ChatGPT,準確率高達99.9%!
這個工具,正是來自OpenAI。
它能專門用來檢測是否用ChatGPT水了論文/作業。早在2022年11月(ChatGPT發佈同月)就已經提出想法了。
但是!
這麼好用的東西,卻被內部雪藏了2年,現在都還沒對外公開。
爲啥?
OpenAI對忠實用戶做了調查,結果發現近三分之一的人都表示如果用了反作弊工具,他們就棄了ChatGPT。而且還可能對非英語母語的用戶影響更大。
但公司內部也有人提出,使用反作弊方法對OpenAI生態有好處。
雙方一直爭執不下,該水印檢測工具因此未發佈。
而除了OpenAI,如谷歌、蘋果也都準備了類似工具,有一些已開始內測,但都未正式上線。
ChatGPT沒發佈前已開始討論
ChatGPT大火後,不少高中生大學生都拿它來寫作業,所以如何甄別AI生成內容也成爲了圈內的熱議話題。
從最新曝光的信息來看,OpenAI早在ChatGPT發佈前就考慮到了這一問題。
當時開發這項技術的人是Scott Aaronson,他在OpenAI從事安全方面的工作,也是德克薩斯大學計算機科學教授。
2023年初,OpenAI聯合創始人之一John Schulman,在一份Google文檔中概述了該工具的優缺點。
隨後公司高管決定,在採取進一步行動之前,他們將徵求一系列人士的意見。
2023年4月,OpenAI的一項委託調查顯示,全球範圍內僅有1/4的人支持增加檢測工具。
同月,OpenAI又對ChatGPT用戶進行了調查。
結果顯示,有近30%的用戶表示,如果ChatGPT部署了水印,他們會減少使用ChatGPT。
此後,圍繞這項工具的技術成熟度以及用戶喜好的爭議一直不斷。
今年6月初,OpenAI召集了高級員工和研究人員再次討論該項目。
據稱最後大家一致認爲,雖然技術上已經成熟了,但去年的ChatGPT用戶調查結果還是無法忽視。
內部文件顯示,OpenAI認爲他們需要在今年秋天之前制定一項計劃,以影響公衆對人工智能透明度的看法。
不過直到目前消息曝出,OpenAI仍未透露出相關對策。
爲啥不公開?
總結OpenAI遲遲不公開這項技術的原因,主要有兩方面:一是技術,二是用戶偏好。
先說技術,早在2023年1月,OpenAI就開發了一種甄別多個AI模型(包括ChatGPT)文本的技術。
這項技術利用了一種類似“水印”的方法,把看不見的標記嵌入文本中。
這樣,當有人用檢測工具分析文本時,檢測器可以提供一個分數,表示文本由ChatGPT生成的可能性有多大。
不過當時成功率只有26%,僅過了7個月,OpenAI就撤回了。
後來OpenAI逐漸將技術的成功率提到了99.9%,從技術上講,該項目大約一年前就已經可以發佈。
然而,圍繞技術的另一個爭議是,內部員工認爲該技術可能會損害ChatGPT寫作質量。
同時,員工們還提出了一些關於“人們可能規避水印”的潛在風險。
比如大學生都會的“翻譯術”,將文本翻譯成另一種語言,然後通過類似谷歌翻譯的方式再次翻譯回來,從而有可能被擦除。
再比如有人搞個“上有政策下有對策”,一旦公開使用水印工具的人多了,網友們指定分分鐘搞出破解版。
除了技術,另一大阻礙因素就是用戶了,OpenAI的多項調查顯示,用戶們似乎並不看好這項技術。
這也不得不提到用戶們到底拿ChatGPT在幹啥?
這個問題可以參考《華盛頓郵報》的一項調研,他們從數據集WildChat中查看了近200,000個英語聊天記錄,這些對話由人類與兩個基於ChatGPT構建的機器人生成。
可以看出,人們主要用ChatGPT來寫作(21%)以及幫助完成家庭作業(18%)。
這樣看來,人們反對這項檢測技術好像也不難理解。
那麼,你同意在使用ChatGPT這類工具時增加水印嗎?