AI 檢測器有譜了，新算法實現 99% 的準確率。

此前，曾有不少人研發 ChatGPT 檢測器，但沒有一個能夠真正有效鑒別。

來自堪薩斯大學的研究人員介紹了一種全新的算法，能夠檢測是否用 ChatGPT 作弊，準確率超 99% 。

最新研究已在 6 月 7 日，發表在 Cell Reports Physical Science 期刊上。

該論文的作者之一、堪薩斯大學化學教授 Heather Desaire 表示，

「我們努力創建一種易于使用的方法，這樣，即便是高中生，只需很少的指導，也可以為不同類型的寫作構建一個人工智能檢測器。」

四大特征，99% 識別率

就像研究者所稱，90% 準確性往往是不夠的。但要獲得更高準確性，取舍往往是普遍性。

這項研究中，研究人員選取了人類作者撰寫的 64 篇「科學」雜志上的研究文章，涵蓋從生物學到物理學的各個學科。

然后，將這些數據喂給 ChatGPT，并用這些數據生成了一個 128 篇人工智能文章的數據集。

這組訓練數據，包含 1276 段聊天機器人示例段落。

研究者利用這些數據構建了 ChatGPT 檢測算法。

在模型完全開發和優化后，他們還生成了兩個測試集。每個測試集有 30 篇真實文章和 60 篇 ChatGPT 撰寫的文章（總計 1210 段）組成了一個新的數據集，來測試最新算法。

實驗結果顯示，最新算法能夠 100% 檢測到 ChatGPT 寫的整篇文章。

在段落層面上，其準確性較低，但仍令人印象深刻：該算法發現了 92% 的由人工智能生成的段落。

值得一提的是，論文稱，從一些細節中就能發現，哪些內容是 ChatGPT 創作的。

通過對訓練集中許多示例的手動比較，研究者確定了 4 類特征。這些特征有助于區分人類寫作和聊天機器人。

（1）段落復雜性，（2）句子長度多樣性，（3）標點符號，以及（4）流行詞或數字

總的來說，人類作家寫的段落更長、使用詞匯量更大，包含更多的標點符號。

而且，還傾向于用「然而」、「但是」和「盡管」這樣的詞來修飾他們的陳述。而 ChatGPT 在引用數字，提及其他科學家方面沒有那么具體。

在如下表分類中，人類擅長的內容要比 ChatGPT 多得多。

在這四類特征中，有兩類（1 和 3）是 ChatGPT 產生的內容不如人類復雜的方式。最大的區別特征是每段句子的數量和每段總單詞的數量。

在這兩種情況下，ChatGPT 的平均值都明顯低于人類。

研究者還發現，人類更喜歡改變句子結構。人類改變句子長度的次數超過 ChatGPT。人類也更頻繁地使用較長的句子（35 個單詞或更多）和較短的句子（10 個單詞或更少）。

剩下的兩類區分特征可以更多地描述為「文體」選擇。

一方面，人類科學家更頻繁地使用問號、破折號、括號、分號和冒號，而 ChatGPT 使用更多的單引號。

人類還使用更多的專有名詞和 / 或首字母縮略詞，還有數字。

這個由 Desaire 公司建立的這個模型，對于那些希望懲罰作弊的高中生的老師來說，是行不通的。

該算法是為學術寫作而建立的，特別是人們在科學期刊上讀到的那種學術寫作。

這家公司表示，理論上你可以使用同樣的技術來建立一個模型，來檢測其他類型的寫作。

不過，不得不考慮的一個事實是，一個人可以很容易地對一個聊天機器人的寫作進行一些小調整，并讓其更難被發現是作弊，事情就更復雜了。

當你考慮到這樣一個事實，一個作者可以很容易地對一個聊天機器人的寫作進行一些小的調整，并使它更難被發現時，事情就崩潰了。

盡管如此，研究人員將這項研究描述為「概念證明」，并表示未來可以開發一個更加穩定，準確的工具與更大的數據集。

如果人工智能繼續以極快速度發展下去，誰也無法保證這樣的檢測方法，能否依然有效。

因為大型語言模型越接近復制人類語言文字的能力，識別機器人語言的痕跡就越困難。

AI 檢測為何如此困難

自 ChatGPT 面世以來，已經被許多高校的學生和老師用在日常的作業和教學中。

然而，如果不加以限制，ChatGPT 將會變成史上最強大的作弊工具，可以幫助學生們寫作業，甚至是完成考試論文。

為了反偵察，一款簡單易用的檢測器成為老師期盼的東西。一位 22 歲普林斯頓大學的學生 Edward Tian，就自行開發了一款檢測器 ——GPTZero。

甚至，OpenAI 官宣推出一個新工具，名為 AI Text Classifier 的文件檢測器。

但是，這些檢測器的表現并不如人意。

檢測出 AI 創作的內容聽起來很簡單。但當給你一封手寫郵件和 ChatGPT 生成的郵件后，我們幾乎無法辨別。

Turnitin 的人工智能副總裁 Eric Wang 稱，用軟件檢測人工智能寫作涉及統計學。從統計學的角度來看，人工智能與人類的區別在于它極其穩定地處于平均水平。

直白點講，AI 水平很穩定。然而，實際上并非這樣一個道理。

「像 ChatGPT 這樣的系統就像是自動補全的高級版本，尋找下一個最可能要寫的單詞。這實際上就是它為什么讀起來如此自然的原因。AI 寫作是人類寫作中最可能的子集。」

參考資料：

• http://today.ku.edu/2023/05/19/digital-tool-spots-academic-text-spawned-chatgpt-99-percent-accuracy

• https://gizmodo.com/chatgpt-detector-ai-kansas-research-paper-99-accuracy-1850519081

本文來自微信公眾號：新智元 （ID：AI_era）

廣告聲明：本文含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考。所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的ChatGPT 作弊难逃，99% 命中检测，堪萨斯大学全新算法，研究登 Cell 子刊的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。