用魔法打敗魔法：抓住AI槍手，ChatGPT檢測器“千呼萬喚始出來”
加入技術(shù)交流群
OpenAI的聊天機器人ChatGPT自從發(fā)布以來，正變得越來越強大，從接受普通網(wǎng)友的“調(diào)戲”，到“低空飛過”明尼蘇達大學法學院和沃頓商學院的課程考試，甚至通過了醫(yī)學考試，以至于開始成為學校老師的“公敵”。如果不加以限制，ChatGPT將會變成史上最強大的作弊工具——幫助學生們寫作業(yè)，甚至是完成考試論文。
正如我們之前所說的，越來越多的學校和老師已經(jīng)表達了對ChatGPT作弊能力的擔憂。紐約市和西雅圖的公立學校已經(jīng)禁止學生和教師在學區(qū)的網(wǎng)絡(luò)和設(shè)備上使用ChatGPT。
但是，靠著老師和學校的盯梢，想要讓學生們避開ChatGPT的誘惑，幾乎是不可能的事。所以，打開了潘多拉盒子的OpenAI，只好自己出馬，用魔法來打敗魔法。
| 用魔法打敗魔法
今天，OpenAI官宣推出一個新工具，立馬又上了頭條：一個名為AI Text Classifier 的文件檢測器，來幫助人們檢測一段文本是由人類自己創(chuàng)作，還是由AI編寫的。
不過有點戲劇性的是，這個檢測器也同樣是基于GPT模型。根據(jù)OpenAI的介紹，這個AI文本分類器是一個經(jīng)過微調(diào)的GPT模型，可以檢測一段文本是否是來自于市面上的各種AI工具， 包括但不限于ChatGPT。
該工具包含一個文本框，用戶可以在其中輸入至少 1000 個字符長的文本，點擊提交后，每個文檔會被判斷為“非常不可能”、“不太可能”、“不清楚是否是”、“可能是”AI生成的。
根據(jù)OpenAI的說明，這個檢測器也有不少限制，包括：
? 至少需要 1,000 個字符，即大約 150 - 250 個單詞。
? 結(jié)果也并不能保證完全準確；它可能會錯誤標記 AI 生成的文本和人工編寫的文本。
? 人類用戶可以簡單編輯 AI 生成的文本，以避開檢測。
? 檢測器有可能會錯判兒童寫的文本和非英語文本上，因為它主要是針對成人書寫的英語內(nèi)容進行訓練的。
那到底ChatGPT和ChatGPT檢測器，誰厲害？硅星人進行了測試。
我們先要求 ChatGPT 寫一篇超過1200字的關(guān)于無人駕駛汽車的文章，然后全文輸入檢測器，檢測器很準確地識別出來，將其判斷為“可能由 AI 生成”。
在硅星人的小樣本量測試上，這個檢測器雖然有一定程度的準確性，但是要迷惑它，對于狡猾的人類來說，簡直是輕而易舉。
OpenAI 顯然也意識到了這個工具的局限性，因為它在博客里強調(diào)，不要僅僅憑借這個檢測器來確定內(nèi)容的真實性，“在確定文檔是否由 AI 生成時，檢測結(jié)果可能會有所幫助，但不應(yīng)成為唯一的證據(jù)。”
OpenAI在這個檢測器里，使用了來自多個來源的 AI 生成的文本樣本和人工編寫的樣本來訓練模型。
AI 生成的文本樣本方面，他們使用了包括 OpenAI在內(nèi)的 5 個不同機構(gòu)開發(fā)的 34 個模型生成的文本來進行訓練。而人工編寫的文本有三個來源，包括一個新的維基百科數(shù)據(jù)集、2019 年收集的WebText 數(shù)據(jù)集，以及訓練InstructGPT時收集的部分數(shù)據(jù)。
OpenAI也對檢測器在進行測試時的準確性進行了詳細說明：
-大約 5% 的人工撰寫的文本和 2% 的人工智能生成的文本，被判定為“非常不可能由 AI 生成”；-大約 15% 的人工編寫文本和 10% 的人工智能生成的文本，被歸為“不太可能是 AI 生成”；-大約 50% 的人工編寫的文本和 34% 的人工智能生成的文本，被歸為“不清楚是不是AI生成”；-大約 -21% 的人工編寫的文本和 28% 的人工智能生成的文本被歸為“可能是 AI 生成”；-大約 9% 的人工編寫的文本和 26% 的人工智能生成的文本，被歸為“可能由 AI 生成”。
可以看出來，想要靠這個檢測器全部抓住AI槍手，可能真的有些困難了。
| 檢測器成為剛需
正如前文所說的，ChatGPT在學校里已經(jīng)如野火一般蔓延開來。一款簡單易用的檢測器成為老師們翹首以盼的東西。
早在OpenAI推出自己的檢測器之前，一位年僅22歲的普林斯頓大學的學生Edward Tian，就自行開發(fā)了一款檢測器——GPTZero。
同樣的，用戶只需將文本復制并粘貼到GPTZero中。檢測器會從文本的復雜性、創(chuàng)造性和變化性幾個方面來進行評估。然后，GPTZero 會給出一個分數(shù)，并最終得出一個結(jié)果：該文本是由 ChatGPT 生成的，還是由人類撰寫的。Edward Tian 主修計算機科學，輔修新聞學，他利用寒假的一部分時間創(chuàng)建了 GPTZero，可以“快速有效地”破譯一篇文章是人類還是 ChatGPT 撰寫的。他在Twitter上稱，創(chuàng)建該機器人的動機是為了對抗他認為越來越多的 AI 剽竊行為。
為了確定文章是否由機器人編寫，GPTZero 使用兩個指標：“困惑度（Perplexity）”和“突發(fā)性（Burstiness）”。
一個指標是用困惑度衡量文本的復雜性。如果 GPTZero 對文本感到困惑，那么該文本具有很高的復雜性并且更有可能是人工編寫的。然而，如果文本對機器人來說更熟悉——因為它已經(jīng)接受過此類數(shù)據(jù)的訓練——那么它的復雜性就會很低，因此更有可能是由 AI 生成的。
另外一個指標是用突發(fā)性比較句子的變化。人類傾向于以更大的突發(fā)性寫作，例如會綜合使用一些較長或復雜的句子與較短的句子，而AI 的句子往往更統(tǒng)一。
1 月 3 日，該網(wǎng)站上線，一周內(nèi)立馬就有超過 3萬 人試用，以至于程序都崩潰了，更有超過 700 萬人在 Twitter 上觀看了演示視頻。老師們也馬上注意到這款工具，紛紛聯(lián)系他。現(xiàn)在，他正在開發(fā)一款專為教育工作者設(shè)計的工具，已經(jīng)有3.3萬名教師加入了這款還未開發(fā)完成的工具的等待名單（waitlist）。當然，Edward Tian 也承認，他的檢測也并非百分之百準確，一些用戶也報告了 GPTZero 檢測的錯誤結(jié)果，不過他說他仍在努力提高模型的準確性。
開源 AI 社區(qū)Hugging Face 也推出了一種工具來檢測文本是否由 GPT-2 創(chuàng)建。GPT-2 是用于開發(fā) ChatGPT 的 AI 模型的早期版本。南卡羅來納州的一位哲學教授用這個工具抓獲了一名提交了 AI 編寫的作業(yè)的學生。OpenAI 自己也已表示將致力于從源頭上提高AI生成文本的透明性。此前，OpenAI 專注于 AI 安全的研究員 Scott Aaronson 透露，他們已經(jīng)在研究怎么用“不易察覺的秘密信號”，為 GPT 生成的文本“加水印”，以讓人們識別其來源。
另外，根據(jù)新聞網(wǎng)站Neowin的消息，包括斯坦福大學在內(nèi)的一些機構(gòu)，聯(lián)合提出一種名為DetectGPT的新方法，來區(qū)分AI生成的文章。
在相關(guān)網(wǎng)站上，該綜述稱，DetectGPT 的這種方法不需要訓練單獨的分類器、收集真實或生成的段落的數(shù)據(jù)集，或顯式地為生成的文本加水印，就可以大檢測一段文本是否為機器編寫。
如果該綜述為真，那很有可能人類終于可以再次抓住AI的小辮子，把主動權(quán)重新掌握在自己手中。
圖片來源：https://ericmitchell.ai/detectgpt/| ChatGPT再進化
另外值得一提的是，道高一尺，魔高一丈。雖然不少機構(gòu)和開發(fā)者開始推出“AI檢測器”，但是與此同時，OpenAI也在繼續(xù)推動ChatGPT的再進化，進一步補全ChatGPT的短板——數(shù)學。
本周，OpenAI推出了新版本的ChatGPT，表示經(jīng)過更新，已經(jīng)提升了準確性和真實性，以及數(shù)學能力，預(yù)計 ChatGPT 的最新更新將使其能夠處理復雜的計算并提供更精確的答案。
此前，ChatGPT的數(shù)學飽受詬病，很多基礎(chǔ)數(shù)學問題都會犯錯，尤其是在犯了知名的“老婆說的都是對的”錯誤后，更是受到了全網(wǎng)群嘲。
在上一個版本中，有網(wǎng)友問它2+5等于幾，一開始ChatGPT給出了正確的回答，但是在網(wǎng)友回復說“我老婆說是8”之后，ChatGPT飛快改口，說自己搞錯了。
圖片來源：Twitter
新版本發(fā)布后，至少這一點得到了糾正。
不過，新版本仍舊有不少錯誤。有記者問ChatGPT，奧尼爾和姚明誰更高，盡管給出了這兩個人的正確身高，ChatGPT仍然會出錯。有趣的是，這次在指出它的錯誤后，它會自行改正。
可能一個明顯的進步在于，ChatGPT 已經(jīng)能夠通過 SAT 的部分數(shù)學試題，而且一如既往地，回答神速：
看著它驚人的進化速度，究竟ChatGPT和它的檢測器們，誰能跑的更快呢？
如果想要自己親手試一試，或者了解檢測器的更多信息，可以查看這里：https://platform.openai.com/ai-text-classifier
注：封面圖來自于Pixabay，版權(quán)屬于原作者。如果不同意使用，請盡快聯(lián)系我們，我們會立即刪除。
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
