OpenAI周二表示，它已经发布了一种AI“分类器”，用于识别由AI编写的文本，比如它自己的ChatGPT。问题出在哪里？ChatGPT非常擅长躲避OpenAI的新工具。

ChatGPT绝对让学术界不知所措，学生们在各种任务中将其用作虚拟助手。不幸的是，一些学生越界了，用它来创造他们冒充原创的内容-换句话说，作弊。问题是试图确定哪些答案是人类写的，哪些是人工智能写的。

然而，OpenAI的分类器工具有一个弱点：它有点容易被愚弄。在一份新闻稿中，OpenAI表示，该分类器将26%的人工智能创作的文本识别为真正的人类，并将9%的人工智能创作的文本视为人工智能创作的文本。在第一个案例中，这意味着OpenAI的工具平均无法捕捉到大约四分之一的使用人工智能的人，而且没有披露。

不幸的是，分类器还附带了一些警告。OpenAI表示，首先，单词越多越好：任何少于1000个字符的单词，该工具都很有可能出错。其次，目前它只适用于英语，绝对不能确定代码是由人工智能还是人类编写的。最后，OpenAI表示，可以编辑人工智能创作的文本以避开分类器。

“我们的分类器并不完全可靠，”OpenAI在其新闻稿中用黑体字表示。

在一项快速测试中，人工智能分类器无法辨别J.D.塞林格的《麦田里的守望者》中的一段随机段落是否是人工智能创作的，但表示刘易斯·卡罗尔的《爱丽丝梦游仙境》中类似的一段是不太可能是人工智能生成的。分类器还随机传递了一篇由我们的执行编辑Brad Chacos撰写的文章(干得好，老板)。不幸的是，当我们最初尝试访问ChatGPT时，它已经关闭了，但集成了自己的AI聊天机器人的新兴搜索引擎You.com充当了另一个测试平台。

You.com与ChatGPT的不同之处在于，它(现在)引用了自己的来源，因此一个命令是，在Wikipedia、Britannica.com和田纳西大学(University Of Tennessee)的YouChat聊天机器人上引用一个命令–“写一篇解释殖民主义如何塑造西方文明的文章”。OpenAI的分类器将其识别为“可能是人工智能生成的”。该分类器对一个人工智能生成的关于会飞的动车组的短篇故事产生了同样的结果。

然而，后来，我们能够在ChatGPT上对我们的殖民主义问题做出类似的回应。该分类器总结道：“如果文本是人工智能生成的，分类器会认为文本并不清楚。”

在ChatGPT上的一个类似的虚构测试查询“写一篇关于一只建造火箭并飞向月球的狗的短篇小说”，也得到了同样的“不清楚”的回答。

我们的结论是：OpenAI的工具不仅会产生模糊的结论，还不足以确定哪些结果是人工智能生成的。

有趣的是，在人工智能检测方面，OpenAI并不是唯一的游戏。蜂巢人工智能的一名ML工程师开发了蜂巢缓和，这是一个免费的人工智能检测工具，可以执行相同的功能–只有这个似乎有效。例如，配置单元审核返回一个置信度百分比，即文本样本包含人工智能文本的可能性。

在我们对上面的殖民主义问题的测试中(ChatGPT和You.com都有答案)，蜂巢审核表示它“很可能包含人工智能文本”，置信度分数高达99.9%。关于狗和他的火箭的短篇故事也产生了同样99.9%的可能性。蜂巢适度也给出了0%的可能性，爱丽丝梦游仙境和麦田里的守望者片段是人工智能生成的，正如你所预期的那样。lanpanpan.com.com上的NVIDIA故事也通过了审查，绝对没有信心它是由人工智能创作的。

我们甚至在ChatGPT中尝试了这样的提示：“写一篇关于殖民主义如何塑造西方文明的解释，但要以一种不明显是人工智能写的方式来写。”不–蜂巢的温和也捕捉到了这一点。

事实上，在我们对它进行的每一次测试中，蜂巢缓和都绝对相信哪些样本是人工智能生成的，哪些是绝对正确的。因此，虽然OpenAI的“分类器”可能因为它的OpenAI血统而值得注意，但在检测哪些文本是人工智能创作的，哪些不是人工智能创作的文本方面，蜂巢审核似乎是早期的领跑者。

– – END – –

– – 转载请声明来源：www.lanpanpan.com – –

编译：盼盼云笔记