AI检测器有多准确？面向学生和教师的研究结论

AI检测器有多准确？

简而言之，在测试条件下，AI文本检测器在多数情况下可能是对的，但当学生的成绩或记录面临影响时，它们犯下的错误就至关重要。准确率在很大程度上取决于所用工具、文本长度、语言、AI文本是否经过编辑，以及工具采用的阈值。

最明确的早期警告来自ChatGPT的开发公司OpenAI。在其英文挑战数据集上，它于2023年1月推出的分类器正确地将26%的AI文本识别为“可能由AI撰写”，同时有9%的情况把人类撰写的文本误判为AI撰写^[1]。OpenAI自2023年7月20日起停用该工具，理由是“准确率低”^[1]。在目前面向教育工作者的帮助页面上，OpenAI对“AI检测器有用吗？”这一问题的回答是：“简而言之，根据我们的经验，没有用”^[2]。

独立研究对许多工具也得出了类似结论。2023年的一项研究考察了12款公开可用的工具和两个商业系统（Turnitin和PlagiarismCheck），结论是这些工具“既不准确也不可靠”，而且倾向于把文本判为人类撰写，而不是识别出AI文本^[4]。后来的研究结果则较为复杂：2025年9月的一篇工作论文发现，商业检测器的表现优于开源检测器，其中一款产品Pangram在其测试中的错误率接近于零^[10]。一项研究在一个数据集上得出的结果，并不能自动推广到每一间教室。

AI检测器是如何工作的？

大多数检测器都是分类器：经过训练、能把文本归入“人类”或“AI”类别并给出分数的软件。Turnitin用词语概率来解释这一原理。大语言模型（LLM）是ChatGPT等聊天机器人背后的系统，它们倾向于以“一致且高概率的方式”选择下一个词，而人类的写作则往往“不一致且带有个人特色”^[5]。其分类器经过训练，用于识别这些差异^[5]。

一个相关的指标是困惑度（perplexity），它大致描述一段文本对语言模型而言有多“出人意料”。困惑度低的文本是可预测的。梁（Liang）等人的研究表明，这一信号可能产生误导：非英语母语写作者的作文困惑度明显更低，这有助于解释检测器为何会标记它们^[3]。Turnitin则表示，其模型并未被明确设定为评估困惑度，而是从训练数据中学习统计模式^[5]。

检测器的分数意味着什么？

Turnitin为每个句子打出介于0和1之间的分数，将超过阈值的句子标记为AI，并把超过阈值的句子在所评估句子中所占的比例作为文档分数^[5]。它会跳过列表、标题、参考文献、表格、公式和代码，因此这个百分比不一定是整份提交内容中的占比^[5]。分数是基于概率的估计，而不是文本写作过程的记录。

水印有什么不同？

有所不同。水印是在文本生成过程中加入的一种隐藏的统计模式。Google DeepMind的SynthID-Text只改变采样步骤，无需运行原始模型即可检测；一次实际部署实验覆盖了近2000万条Gemini回答^[12]。其作者表示，水印并不是完整的解决方案：只有生成文本的公司采用水印时它才有效，开源模型难以覆盖，而且水印可能因改写而减弱，也可能遭到窃取、伪造和擦除等攻击^[12]。

关于误报和偏差，研究怎么说？

误报（假阳性）是指人类写的文本被错误地标记为AI生成。在教育领域，这是更严重的错误，因为它可能导致诚实的学生遭到指控。漏报（假阴性）则是指AI文本被当作人类写作蒙混过关。

非英语母语写作者

在梁等人的一项研究中，七款广泛使用的检测器接受了测试，测试材料为来自一个中国教育论坛的91篇人类撰写的TOEFL作文，以及88篇美国八年级学生的作文^[3]。检测器对美国学生作文的判断近乎完美，却把一半以上的TOEFL作文误判为AI生成，平均误报率为61.22%^[3]。七款检测器全都标记了91篇TOEFL作文中的18篇（19.78%），而91篇中有89篇（97.80%）至少被一款检测器标记^[3]。当用ChatGPT丰富这些作文的词汇后，平均误报率降至11.77%^[3]。而让ChatGPT把美国学生的作文简化得“像是非母语者写的”，误报率则从5.19%升至56.65%^[3]。

Turnitin并未参与那项研究，它对该结果是否适用于自己的产品提出异议。它指出，那些TOEFL作文都不到150词，而它不会对这么短的文档评分^[6]。在它自己2023年的测试中，对于至少300词的文档，英语为第二语言的写作者与英语为母语的写作者之间的误报率差异很小，且不具有统计显著性^[6]。这项评估由该厂商自己进行。

为什么小错误率会积少成多？

范德堡大学在2023年8月关闭Turnitin的AI检测器时算过这笔账。Turnitin在推出时声称误报率为1%；范德堡大学在2022年提交了约75,000篇论文，因此可能有约750篇被错误标记^[7]。同样的道理适用于任何检测器：当检查的文档数以百万计时，一个听起来很小的比率仍可能影响许多人。

编辑或“人性化”工具能骗过AI检测器吗？

往往可以，尽管较新的工具声称能够抵御。在2023年对14款工具的测试中，对人类撰写的文本，平均准确率（二元评分）为94%；但对经过人工编辑的AI文本只有30%，对经过机器改写工具处理的AI文本只有15%^[4]。内容混淆，即为隐藏AI来源而刻意进行的修改，使这些工具的表现显著恶化^[4]。

RAID基准测试包含来自11个模型、横跨8个领域的600多万条生成文本，以及11种对抗性攻击和4种解码策略；它发现所评估的12款检测器很“容易被骗过”，无论是攻击、采样设置的变化、重复惩罚还是未见过的模型^[8]。其作者指出，许多检测器声称准确率达到99%或更高，但很少在共享的、具有挑战性的数据上接受测试^[8]。萨达西万（Sadasivan）等人的研究表明，用另一个模型反复改写AI文本，在许多情况下能大幅降低检测率，而文本质量只会略有下降^[9]。他们还表明，随着AI文本越来越接近人类文本，即使是理论上最好的检测器，其性能也会下降^[9]。

厂商已经做出回应。Turnitin表示，它能够识别经过改写工具或“绕过”工具（也称“人性化”工具）修改的AI文本，但仅限于英文提交内容^[5]。2025年的NBER工作论文报告称，在其测试中，Pangram的低错误率在面对“人性化”工具和非常短的段落时依然保持^[10]。这些结果令人鼓舞，但它们描述的只是某一时间点、针对当时可用工具的表现。作者还强调，决策者对两类错误的重视程度不同，并建议为其设定明确的容忍度，即“政策上限”^[10]。

教师能比软件更好地识别AI写作吗？

有些教师可以。在2025年的一项研究中，标注者阅读了300篇英文非虚构文章，并将每篇标注为人类撰写或AI撰写^[11]。经常使用LLM写作的人在这方面非常擅长：五名此类“专家”标注者的多数投票只误判了300篇文章中的1篇，表现优于作者评估的大多数商业和开源检测器，即使在使用了改写和“人性化”处理的情况下也是如此^[11]。这些专家依据的是“AI词汇”，也包括正式程度、原创性和清晰度^[11]。

这一发现有其局限。它采用的是由五名经验丰富的读者组成的小组和多数投票，而不是一位快速批改的教师；它涉及的是英文非虚构文章，而不是学生的课程作业^[11]。它表明的是，有见识的人类判断加上证据胜过一个单一的数字，而不是说仅凭直觉就可以裁定一个案例。

教师应如何公平地使用AI检测结果？

工具开发商自己就警告不要把分数当作证据。Turnitin表示，它“不会对不端行为作出认定”，且AI百分比“不应作为采取行动的唯一依据或决定性的评分标准”^[5]。OpenAI表示，ChatGPT无法判断一段文本是否由AI生成，它对“这是你写的吗？”这类问题的回答是随机的^[2]。

1. 把标记当作进一步查看的理由，而不是结论。Turnitin将其分数描述为在机构自身政策框架下为决策提供参考的数据^[5]。
2. 检查使用条件。对于所评估句子少于300词的文档，Turnitin不予处理；低于20%的分数也不会显示在报告中^[5]。篇幅短或以列表为主的作业，信号很弱。
3. 记住误差范围。Turnitin表示，当它报告50%可能为AI文本时，文档中的AI写作可能高达65%^[5]；该工具被调校为宁可漏掉一些AI文本也不发出误报，因此这个数字是估计值，而不是测量值。
4. 收集其他证据。草稿、笔记、版本历史以及就作业与学生进行的交谈，都比单一分数更能说明问题。OpenAI表示，一些教师发现鼓励学生分享具体的ChatGPT对话很有帮助^[2]。
5. 考虑语言背景。OpenAI报告称，有迹象表明检测器可能对英语学习者以及写作风格程式化或简洁的学生造成不成比例的影响^[2]；梁等人也发现非母语者作文的误报率要高得多^[3]。
6. 事先制定明确的规则。学生需要知道哪些AI用途是允许的（例如语法帮助），哪些是不允许的；NBER论文的作者指出，受鼓励的用途可能很难与其他用途区分开来^[10]。

跳过这些步骤的代价是真实存在的。澳大利亚广播公司新闻（ABC News）于2025年10月报道，根据内部文件，澳大利亚天主教大学（ACU）在2024年登记了近6,000起涉嫌学术不端的案件，其中约90%与AI有关；该校称这些数字“严重夸大”^[13]。ACU于2025年3月停止使用Turnitin的AI工具，其副校长表示，凡是仅以该工具为证据的案件都已立即撤销^[13]。

如果检测器错误标记了自己的作业，学生该怎么办？

以下为一般性信息，不构成法律建议；每所学校都有自己的程序。按照工具开发商自己的说法，检测器的标记并不能证明作弊^[2][5]。

• 询问有哪些证据。弄清楚使用了哪款工具、给出了什么分数，以及是否有其他证据支持这一怀疑。Turnitin的指标只有教师和管理人员可见，因此学生可能需要主动索取^[5]。
• 展示你的写作过程。草稿、提纲、手写笔记、查阅资料的浏览器历史记录以及文档的版本历史，都能展示作业是如何逐步完成的。
• 主动提出讲解你的作业。能够讨论自己的论点和资料来源，是证明作者身份的有力证据。
• 通过正式申诉渠道处理，并保留每一条往来消息的副本。
• 不要让聊天机器人来评判。OpenAI表示，ChatGPT关于某段文本是否由它撰写的回答毫无事实依据^[2]。

对于伊朗以及其他国家以英语为第二语言写作的学生来说，有关偏差的研究与自己直接相关^[3]。Turnitin的AI检测支持英语、西班牙语、日语、现代阿拉伯语、荷兰语、德语和土耳其语的长篇文本；波斯语不在其中，以不受支持语言提交的内容不会被处理^[5]。

AI检测会变得更可靠吗？

截至2026年11月3日，局面是生成工具与检测工具之间的一场竞赛。Turnitin于2026年10月更新了其英文检测模型架构，并在其可检测的模型中列出了GPT-5.4和Claude Opus 4.6等^[5]。2025年的一些研究显示，最好的商业工具取得了不错的结果^[10]；而基准研究则表明，未经测试的条件仍能骗过许多检测器^[8]。理论研究表明，随着AI写作越来越像人类写作，检测会变得更加困难^[9]。

对于采用水印技术的服务商所生成的文本，水印可能有所帮助，但其作者将其描述为对其他方法的补充，而非完整的答案^[12]。OpenAI和Turnitin的指南都建议学校制定明确的AI使用政策，保留学生写作过程的记录，并由教育工作者而不是一个分数来做出决定^[2][5]。