AI検出ツールの精度はどのくらい？ 学生と教員のために研究結果を解説

AI検出ツールの精度はどのくらいですか？

簡単に言えば、AI文章検出ツールはテスト条件下では多くの場合正しく判定できますが、学生の成績や記録がかかっている場面では看過できない誤りを犯します。精度は、ツール、文章の長さ、言語、AIの文章が編集されているかどうか、そしてツールが使うしきい値に大きく左右されます。

最も明確な初期の警告は、ChatGPTを開発したOpenAIから発せられました。同社が2023年1月に公開した分類器は、英語のチャレンジセットにおいて、AIが書いた文章の26%を「AIが書いた可能性が高い」と正しく判定する一方、人間が書いた文章の9%を誤ってAIが書いたものと判定しました^[1]。OpenAIは「精度の低さのため」に、2023年7月20日からこの分類器の提供を停止しました^[1]。教育者向けの現在のヘルプページで、OpenAIは「AI検出ツールは機能するのか？」という質問に対し、「端的に言えば、私たちの経験では機能しない」と答えています^[2]。

独立した研究も、多くのツールについて同様の結論に達しています。一般公開されている12のツールと、TurnitinとPlagiarismCheckという2つの商用システムを対象とした2023年の研究は、これらのツールは「正確でも信頼できるものでもない」と結論づけ、AIの文章を検出するよりも人間が書いた文章と分類する傾向があるとしました^[4]。その後の研究結果はより複雑です。2025年9月のワーキングペーパーでは、商用の検出ツールがオープンソースのものを上回り、Pangramという製品はテストで誤り率がほぼゼロだったとされています^[10]。ある1つの研究、1つのデータセットから得られた結果が、そのままあらゆる教室に当てはまるわけではありません。

AI検出ツールはどのように機能するのですか？

ほとんどの検出ツールは分類器です。つまり、文章を「人間」か「AI」かに振り分け、スコアを出すよう訓練されたソフトウェアです。Turnitinはこの考え方を単語の確率という観点から説明しています。ChatGPTなどのチャットボットの背後にあるシステムである大規模言語モデル（LLM）は、次の単語を「一貫した、確率の高い方法で」選ぶ傾向があるのに対し、人間の文章は「一貫性がなく、個性的」である傾向があります^[5]。同社の分類器は、そうした違いを検出するよう訓練されています^[5]。

関連する指標にパープレキシティがあり、これは大まかに言えば、ある文章が言語モデルにとってどれだけ意外かを表すものです。パープレキシティの低い文章は予測しやすい文章です。Liangらは、このシグナルが誤解を招きうることを示しました。英語を母語としない書き手のエッセイはパープレキシティが著しく低く、それが検出ツールにAIと判定された理由の説明になるというのです^[3]。一方Turnitinは、自社のモデルはパープレキシティを評価するよう明示的にプログラムされているわけではなく、訓練データから統計的なパターンを学習していると述べています^[5]。

検出ツールのスコアは何を意味するのですか？

Turnitinは各文に0から1のスコアを付け、しきい値を超えた文をAIと判定し、評価対象の文のうちしきい値を超えたものの割合を文書のスコアとして報告します^[5]。リスト、見出し、参考文献、表、数式、コードは対象外となるため、この割合は必ずしも提出物全体に占める割合ではありません^[5]。スコアは確率に基づく推定であり、その文章がどのように書かれたかの記録ではありません。

電子透かしは違うものですか？

はい、違います。電子透かしとは、文章の生成中に埋め込まれる隠れた統計的パターンです。Google DeepMindのSynthID-Textはサンプリングの段階だけを変更し、元のモデルを実行しなくても検出できます。実環境での実験では、Geminiの約2000万件の応答が対象となりました^[12]。開発者たちは、電子透かしは完全な解決策ではないとしています。文章を生成する企業が透かしを適用した場合にしか機能せず、オープンソースのモデルを網羅するのは難しく、言い換えによって弱められたり、盗用、なりすまし、除去といった攻撃を受けたりする可能性があるからです^[12]。

誤検出と偏りについて、研究は何を示していますか？

偽陽性（誤検出）とは、人間が書いた文章を誤ってAIと判定することです。教育の場ではこちらの方がより深刻な誤りです。誠実な学生が告発されることにつながりかねないからです。偽陰性とは、AIの文章が人間の文章として見過ごされることです。

英語を母語としない書き手

Liangらの研究では、広く使われている7つの検出ツールを、中国の教育フォーラムから集めた人間が書いたTOEFLのエッセイ91本と、米国の8年生によるエッセイ88本でテストしました^[3]。検出ツールは米国のエッセイではほぼ完璧でしたが、TOEFLのエッセイの半数以上を誤判定し、平均の誤検出率は61.22%でした^[3]。91本のTOEFLエッセイのうち18本（19.78%）は7つの検出ツールすべてにAIと判定され、91本中89本（97.80%）は少なくとも1つの検出ツールにAIと判定されました^[3]。ChatGPTを使ってそれらのエッセイの語彙を豊かにすると、平均の誤検出率は11.77%に下がりました^[3]。逆に、ChatGPTに米国のエッセイを「非ネイティブスピーカーが書いたかのように」簡素化させると、誤検出率は5.19%から56.65%に上がりました^[3]。

この研究の対象ではなかったTurnitinは、この結果が自社製品に当てはまることに異議を唱えています。TOEFLのエッセイはすべて150語未満であり、同社はそのような短い文書にはスコアを付けないと指摘しています^[6]。同社が2023年に行った独自のテストでは、300語以上の文書について、英語を第二言語とする書き手と第一言語とする書き手の間の誤検出率の差は小さく、統計的に有意ではありませんでした^[6]。この評価はベンダー自身が実施したものです。

なぜ小さな誤り率が積み重なるのですか？

Vanderbilt Universityは、2023年8月にTurnitinのAI検出機能を無効にした際に、この計算をしました。Turnitinは提供開始時に誤検出率1%をうたっていましたが、Vanderbiltは2022年に約75,000本の論文を提出していたため、約750本が誤ってAIと判定された可能性があるというのです^[7]。同じ理屈はどの検出ツールにも当てはまります。小さく聞こえる率でも、数百万件の文書をチェックすれば、多くの人に影響が及びうるのです。

AI検出ツールは編集やヒューマナイザーツールでだませるのですか？

多くの場合、だませます。ただし、新しいツールはそれに耐えられると主張しています。2023年の14ツールのテストでは、平均精度（二値の採点）は、人間が書いた文章では94%でしたが、手作業で編集したAIの文章ではわずか30%、機械的な言い換えツールにかけたAIの文章では15%でした^[4]。AI由来であることを隠すために意図的に変更を加えるコンテンツの難読化は、ツールの性能を著しく低下させました^[4]。

8つの分野にわたる11のモデルによる600万件を超える生成文、11種類の敵対的攻撃、4種類のデコーディング戦略を含むRAIDベンチマークでは、評価した12の検出ツールが、攻撃、サンプリング設定の変更、繰り返しペナルティ、未知のモデルによって「簡単にだまされる」ことがわかりました^[8]。その著者たちは、多くの検出ツールが99%以上の精度をうたっているものの、共通の難しいデータでテストされることはまれだと指摘しています^[8]。Sadasivanらは、別のモデルでAIの文章を繰り返し言い換えると、多くの場合、品質をわずかに損なうだけで検出率を大幅に下げられることを示しました^[9]。また、AIの文章が人間の文章に近づくにつれて、理論上最良の検出ツールでさえ性能が低下することも示しています^[9]。

ベンダーも対応しています。Turnitinは、言い換えツールや、ヒューマナイザーとも呼ばれる「バイパサー」ツールで修正されたAIの文章を識別できるとしていますが、それは英語の提出物に限られます^[5]。2025年のNBERのワーキングペーパーは、テストにおいてPangramの低い誤り率がヒューマナイザーツールや非常に短い文章に対しても維持されたと報告しています^[10]。これらは心強い結果ですが、ある時点で、その時点で入手できたツールを相手にした性能を示すものです。著者たちはまた、意思決定者は2種類の誤りを異なる重みで捉えると強調し、それらについて明示的な許容範囲、つまり「ポリシー上限」を設定することを提案しています^[10]。

教員はソフトウェアよりもうまくAIの文章を見抜けるのですか？

見抜ける人もいます。2025年の研究では、アノテーターが英語のノンフィクション記事300本を読み、それぞれを人間が書いたものかAIが書いたものかに分類しました^[11]。執筆にLLMを頻繁に使っている人は、この作業が非常に得意でした。そうした5人の「エキスパート」アノテーターの多数決では、300本のうち誤分類はわずか1本で、言い換えやヒューマナイズが使われた場合でも、著者たちが評価した商用およびオープンソースの検出ツールのほとんどを上回りました^[11]。エキスパートたちは「AI特有の語彙」に加え、文体の硬さ、独創性、明快さも手がかりにしていました^[11]。

この結果には限界があります。これは経験豊富な5人の読み手による多数決であって、1人の教員が急いで採点したものではなく、対象も学生の課題ではなく英語のノンフィクション記事でした^[11]。この研究が示唆しているのは、根拠を伴う知識に基づいた人間の判断が1つの数値に勝るということであり、直感だけで事案を判断してよいということではありません。

教員はAI検出ツールの結果をどのように公正に使うべきですか？

ツールを作る企業自身が、スコアを証拠として扱わないよう警告しています。Turnitinは、自社のツールは「不正の有無を判定するものではない」とし、AIの割合は「措置の唯一の根拠や確定的な採点の尺度として使うべきではない」と明言しています^[5]。OpenAIは、ChatGPTには文章がAIによって生成されたかどうかを見分けることはできず、「これはあなたが書いたのか？」といった質問への回答はでたらめだと述べています^[2]。

1. フラグは判定ではなく、詳しく調べるきっかけとして扱いましょう。Turnitinは、自社のスコアを、教育機関自身の方針のもとで判断の参考にするためのデータと説明しています^[5]。
2. 条件を確認しましょう。Turnitinは、評価対象の文が300語未満の文書は処理せず、20%未満のスコアはレポートに表示しません^[5]。短い課題やリストの多い課題では、シグナルは弱くなります。
3. 誤差の幅を忘れないようにしましょう。Turnitinによると、AIの文章の可能性が50%と報告された場合、その文書には最大65%のAIの文章が含まれている可能性があります^[5]。このツールは誤ったフラグを立てるよりもAIの文章の一部を見逃すよう調整されているため、この数値は測定値ではなく推定値です。
4. ほかの証拠を集めましょう。下書き、メモ、バージョン履歴、課題について学生と話し合うことの方が、1つのスコアよりも多くのことを教えてくれます。OpenAIによると、学生に特定のChatGPTの会話を共有するよう促すことが役立つと感じている教員もいます^[2]。
5. 言語的な背景を考慮しましょう。OpenAIは、検出ツールが英語学習者や、定型的または簡潔な文章を書く学生に不均衡な影響を与えうる兆候があると報告しており^[2]、Liangらは非ネイティブのエッセイで誤検出率がはるかに高いことを明らかにしました^[3]。
6. 明確なルールを事前に定めましょう。学生は、文法の手助けなど、どのAIの使い方が認められ、どれが認められないかを知っておく必要があります。NBERの著者たちは、推奨される使い方とそれ以外を区別するのは難しい場合があると指摘しています^[10]。

こうした手順を省いた場合の代償は現実のものです。ABC Newsは2025年10月、内部文書によると、Australian Catholic Universityが2024年に約6,000件の不正の疑いを記録し、その約90%がAIに関連するものだったと報じました。同大学はこれらの数字を「大幅に誇張されている」としています^[13]。ACUは2025年3月にTurnitinのAIツールの使用を停止し、同大学の副学長は、そのツールが唯一の証拠だった事案は直ちに却下されたと述べました^[13]。

検出ツールに自分の課題を誤ってAIと判定されたら、学生はどうすればよいですか？

これは一般的な情報であり、法的な助言ではありません。手続きは学校ごとに異なります。ツールを作る企業自身の説明によれば、検出ツールのフラグは不正行為の証拠ではありません^[2][5]。

• どのような証拠があるのかを尋ねましょう。どのツールが使われ、どのようなスコアが出たのか、ほかに疑いを裏付けるものがあるのかを確認します。TurnitinのAI判定の表示は教員と管理者にしか見えないため、学生は開示を求める必要があるかもしれません^[5]。
• 作成の過程を示しましょう。下書き、アウトライン、手書きのメモ、参考資料を閲覧したブラウザー履歴、文書のバージョン履歴は、どれも課題がどのように仕上がっていったかを示します。
• 課題について説明することを申し出ましょう。自分の論旨や参考資料について話し合えることは、自分が書いたことの強力な証拠になります。
• 正式な異議申し立ての手続きを利用し、すべてのやり取りのコピーを保管しましょう。
• チャットボットに判断を求めないようにしましょう。OpenAIによると、ある文章を自分が書いたかどうかについてのChatGPTの回答には事実の裏付けがありません^[2]。

イランなど、英語を第二言語として書く国の学生にとって、偏りに関する研究は直接関係があります^[3]。TurnitinのAI検出は、長文の英語、スペイン語、日本語、現代アラビア語、オランダ語、ドイツ語、トルコ語に対応しています。ペルシャ語はこのリストに含まれておらず、対応していない言語の提出物は処理されません^[5]。

AI検出の信頼性は今後高まるのでしょうか？

2026年11月3日時点の状況は、生成側と検出側の競争です。Turnitinは2026年10月に英語の検出モデルのアーキテクチャを更新し、検出できるモデルとしてGPT-5.4やClaude Opus 4.6などを挙げています^[5]。2025年の一部の研究では最良の商用ツールが優れた結果を示している一方^[10]、ベンチマーク研究では、テストされていない条件では依然として多くの検出ツールがだまされることが示されています^[8]。理論的な研究は、AIの文章が人間らしくなるほど検出は難しくなることを示唆しています^[9]。

電子透かしは、それを採用する提供者の文章については役立つかもしれませんが、開発者たちはそれを完全な答えではなく、ほかの手法を補完するものと位置づけています^[12]。OpenAIとTurnitinのガイダンスはいずれも、学校に対して、明確なAI利用方針、学生がどのように作業したかの記録、そしてスコアではなく教育者による判断を求めています^[2][5]。