AIの文章を判別するツールをOpenAIが公開！人間と生成AIの文を見分ける精度検証
2023年1月31日にChatGPTを開発したOpenAIが、AIが書いた文章か判定するツール「AI Text Classifier」を公開しました。
ChatGPTによってAIによる文章作成が行われるようになってきています。
そうした中で、AIかどうか判定するニーズもでてきています。
OpenAIが開発したAIが作成した文章か見破るツールについて紹介します。
AIの文章を判別「AI Text Classifier」
ChatGPTを開発したOpenAIは、2023年1月31日にAIが書いた文章か判定するツールを公開しました。
日本でもアスキーやITmedia NEWS、インターネットウォッチなどのIT系ニュースサイトで報じられています。
OpenAI、AIが書いた文章かどうかを判定するツールを公開（ASCII)
OpenAI、テキストが人間によるものかどうか判定するツールを無料公開(ITmedia NEWS)
このツールはAI Text Classifierと命名され、すでに利用できるようになっています。
OpenAIのAIを見破るツールは無料で利用可能
AI Text Classifierは、OpenAIのページ内で公開されています。
New AI classifier for indicating AI-written text(OpenAI)
上記のリンクをクリックすると、ど派手な赤色の紹介ページにアクセスできます。
AI Text Classifierは無料公開のため、タダで利用可能です。
すでに公開されており、OpenAIのアカウントがあれば、サインインして使うことができます。
AI Text Classifierの使い方
OpenAIにサインインしてAI Text Classifierのサービス画面にアクセスしてみました。
ChatGPTなどと同じで英語のみの言語設定です。
ページ上部にサービス概要、現在の制限事項、実施手順の説明があります。
Textと書かれた下のフォームにテキストを入力し、Submitボタンを押すと、AIが書いた文章か判定結果を表示してくれます。
判定結果は、以下の5つのパターンです。
- Very unlikely to be AI-generated (AIじゃない)
- Unlikely to be AI-generated (AIじゃなさそう)
- Unclear if it is AI written (AIかどうか分からない)
- Possibly AI-generated (おそらくAI)
- Likely AI-generated (AIの可能性が高い)
実際にAIが生成した文章をツールで判定実験
実際に、AI Text Classifierを使ってAIが生成した文章がどのように判定されるか実験してみました。
OpenAIのChatGPTで生成したPythonに関する日本語の文章と、AIが生成した小説の２パターンを対象としました。
まずはPythonについての歴史とPythonを使ったアプリの実例について聞いた結果を結合して1000文字以上にして判定してみました。
「possibly AI-generated(おそらくAI)」とAIとの確信度は高くないものの、AIと判定されています。
技術的な文章の場合、人間も論理的に書くため、AIであると確度を持てないかもしれません。
続いてChatGPTに書いてもらった小説はどのように判定されるか試してみました。
1回では1000字にも満たないため、3回リクエストして1000文字分の文章を用意しました。
複数回のChatGPTの生成文を結合したものをAI Text Classifierで判定してみました。
Likely AI-generatedとAIの可能性が高いとの判定結果が出ました。
以上から、ChatGPTの応答結果についてはAI Text Classifierはかなりの正答率でAIの文章を見破ってくれました。
人間が書いた文章でもAI Text Classifierで判定
ChatGPTのAIで生成した文章はきちんと判定できたので、次に人間が書いた文章でAIではないと判定されるか検証してみました。
テストするのは前回のPerplexity.AIの紹介記事から抜粋した文章です。
ブログ記事の中から画像や中見出しを除いた1000文字以上を抽出して、AI Text Classifierに判定してみました。
Unclear if it is AI-generated (AIかどうか分からない)という結果になり、判別に失敗しました。
続いて少し技術的な内容とは異なるイベント登壇に関する記事でも実験してみました。
こちらも同様に1000文字分の文章を抽出してAI Text Classifierの入力欄に投入してみます。
なんということでしょう、「おそらくAI」と判定されてしまいました。
ChatGPTを使ったわけではないのに、ちょっと自分の文章がおそらくAIと判定されたことに驚きです。
まだまだAI文章の識別精度は低い
ChatGPTを開発した最先端のAI研究団体ではありますが、AIを見破るサービスはまだ未完成ということもあり、精度もいまいちです。
AI Text Classifierの認識結果として、AIで書かれたテキスト正しく判別できた割合は26％で、人間が書いたテキストをAIと間違って判別した割合も9％もあります。
入力文は1000文字以上必要というのは、日本語ではかなりネックな数値です。
さらに英語以外の言語は精度が極端に悪いと説明もあり、日本語では厳しそうです。
さらにプログラムのコードは判別できないという誓約もあります。
精度の観点から先ほどお見せしたように人間が書いた文章もAIが書いたと判断される間違いもあります。
現在はあくまで未完成のベータ版であり、あくまでAIの文章か判断する際の材料の１つという利用がオススメです。
恐らくAIの進歩は日進月歩なので、1年も経てば劇的に精度向上するかもしれません。
まとめ・終わりに
今回、2023年1月31日にChatGPTを開発したOpenAIがAIが生成した文章か判定するツール「AI Text Classifier」を公開したことを紹介しました。
生成系AIとしてChatGPTは大きなインパクトがあったため、IT系ニュースメディアで多く取り上げられています。
現在無料で使えるものの、入力文字数が1000文字以上必要だったり、精度もあまり高くないなど課題を多く抱えています。
ただ、AIの活用が進む中で、AIが書いた文章か見破る1つの判断材料にはなりそうです。
OpenAIのアカウントがあれば無料で使えるのでAIで作ってみた文章でぜひ1度試してください。