Hallucination
AI Hallucination
Hallucination（ハルシネーション（AIの幻覚））とは
ひとことで
生成AIが、事実ではない内容や存在しない情報を、もっともらしく自信を持って出力してしまう現象。攻撃ではなく、AIの性質による誤り。
たとえると
物知りな人が、知らないことを聞かれたときに「わかりません」と言わず、それらしい話を自信たっぷりに作ってしまうようなものです。話し方が堂々としているほど、聞いた側は本当のことだと信じてしまいます。
現場ではこう使う
アナリストが生成AIにアラートの要約と対応の提案を頼んだところ、AIはあるCVE番号を挙げて「この脆弱性が原因です」と回答しました。公式の脆弱性データベースで確認すると、その番号は存在しないことがわかりました。SOCでは、AIの出力は必ず一次情報で裏付けを取り、重要な判断は人が行うというルールを定めました。
試験のポイント
EXAM POINT「AIがもっともらしいが誤った情報を出力する」と出てきたらハルシネーションです。攻撃者が仕掛けるプロンプトインジェクションやデータポイズニングとは違い、悪意がなくても起こる点が区別のポイントです。対策として、AIの出力を一次情報で検証すること、重要な判断に人の確認を入れること（ヒューマン・イン・ザ・ループ）が問われます。
混同しやすい用語との違い
- Prompt Injection攻撃者が悪意のある指示でAIを操る攻撃。ハルシネーションは攻撃がなくても起こる
- Data Poisoning攻撃者が学習データを汚染して、モデルの判断を誤らせる攻撃