レッドチーミングとは？

📖 もうちょい詳しく

レッドチーミングは、もともと軍やセキュリティの世界で「攻める側の役」になって防御の穴をさがす方法です。これをAIに応用したのが、いまよく聞くレッドチーミングです。生成AIがうっかり危ない回答をしてしまわないか、公開する前にわざと攻撃してみて確かめます。

担当者（または専用のAI）が「攻撃役」になり、危険な答えを引き出そうとする質問を大量にぶつけます。たとえば言い回しを変えたり、役になりきらせたりして、ルールをすり抜けられないか試します。出てきた問題のある答えを記録し、開発側がその弱点をふさいでいきます。

公開後に炎上したり悪用されたりする前に、弱点を先に見つけて直せます。差別的な発言、危険な手順、個人情報の漏れなどを事前にあぶり出せます。チャットAIや画像生成AIなど、人と直接やりとりする仕組みでよく使われます。

新しい家のかぎを売り出す前で例えると、わざと泥棒の気持ちになって、ピッキングできないか、窓から入れないかを自分たちで試すようなものです。本物の泥棒が来る前に弱点を見つけて、かぎを丈夫にしておく。レッドチーミングも、悪意ある使い方を先回りして試し、危ないところを直しておく作業です。

一度で終わりではないことが多いです。AIは更新されますし、攻撃する側の手口も新しくなります。そのため、運用しながら何度もくり返すのがふつうです。

似ていますが少し違います。バグ探しは「動かない・壊れる」不具合をさがします。レッドチーミングは、正しく動いていても「危ない答えを返してしまう」という、安全面の問題をさがすことに重きを置きます。

いいえ、味方です。守る側のチームが、あえて攻撃役を引き受けて穴をさがしています。悪用を防ぐための練習なので、本物の攻撃とは目的が正反対です。

公開前にAIへわざと意地悪をしかけて、弱点を先に見つけて直しておく。それがレッドチーミングです。