AIジェイルブレイク（AI脱獄）

AIジェイルブレイク（AI脱獄）とは、大規模言語モデル（LLM）などのAIに設けられた安全上・運用上の制限を回避し、本来制限されている応答や挙動を引き出す手法のことを言います。こうして作成されるコンテンツは、悪意ある目的で利用される場合があるほか、AIシステムの安全性を検証するセキュリティ研究やレッドチーミングでも利用されています。

AIには本来、「ガードレール」と呼ばれる安全対策が組み込まれています。これは、AIが有害・不正な目的で利用されたり、不適切なコンテンツを生成したりするリスクを抑えるために設けられた安全対策です。例えば、「マルウェアを作成して」「この企業をハッキングして」などとAIに指示しても、ガードレールが作動して指示が拒否されるようになっています。しかし、このガードレールを不正な手法で強制的に突破し、本来制限対象となっている挙動を起こさせるのがジェイルブレイクです。

ジェイルブレイクは主に、AIを欺くためのプロンプト（ジェイルブレイクプロンプト／脱獄プロンプト）によって行われます。例えば、「架空のシナリオ」や「ロールプレイ」であるかのように装ったり、指示の表現や形式を変えたりすることで、安全上の制限を回避しようとする手法などがあります。

ジェイルブレイクされたAIは、以下のような悪意ある活動に使用される恐れがあります。

• フィッシングや詐欺などに利用する文章の生成
• マルウェアなど悪意あるコードの生成支援
• 本来開示されるべきでない情報の出力
• AIに接続されたツールや機能の意図しない利用

など

ジェイルブレイクと関連する攻撃に、「プロンプトインジェクション」があります。両者は同じような意味で使われる場合もありますが、一般にジェイルブレイクはAIに設けられた安全上の制限を回避することに重点を置いた攻撃を指します。一方で、プロンプトインジェクションは悪意ある指示をAIに与えて本来意図されていない挙動を引き起こす、より広い概念として扱われています。