人工知能（AI）を活用するために

本記事は、オーストラリアサイバーセキュリティセンターが提供している、AIシステムを安全に活用するためのガイダンスを翻訳したものです。AI活用における課題、セキュリティ上のリスクや、リスク緩和のために推奨される対策などについて紹介します。

本記事は、オーストラリアサイバーセキュリティセンターの資料”Engaging with Artificial Intelligence”を翻訳したものです。同センターのWebサイトに掲載されている資料は、クリエイティブ・コモンズ・ライセンス（表示4.0 国際）のもと、営利目的も含めて共有や翻案が許可されています（ロゴなど一部の資料や素材は除く）。なお、元の資料冒頭の”Introduction”および最下部の”Further Reading”については訳出・掲載を省略しています。

AIとは？

AIとは、視覚認識や音声認識、意思決定、言語間の翻訳など、通常は人間の知能を必要とするタスクを実行できるコンピューターシステムの理論と開発を指します。現代のAIは通常、機械学習アルゴリズムを使って構築されます。

AIには以下を含む重要なサブフィールドがいくつかありますが、これに限定されません。

• 機械学習とは、コンピューターが人間によって明示的にプログラムされたルールを用いることなく、データ内のパターンを認識し、前後関係を構築できるようにするソフトウェアコンポーネント（モデル）です。機械学習アプリケーションは、統計的推論に基づいて予測、推奨または決定を行うことができます。
• 自然言語処理は、テキストや画像、ビデオ、音声データなど人間の言語ソースから情報を分析し、導き出します。自然言語処理アプリケーションは言語の分類と解釈によく使用されており、その多くは自然言語を処理するだけでなく、これを模倣したコンテンツも生成します。
• 生成AIとは、データモデルを使ってテキストや画像、音声、コード、その他のデータ様式といったコンテンツの新しい用例を生成するシステムを指します。生成AIアプリケーションは通常、実世界で得られた大量のデータでトレーニングされており、プロンプトに基づいて人間が作り出したものに近いコンテンツを生成することができます。例えプロンプトが言葉足らずであったり具体性に欠けていたとしても、何らかの成果物が生成可能です。

AIシステムは世界的に最も急速に成長しているアプリケーションの1つで、インターネット検索、衛星ナビゲーション、レコメンドシステムに活用されています。さらにAIは、大規模なデータセットの分類、日常的なタスクの自動化、クリエイティブな分野におけるさまざまなプロセス、顧客エンゲージメント、そして物流や医療診断、サイバーセキュリティといったビジネス活動の強化など、これまで人間が行っていた活動の処理にもますます使われるようになっています。

あらゆる分野の組織がAIによる業務改善の機会を模索していますが、AIは効率アップやコスト削減に期待できる反面、意図的または無意識のうちに損害を引き起こす危険性も有しています。そういった理由から、政府・学問・産業の各界は、研究や規制、ポリシー、ガバナンスなどを通じ、このテクノロジーにまつわるリスクを管理する役割を担っています。

AI活用に向けた課題

すべてのデジタルシステムと同様、AIも「機会」と「脅威」の両方をもたらします。AIのメリットを安全に活用するために、これらのシステムに関わるすべてのステークホルダー（プログラマー、エンドユーザー、上級管理職、アナリスト、マーケティング担当など）は、どのような脅威があり、どうすればその脅威を軽減できるのかについて理解しておく必要があります。

AI関連の一般的な脅威を以下に概説します。その目的はAIの使用を思いとどまらせることではなく、すべてのステークホルダーが安全にAIを利用できるよう支援することです。これらの脅威に対して使えるサイバーセキュリティ緩和策については、本記事の後半で説明しています。AI固有の脅威や敵対者の戦術、これらのリスクを管理する詳細な方法については、MITRE ATLASおよび米国国立標準技術研究所（NIST）のAIリスクマネジメントフレームワーク（RMF）をご覧ください。

AIモデルのデータポイズニング

NISTは機械学習のデータ駆動型アプローチによって、セキュリティとプライバシーの両面でほかのシステムとは異なる課題が生じると概説しています（NISTの「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」を参照）。こういった課題にはトレーニングデータの改ざんや、モデルの脆弱性が悪用されること（敵対的AIとも呼ばれる）への可能性が含まれ、機械学習ツールとシステムのパフォーマンスに悪影響が及ぶ危険性もあります。

敵対的操作の1つにデータポイズニングが挙げられます。データポイズニングではAIモデルのトレーニングデータを操作し、誤ったパターンを学習させるため、データの誤分類が発生する、あるいはアウトプットが正確ではなかったり、偏っていたり、または有害なものになっていたりすることがあります。つまりデータポイズニングは、AIシステムのアウトプットの整合性に依存するすべての組織や職務に大きな影響を与えるのです。AIモデルのトレーニングデータは、新しいデータを挿入する、あるいは既存のデータを変更することで操作される危険性もあります。すでにポイズニングされたソースから、トレーニングデータが取得されているかもしれません。さらにデータポイズニングは、モデルをファインチューニング（微調整）するプロセスでも発生する可能性があります。機能が正しく実行されたかどうかを判断するためにフィードバックを受けるAIモデルは、質が悪い、または不正確なフィードバックによって操作される可能性もあります。

ケーススタディ：チャットボット「Tay」のポイズニング

2016年、マイクロソフトは機械学習を活用したTwitterチャットボット「Tay」のトライアルを実施しました。このチャットボットはユーザーとの会話を使ってトレーニングし、やり取りを調整していたため、データポイズニング攻撃に対して脆弱でした。Tayの再トレーニング時、ユーザーがトレーニングデータへ暴言を挿入するために汚い言葉でツイートすると、AIモデルがポイズニングされ、Tayはほかのユーザーに対して暴言を使うようになりました。

入力操作攻撃 – プロンプトインジェクションと敵対的サンプル

プロンプトインジェクションは、AIシステムに有害な命令や隠しコマンドを挿入しようとする入力操作攻撃です。攻撃者はプロンプトインジェクションによってAIモデルのアウトプットを乗っ取り、AIシステムを脱獄することが可能になるため、これを利用して同システムの機能を制限するコンテンツフィルターやその他の安全策を回避できるようになります。

ケーススタディ：DANプロンプトインジェクション

AIシステムの脱獄を可能にするプロンプトインジェクションの例として、広く報告されているのが「DAN（Do Anything Now／今すぐ何でもして）プロンプト」です。ChatGPTのユーザーたちは、ChatGPTのシステムに通常の安全制限の対象外となる「DAN」という架空の人格を与えるため、さまざまな方法を発見しました。このプロンプトインジェクションのケースに対処するOpenAIの取り組みは、後継のDANプロンプトによって何度も回避されており、AIシステムに安全制限を適用することの難しさが浮き彫りになっています。

入力操作攻撃のもう1つの形態として知られているのが「敵対的サンプル」です。AIの文脈において敵対的サンプルとは、特殊な入力データを作成し、AIに誤分類など誤ったアウトプットを意図的に生成させることを意味します。インプットに細工を施すことで、信頼性テストに合格させたり、正しくない結果を導き出したりできるほか、検出メカニズムを回避することもできます。敵対的サンプルにおいて​​、AIへの入力が操作されるのはトレーニング中ではなく、使用中という点に注意してください。この攻撃について、AIによる著作権チェックをパスしなければ、投稿した楽曲を公開できない音楽共有サービスを例に考えてみましょう。ユーザーは著作権で保護された楽曲の再生速度をわずかに上げるだけで、オーディエンスにその曲であることを認識させながら、AIの著作権チェックを通過できる可能性があるのです。

生成AIのハルシネーション（幻覚）

AIシステムは必ずしも正確な、または事実上正しいアウトプットを生成するとは限らず、事実に基づかない情報を出力する現象「ハルシネーション」を起こすことがわかっています。生成AIによるアウトプットの正確性に依存する組織機能は、ハルシネーションに対して適切な緩和策を施さない限り、この問題に悪影響を受ける恐れがあります。

ケーススタディ：ニューヨーク南部地区の訴訟

2023年に報じられたところによると、米ニューヨーク州南部地区のある地区判事は、提出された準備書面に実在しない事案が少なくとも6件含まれていることを発見しました。この準備書面を提出した弁護士は、ChatGPTを使った調査でハルシネーションが生じたと主張した上、宣誓供述書で「その内容が虚偽である可能性に気付かなかった」と認めています。

プライバシーと知的財産に関する懸念

AIシステムは、顧客の個人データや知的財産など、組織が保持する機微データのセキュリティの確保においても課題をもたらす可能性があります。

組織とその構成員は、生成AIシステムに提供する情報を慎重に取り扱う必要があります。これらのシステムに提供される情報はシステムのトレーニングデータに組み込まれ、組織外のユーザーからのプロンプトによってアウトプットに反映される可能性があります。

生成AIテクノロジーにプライバシー原則を適用する方法の詳細については、カナダのプライバシーコミッショナー事務所（OPC）の「Principles for responsible, trustworthy and privacy-protective generative AI technologies」をご覧ください。

モデル盗用攻撃

モデル盗用攻撃とは、危害を加える意図のある人物がAIシステムにデータを入力し、そのアウトプットを使って同システムに近いレプリカを作成することなどを指します。AIモデルの作成には多額の出資が必要になる場合があり、モデル盗用のリスクは知的財産上の深刻な懸念事項です。例えば、ある保険会社が保険の見積もりを提供するためにAIモデルを開発したとします。この企業の競合社は、そのモデルのレプリカを作成できる程度にクエリを実行すれば、開発コストを負担することなく、他社が投じた資金によって利益を得られることになります。

同じように、プロンプトによって生成AIモデルからトレーニングデータが流出するケースもあります。個人の特定が可能な情報を含む機微データでトレーニングされたモデルの場合、トレーニングデータの流出はプライバシー保護の観点から深刻な懸念となります。また、トレーニングデータセットの機密性を維持したい組織にとっても、これは知的財産の保護において深刻な懸念事項です。

ケーススタディ：ChatGPTにおける記憶済みトレーニングデータの抽出

2023年11月、ある研究チームが、AI言語モデルの記憶されたトレーニングデータを抽出する試みについて調査結果を公表しました。研究者らが実験に使用したアプリケーションの1つがChatGPTです。ChatGPTの場合、ある特定の単語を繰り返し出力させることで、通常時よりもはるかに高い割合でトレーニングデータを暴露させられることが明らかになりました[1]。 抽出されたこのトレーニングデータには、個人を特定できる情報も含まれていました。

緩和策に関する検討事項（組織向け）

AIの技術は、その革新のスピードと影響力の規模が際立っています。そのため、AIシステムを使用する、あるいは使用を検討している組織は、AIシステムによってもたらされるサイバーセキュリティ上のリスクについて考えることが重要です。これには各組織の状況に応じ、AIシステムを使うことの利点やリスクを評価することも含まれます。組織がAIシステムを安全に利用する方法について検討するため、そのきっかけとなる質問を下記に記しました。これらには、自組織でホストされているAIシステムとサードパーティのAIシステムの双方を使うに当たって重要と思われるサイバーセキュリティ緩和策がいくつか含まれています。AIシステムは新興技術であり、その安全性を確保するための規制は多く用意されていません。堅牢な規制の枠組みを欠く中、各組織は使用を検討しているすべてのAIシステムにまつわるリスクについて、慎重に検討することが大切です。またAIが急速に進化しているため、以下の緩和策に関する検討事項は、継続的に見直しを行う必要があるかもしれません。

管轄区域に見合ったサイバーセキュリティフレームワークを導入しているかどうか？

組織に使用されるAIシステムは、ほかのシステムを保護するために導入された、同様のサイバーセキュリティ緩和策の多くから恩恵を受けるはずです。まずは自組織の管轄区域に見合った枠組みの中で、推奨されたサイバーセキュリティ緩和策を確実に導入することから始めましょう。下述の「さらに読む」という項目には、本記事の筆者が作成した複数のサイバーセキュリティフレームワークへのリンクが掲載されています。

使用するシステムが自組織のプライバシーやデータの保護義務にどのような影響を与えるのか？

AIシステムが情報をどのようにして収集・処理・保存するのか、また自組織のプライバシーやデータの保護義務にどのような影響を与えるのかについて考えましょう。

• AIシステムはクラウドでホストされることが多く、異なる地域間でデータのやり取りを行う場合があります。自組織で使用するすべてのAIシステムが、データレジデンシーや主権に関する義務に準じていることを確認してください。
• サードパーティのAIシステムを利用する場合、自組織で入力したことがそのAIシステムのモデルの再訓練に利用されるかどうかを確認してください。可能であれば、そのシステムのプライベート版を使うことも検討しましょう。
• サードパーティのAIシステムを利用する場合、相手企業との商業契約が終了する際に自分のデータがどのように管理されるのかをご確認ください。このような情報は通常、そのベンダーのプライバシーポリシーや利用規約で概説されています。
• 使用するAIシステムで個人情報を取り扱う場合、そのデータを保護するために利用できるプライバシー強化技術があるかどうかを検討してください。

多要素認証を実施しているかどうか？

トレーニングデータを保持するあらゆるリポジトリを含め、自組織のAIシステムにアクセスする際は、セキュリティキーのFIDO2などフィッシング対策用の多要素認証を要求するようにしましょう。多要素認証は、組織のシステムやリソースに不正アクセスが行われることを防ぐものです。不正アクセスは、データポイズニングやモデル盗用といったいくつかの攻撃を容易にする恐れがあります。

AIシステムへの特権アクセスをどのように管理するのか？

権限は「Need To Knowの原則（訳注1）」と「最小特権の原則（訳注2）」に基づいて付与しましょう。例えば、AIによる開発・生成環境へのアクセス権を持つアカウントの数を制限する、あるいはAIモデルのトレーニングデータを保有するリポジトリへのアクセスを制限します。また権限を付与されたアカウントを定期的に見直し、一定期間使用されていないものがある場合は無効化するようにしましょう。システムへのアクセス権限を制限することで、データポイズニングやモデル盗用といった複数の脅威を緩和できます。

• 訳注1：その情報を必要とする人にのみ、情報へのアクセス権を与えること。
• 訳注2：特定の情報や権限へのアクセスを必要最小限の人数、および必要最小限の時間のみ付与すること。

AIシステムのバックアップをどのように管理するのか？

AIモデルとトレーニングデータのバックアップを管理しましょう。バックアップはAIシステムが何らかのインシデントに影響を受けた際、復旧作業を行う上で役立ちます。例えばデータポイズニング攻撃を受けた場合、バックアップがあればトレーニングデータを復旧し、モデルを再度訓練できるようになります。ただしAIモデルとそのトレーニングデータをバックアップする際は、リソースを大量に消費してしまう可能性がある点に留意しなくてはなりません。

AIシステムの試験導入は可能かどうか？

AIシステムを試験的に導入することは、ファイアウォールやゲートウェイ、拡張済みの検知および対応ツール、記録システム、モニタリングシステムなど、自組織で使用しているサイバーセキュリティ関連のシステムやツールにAIをどう組み込めるかを把握する上で、効果的な方法となり得ます。またトライアルは、低リスクの環境におけるAIシステムの限界や制約を検証する上でも役立ちます。トライアルを導入する前に、適用範囲と成功基準についてあらかじめ考えておきましょう。

サプライチェーンを含めてAIシステムにセキュア・バイ・デザインが適用されているかどうか？

自社のAIシステムをどのように開発・テストしたのかについて、明確に説明しているベンダーを探すようにしましょう。その際、AIシステムに英国国家サイバーセキュリティセンター（NCSC）の『セキュアAIシステム開発ガイドライン』で推奨される基準が適用されているかどうかを考慮してください。

AIシステムのサプライチェーンは複雑になり得るため、内在的なリスクを伴う可能性が十分にあります。サプライチェーンの評価を実施することは、こういったリスクを特定し、対応する上で助けとなります。

使用するAIシステムのトレーニングに自組織が関与している場合、基礎的なトレーニングデータに限らず、ファインチューニング用データのサプライチェーンについても考慮すると、データポイズニング攻撃の防止に役立ちます。データやモデルのパラメータの安全性を確保することは極めて重要です。

AIシステムの限界や制約を把握しているか？

AIシステムは信じられないほど複雑なものになり得ます。ほとんどの場合、AIシステムが動作する仕組みの煩雑さを理解することは困難、あるいは不可能ですが、それでもなお、AIシステムの一般的な限界や制約を把握することは有益です。例えば、使用しているAIシステムがハルシネーションを起こしやすいかどうか。あるいはそのシステムがデータの分類を行っている場合、どのくらいの確率で誤検出や見逃しが生じているのか。こういったシステムの限界や制約について理解しておくと、さまざまなプロセスにおいてそれらを考慮する際に役立ちます。

AIシステムを安全にセットアップ・維持・使用する上で、適格な人材がいるかどうか？

AIシステムを安全にセットアップ・維持・使用するために、自組織で十分なリソースを確保してください。

AIシステムの操作を誰が担当するのか、担当者はシステムを安全に操作する上でどのような知識が必要なのか、その知識はどのように発展させられるのかについても考えます。

システムを使用する担当者は、例えば個人を特定できる情報や組織の知的財産など、どのデータを入力できて、どのデータを入力できないかについてトレーニングを受けることが推奨されます。また、出力された内容の信ぴょう性の評価や、組織が行う検証プロセスの一切に関しても、同様にトレーニングを受けるべきです。

AIシステムを定期的に検査しているかどうか？

データドリフトの検出に加え、システムを意図した通りに効率よく動作させるため、AIシステムが正常に動作しているかどうかを定期的に検査しましょう。データドリフトは、AIシステムが学習時に想定していたデータと運用時のデータが異なる場合に起こります。これはAIシステムの予測性能を劣化させる要因となり、AIシステムの動作環境が変化するなど時間の経過に伴って発生します。通常の使用時に受信したデータを使い、システムのトレーニングデータを定期的に更新することで、この現象が起こるリスクを軽減できます。自組織におけるAIシステムの安全な運用・メンテナンスについて、詳しくは英NCSCが米CISAらと共同で発表した『セキュアAIシステム開発ガイドライン』をご覧ください。

記録やモニタリングを実施しているかどうか？

AIシステムに関連する異常または有害なアクティビティについて、自組織で検出する方法を検討しましょう。

• AIシステムの出力内容を記録・監視し、振る舞いやパフォーマンスにおける変化がないか確認しましょう。これらの変化は、侵害やデータドリフトの兆候を示している可能性があります。
• AIシステムに入力される内容を記録・監視することで、コンプライアンス義務を確実に果たし、インシデント発生時の調査や対処に役立てましょう。
• AIシステムをホストしているネットワークやエンドポイントを記録・監視し、システムデータへのアクセスや、情報の改ざん／コピーを試みる動きを特定しましょう。
• トレーニングデータやAIシステムの開発・生成環境、バックアップを保持するリポジトリへのログインを記録・監視しましょう。自組織で使用するあらゆる記録ツールやモニタリングツールは、AIシステムとどのように統合できるのか検討してみてください。
• 高頻度で繰り返し使われるプロンプトを記録し、注視しましょう。これらは自動化されたプロンプトインジェクション攻撃の兆候かもしれません。
• AIシステムの活動に関する基準を確立し、記録されたイベントに異常があるかどうかを自組織で判定する際に役立てましょう。

AIシステムに問題が生じた場合にどう対処するのか？

AIシステムがインシデントやエラーによって影響を受ける場合、自組織にどのような影響が及ぶのかについて考えましょう。そうすることで、適切な緩和策や緊急対策を講じることができます。

サードパーティのAIシステムを使用している場合は、ベンダーが保証する稼働時間や可用性についてよく理解しておきましょう。インシデント管理に関するベンダーと顧客の責任が、サービス契約で明確に定義されていることを確認してください。

自組織のインシデント対応計画がAIシステムに起因／影響する問題をカバーしていることを確認し、深刻なインシデントが生じた場合に事業の継続性をどう達成するのかについても検討しましょう。またインシデント対応計画では、AIシステムに影響を及ぼすあらゆるインシデントに対処する上で重要な、役割と責任を明確に定義することが推奨されます。

参考

[1] Nasr, M., Carlini, N., Hayase, J., Jagielski, M., Cooper, A.F., Ippolito, D., Choquette-Choo, C.A., Wallace, E., Tramèr, F. and Lee, K., 2023. Scalable extraction of training data from (production) language models. arXiv preprint arXiv:2311.17035