AI脅威ランドスケープの処方箋：米大統領令からサイバー攻撃の最前線まで

規制の取り組みから有害なAIモデルに至るまで、AIという諸刃の剣について徹底解説します。

*本記事は、弊社マキナレコードが提携する米Flashpoint社のブログ記事（2023年11月3日付）を翻訳したものです。

将来性とリスク：AIの脅威、規制と監視

世界を席巻している人工知能（AI）。ヘルスケアから金融、輸送からエンターテインメントの分野に至るまで、AIは私たちの日常生活に馴染みのあるものとなりつつあります。

しかし、その能力には大きな魅力がある反面、AIはデジタル脅威ランドスケープにおいて影響力を高めています。著作権侵害やデータプライバシー、さらに偽情報など、代表的な例だけでも、AIが引き起こすであろう問題を世界はすでに目の当たりにしているのです。AIとAI市場の急速な成長を踏まえ、世界各国の政府にはガイダンスの整備に向けて強いプレッシャーがかかっています。

米国のバイデン大統領は最近、安全性とセキュリティの強化、プライバシー保護、偏見と差別の抑制、消費者と労働者の保護、強健で競争力があるエコシステムの確立、AI使用に関する国際基準および政府基準の作成を目的とする大統領令を発令しました。AIの「計り知れない将来性とリスク」に対処するため、バイデン政権が定めた安心かつ安全で信頼性のある人工知能の開発と利用に関する大統領令の趣旨は以下の通りです。

・AIの安全性とセキュリティを総合的に改善

・米国民のプライバシー保護を強化

・アルゴリズムによる差別や偏見を抑制

・消費者、患者、学生の権利保護を強化

・AIによって生じうる職権濫用や職場の混乱のリスクを抑制

・競争力のあるAIエコシステムを整備

・国際パートナーとの協力によるAI基準の作成を加速

・政府のAI使用に関する基準を制定

AIの脅威：サイバー脅威アクターによる悪用

Flashpointは、複数の脅威アクターやAPT（高度持続的脅威）が、新たなツールの開発とAIの悪用に関する仲間の教育を含め、それぞれの不正な活動にAIを取り入れるためのテクニックを不法フォーラムで盛んに議論・共有しているのを観測しています。

Flashpointは、以下のような形でAIが活用されているのを確認しています。

・低レベルのサイバー攻撃を簡略化し、ソーシャルエンジニアリングを支援する

・ディープフェイクなどの手口を用いて、プロパガンダと偽情報を拡散する

・有害なコードやマルウェアのサンプルを生成する

・偵察や情報収集を行う

低レベルの攻撃を増強するものとしてのAI

AIツールは低レベルの攻撃を実施するためのハードルを著しく引き下げることから、組織にとっては大きな脅威であり続けています。基本的なハッキング行為をより簡単に行えるようになることで、脅威アクターはオープンポートを容易にスキャンできる他、仮想マシンの展開やフィッシングメールの大量作成を行えるようになります。

AIはまだ成長の初期段階にあるため、現時点でAIのコード生成を用いた攻撃はあまり巧妙ではありません。AIアルゴリズムにより、新しいコードや未知のコードが生成される事例もまだ確認されていません。現在、AIツールで生成されるコードは基本的なものばかりか、バグが多い傾向にあり、適切な脆弱性管理プログラムを導入している組織が侵害される可能性は低いとみています。

1.ソーシャルエンジニアリング

おそらく、AIが現在もたらす脅威で最も喫緊の課題といえば、ソーシャルエンジニアリング能力の向上でしょう。フィッシングはランサムウェアやその他のサイバー脅威の主要な攻撃ベクターであり、現在もその傾向が続いています。

AIツールでは複雑かつ有害なコードを生成できない可能性があるとはいえ、AI言語モデルは導入されて以来、飛躍的な進化を遂げています。AIチャットボットを使えば、英語を話さない脅威アクターでも巧妙なメッセージを英語で作成できるようになるだけでなく、GPT-4を使えば、ほぼすべてのテーマについて長文の返信を作成できたり、有名作家や著名人の文体も真似できたりするなど、ユーザーは高度なレベルのものを再現できるようになります。

この能力は、データ侵害によって入手した文章のサンプルと組み合わせると、さらに効果的なものであることが分かります。ChatGPTのようなAIツールを使うことで、脅威アクターは信頼する社内職員や関係者の文章スタイルをAIモデルに再現させ、ビジネスメール詐欺を用いてスピアフィッシングやホエーリング攻撃を後押しする可能性があります。

2.プロパガンダと偽情報

ディープフェイクは脅威アクターにとって、発展を続ける一貫したツールです。脅威アクターは動画や画像を生成・乱用することで、ネガティブキャンペーン目的で個人を標的にしたり、偽情報を拡散して詐欺を助長したりしています。近年、標的となった有名人の数は増えており、何も知らない一般の人々を騙すために、インフルエンサーのミスタービースト氏やイーロン・マスク氏などの画像が利用されています。AIが生成したテキスト、音声、動画のツールがますます利用しやすくなることで、偽情報キャンペーンはより簡単に行われるようになるでしょう。

関連記事：ガザめぐる偽情報と、AIが果たす有害な役割

3.マルウェアや有害なコードの生成

前述したように、現在AIが生成するマルウェアやその他の有害なコードは基本的なものです。しかし、こういったコードやスクリプトでもサイバー攻撃に使用されることがあります。ダークネット上では、AIを使って情報窃取型マルウェアを作成したと主張している脅威アクターがいます。弊社のアナリストはまだ、AIのテキストツールで生成されたコードを使用した新たな攻撃に関する報告を確認していませんが、AIが進歩するにつれて、こういった攻撃ベクターは深刻化する恐れがあります。

4.偵察と情報収集

AIの画像関連技術は物理セキュリティにも影響を及ぼす可能性があります。脅威アクターは偵察目的でAIを使って画像や動画を読み取る恐れがあり、例えば情報収集または偵察のために、固有の物体や位置情報、あるいは個人を自動で認識するのにこの技術が使われることがあります。悪意のあるアクターも研究者も、光学式文字認識（OCR）用のソフトウェアを使って画像から文字を抽出し、攻撃あるいは調査を後押しする場合があるのです。

脅威アクターが最も多く使用するAIツールトップ5

脅威アクターは一般の人々が使うものと同じAIツールを使用しており、巧みに設計されたプロンプトや、AIにプログラムされた制約を無視するように仕向けるロールプレイ「今すぐ何でもして」（DAN）を用いてAIを操作しています。脅威アクターが最も多く使用するAIツールの上位5つは以下の通りです。

・ChatGPT

・DALL-E

・ElevenLabs

・Midjourney

・Reface

ChatGPTの言及数は、他のツールの言及数をすべて足し合わせた数よりも上回っています。これはより幅広くメディアから注目されていること、ユースケースが多様であること、そして無料で使用できることが理由である可能性が高いとアナリストは評価しています。

カスタム構築された有害なAIモデルの出現

OpenAIやその他のAI関連企業は、DANや有害なプロンプトによって生じる影響を軽減するための対策に踏み出しています。この動きに対抗して、悪意のある方法で利用するために特別設計されたAIモデルが開発されるようになりました。こういったモデルは倫理的または法的な制約を一切排除するもので、違法なコンテンツでトレーニングされているため、違法で、暴力的または性的に露骨なコンテンツを問題なく生成してしまいます。WormGPTとFraudGPTは、最も悪名高い2組の脅威アクターが開発したモデルです。

WormGPT

WormGPTは、ChatGPTを模した有害なAIチャットボットです。ChatGPTとは異なり、WormGPTは特にフィッシング攻撃で利用することが意図された有害なコードやテキストを進んで提供します。

弊社のコレクションを監視したところ、Flashpointは2023年6月〜7月にかけて、さまざまな不法オンラインコミュニティで投稿されたWormGPTに関する言及を500件以上確認しました。これらの議論の中にはユーザーによるレビュー、ツールの購入方法、トラブルシューティングについてのものがあり、やり取りの大半で英語が使われていましたが、アラビア語、中国語、ロシア語など他の言語での議論も行われました。

FraudGPT

FraudGPTは、ChatGPTやWormGPTと同じように動作するTelegramベースの有害なチャットボットです。WormGPTのように、このツールは有害なコードを進んで提供します。FlashpointはFraudGPTへのアクセスを獲得し、フィッシングやDDoS攻撃に関する質問に返答しないようであることを確認しました。また、銀行強盗などの窃盗に関する質問にも答えませんでした。

Flashpointの専門技術でAIの脅威に対抗しましょう

日々進化するAIを使った脅威ランドスケープに対し、断固とした行動を取りましょう。FlashpointはAIを利用したサイバー脅威を理解し、対処するために必要なインテリジェンスとツールをお届けしています。詳しくは、以下のフォームよりお気軽にお問い合わせください。