ユーロスター、AIチャットボットの欠陥報告した研究者らを「脅迫者」と非難
イギリスとヨーロッパ大陸を結ぶ高速鉄道「ユーロスター」が顧客向けに提供するAIチャットボットの脆弱性を、エシカルハッカーチームが発見。ユーロスターに報告したところ、「脅迫行為」であると非難されてしまったという。
Pen Test Partners(PTP)のある研究者/エシカルハッカーは、通常の顧客として旅行を計画していた際にユーロスターのチャットボットと初めて遭遇。このチャットボットの仕組みや制約について興味が湧き、調査を開始したところ見つかった欠陥について、12月22日公開のブログ記事にまとめた。
PTPの研究者によると、ユーロスターのチャットボットには、「チャットに送られた最新のメッセージだけしか安全チェックが行われない」というデザイン上の欠陥があったという。つまり、2件以上のメッセージをチャットに送ると、最後のメッセージが「安全」なものとみなされれば、それ以前に送られたメッセージも検証を経ることなく自動的に「安全」なものとしてAIモデルへ送られてしまう状態だった。研究者は、何件かメッセージを送って最新メッセージにより安全チェックを通過した後で、それ以前に送ったメッセージの1つを悪意ある指示に改変するというプロンプトインジェクションを行い、チャットボットに背後にあるAIモデルが何かを開示させることに成功している。
ユーロスターのAIチャットボットにはこのほかにも、HTMLインジェクションに脆弱で、悪意あるコードや偽のリンクを、ユーザーのチャット画面上に直接表示させることが可能だったという問題が存在。さらに研究者は、会話IDやメッセージIDが検証されていなかった問題、つまりチャットセッションが本当に当該ユーザーのものであるかが適切に確認されていない問題も発見している。これにより、攻撃者が他人の会話に対して過去のメッセージを「リプレイ」したり、悪意ある内容を注入したりできる可能性があったとされる。
PTPのチームはこの調査結果を6月11日にユーロスターへEメールで通知。18日にもフォローアップのメールを送ったものの返答は得られず、7月7日にLinkedInのダイレクトメッセージを使って同社のセキュリティ担当者に連絡を試みたという。
ユーロスターは脆弱性開示プログラムを用意しており、PTPはそれを利用していたものの、その後のやり取りの中で、ユーロスターはPTPから報告があった時期にセキュリティ報告プロセスの外部委託を行なっていたらしいことが判明。この移行プロセスの混乱の中で、PTPからの報告が一時的に行方不明になっていたものとみられる。
また両者のやり取りにおいては、ただ問題を報告しようとしただけであるPTPのセキュリティチームをユーロスターが「恐喝」だと非難する一幕もあったという。研究者らは「善意に基づいて脆弱性を開示した」にもかかわらず敵対的な対応を受けたことに驚きを示している。
上記の欠陥はすでに修正されたものとみられるが、研究チームは、大手ブランドは今回の件を警鐘とすべきだと警告。AI を活用しているからといって従来のWebセキュリティの原則が当てはまらなくなるわけではなく、バックエンドが堅牢でなければ、華やかなAI機能も単なる「見せかけ(演出)」に過ぎなくなると指摘した。
















とは?.jpg)