AIアプリケーションのセキュリティを実現
セキュリティ・セーフティの脅威から
AIアプリケーションを保護する新たな枠組み
Content
AIアプリケーションとは
AIアプリケーションとは、複雑なタスクを自動化するために、コアの構成要素にAIや機械学習モデルを利用するソフトウェア・システムのことを指します。ITヘルプデスク、金融アシスタント、健康保険に関する照会応答などのタスクを自動化するために、言語理解、推論、問題解決、知覚などが必要となります。
AIモデル単体では、こうしたタスク処理における利益は限定的かもしれませんが、AIモデルは魅力的な製品体験を生み出す強力なエンジンとなります。このようなAIを搭載したアプリケーションでは、エンドユーザーはモデルに情報を渡すインターフェースと対話し、多くの場合、データの補足ソース（例えば、保険アプリを使用する顧客の健康保険情報）や、自動化されている外部ツール（例えば、保険請求書の提出）にアプリケーションをリンクさせることが想定されます。
AIモデル単体では、こうしたタスク処理における利益は限定的かもしれませんが、AIモデルは魅力的な製品体験を生み出す強力なエンジンとなります。このようなAIを搭載したアプリケーションでは、エンドユーザーはモデルに情報を渡すインターフェースと対話し、多くの場合、データの補足ソース（例えば、保険アプリを使用する顧客の健康保険情報）や、自動化されている外部ツール（例えば、保険請求書の提出）にアプリケーションをリンクさせることが想定されます。
何十億ものパラメータと膨大なデータセットを持つ洗練された事前学習済み大規模言語モデル（LLM）は、汎用的な機能を提供します。企業は、オープンソースやクローズドソースのLLMをカスタマイズして、以下のような手法によって特定のタスクのパフォーマンスを向上させることができます。
ファインチューニング（Fine-Tuning）: モデルを特化させるために、より小さな特定のデータセットを使用する追加のトレーニングタスク。
フューショット学習（Few-Shot Learning）：モデルへの問い合わせを補足するために使用されるアプローチで、要求に適切に対応する方法の例を示すもの。多くの場合、そのモデルがどのように動作すべきかを説明するシステム説明書に含まれている。
検索拡張生成（Retrieval-Augmented Generation (RAG)）：ベクトルデータベースを介して、テキストファイル、スプレッドシート、コードなどの追加データソースに接続するために使用されるテクニック。これらのデータはクエリごとに動的にフェッチされ、クエリに関連する特定のドキュメントは個別の質問に正確に回答できるようプロンプトを補足するために使用される。
AIアプリケーションの例
AIの活用領域の広さによって、例えば以下のようなケースを事例として、あらゆる産業で変革が起きています。
- チャットボット：エンタープライズの検索、カスタマーサービス、バーチャルアシスタント
- 意思決定最適化：信用スコアリング、アルゴリズム取引、価格設定、ルート選択
- 複雑な分析：結果の予測、分類
- コンテンツ作成：執筆ツール、画像・動画作成
AIアプリケーションのセキュリティとは
導入が進めば進むほど、AIシステムは攻撃に晒されるようになります。イノベーションを阻害せずにAIを保護することは、サイバーセキュリティ担当者とAIのリーダーたちの共通の関心事です。このような責任の共有には、セキュリティ・セーフティの両面での防御を可能にする組織全体でのアプローチが必要です。ここで必要になるのが、新たな「AIアプリケーションのセキュリティ」のアプローチです。
AIアプリケーションのセキュリティは、脆弱性に対して基礎となるコンポーネントを強化し、攻撃を積極的に緩和することによって、AIを搭載したアプリケーションのセキュリティを確保するプロセスです。これは、サプライチェーン、開発、運用にまたがるAI開発のライフサイクル全体を包含するものです。チームがシステム開発の初期の段階からセキュリティを考慮する「シフトレフト」という考え方があり、これはAIの開発時にも脆弱性を特定・修正するのに役立ちます。また、企業は、運用段階で直面する新たな脅威や攻撃手法にも継続的に備えなければなりません。
AIアプリケーションのセキュリティは、脆弱性に対して基礎となるコンポーネントを強化し、攻撃を積極的に緩和することによって、AIを搭載したアプリケーションのセキュリティを確保するプロセスです。これは、サプライチェーン、開発、運用にまたがるAI開発のライフサイクル全体を包含するものです。チームがシステム開発の初期の段階からセキュリティを考慮する「シフトレフト」という考え方があり、これはAIの開発時にも脆弱性を特定・修正するのに役立ちます。また、企業は、運用段階で直面する新たな脅威や攻撃手法にも継続的に備えなければなりません。
企業が取り組むべき3つのAIリスク
01 セキュリティ面のリスク
セキュリティ面のリスクとは、悪意ある入力や、エンドユーザーによる意図せぬ操作によって生じるAIシステムの脆弱性を指します。これには、モデル、データ、または基礎となるソフトウェアに対する攻撃が含まれます。独自開発、商用、オープンソースのいずれのモデルも、サプライチェーンリスク、データポイズニング、プロンプトインジェクション、個人情報の漏洩、モデルの盗難など、様々な脅威の影響を受ける可能性があります。
02 倫理面のリスク
倫理面のリスクは、規範、法律、規制、またはその他のガバナンス基準に違反するモデル動作に起因しています。学習データに原因がある場合もあれば、長期間にわたるデータ生成の結果である場合もあります。例としては、偏った予測、有害な出力、排他性、偏見に基づく回答などがあります。
03 品質面のリスク
品質面のリスクは、モデル予測における乖離によるものです。これは、データドリフト、幻覚（Hallucination）、データの破損、滅多に発生しないケースの入力、データパイプラインの破損などの結果です。モデルを完全に破壊することはなく、下流の評価指標に微妙な影響を与えるため、このような水面下でのモデルの不具合は特に検出が困難です。
AIアプリケーションの脆弱性
AIアプリケーションには、対処すべき脆弱性が数多く存在しています。それらがオープンソースモデルであるか、商用モデルか、独自モデルであるかを問わず、あらゆる生成・予測AIが一定のリスクをもたらす可能性があります。こうした脆弱性の大部分は、NIST、MITRE ATLAS、OWASPを含む標準化団体が提供している脅威・脆弱性のマッピングに含まれています。
主に予期せぬ挙動・品質の問題によるセーフティ上の脆弱性
有害なアウトプット
センシティブな出力
サービスの悪用
AIを騙す操作
差別的なアウトプット
学習データの抽出
情報漏洩
主に外部からの攻撃に よるセキュリティ上の脆弱性
プロンプトインジェクション
学習データポイズニング
ジェイルブレイク（Jailbreaks）
メタ・プロンプトの抽出
プライバシー攻撃
機密情報の漏洩
サプライチェーン上の漏洩リスク
機械学習モデルのバックドア
サービス拒否（DoS）攻撃
詳細については、AIセキュリティタクソノミーのページをご覧ください。
従来のアプリケーションのセキュリティとの違い
AIアプリケーションと従来のソフトウェアの間の明確かつ明白な違いは、アプリケーションのエンジンです。従来型のソフトウェアは一般的に決定論的に動くもので、同じ入力からは常に同じ出力が得られ、予測可能性・一貫性は一般的に高いです。そのため、従来的なアプリケーションセキュリティで扱われる脆弱性は、比較的一定しており、理解も進んでいます。
一方で、AIにはさまざまなモデルタイプがあり、それらはしばしば非決定論的に挙動します。これは特に生成モデルに当てはまり、同じ入力が与えられても出力が異なるということが当たり前のように起こります。非決定論的なモデルへの脅威に対しては、決定論的なソフトウェアとは異なる緩和策が必要となります。さらに、AIアプリケーションの中には、ユーザーのフィードバックやその他のデータから継続的に学習を行うものもあります。これにより、従来のソフトウェアでは更新を行わない限り起こらない、導入後の脆弱性や挙動の変化が新たに発生するようになるのです。
AIリスクの軽減に新たな枠組みの導入が必要となるのはこのためです。
一方で、AIにはさまざまなモデルタイプがあり、それらはしばしば非決定論的に挙動します。これは特に生成モデルに当てはまり、同じ入力が与えられても出力が異なるということが当たり前のように起こります。非決定論的なモデルへの脅威に対しては、決定論的なソフトウェアとは異なる緩和策が必要となります。さらに、AIアプリケーションの中には、ユーザーのフィードバックやその他のデータから継続的に学習を行うものもあります。これにより、従来のソフトウェアでは更新を行わない限り起こらない、導入後の脆弱性や挙動の変化が新たに発生するようになるのです。
AIリスクの軽減に新たな枠組みの導入が必要となるのはこのためです。
AIアプリケーションのセキュリティを実現する ソリューションとは
従来のサイバーセキュリティソリューションは、AIと従来のソフトウェアの違いにより、AIアプリケーションに対しては必ずしもうまく機能しません。しかし、サイバーセキュリティの技術やベストプラクティスの多くは、AI開発のライフサイクルの各段階で活用できます。
AIアプリケーション開発におけるセキュリティ確保
従来のソフトウェアのサプライチェーンと同様に、AIのサプライチェーンも開発の初期段階からソフトウェアへの依存性を有しています。そのほかにも、Hugging Faceのようなリポジトリにあるオープンドメインのモデルなど、サードパーティのトレーニングデータやモデルコンポーネントを使用することもしばしばあります。このようなサードパーティのモデルに対しては、アプリケーションで使用されるモデルの安全でない、あるいは安全でない動作と同様に、ファイルフォーマット内の安全でない、あるいは悪意のあるコードをあらかじめスキャンすることが重要です。
オープンドメイン、商用モデル、プロプライエタリ・モデルのいずれを使用する場合でも、潜在的なセキュリティと安全性の問題についてモデルを検証する必要があります。例えば、洗練された基盤モデルであっても、ファインチューニングを施すことでアラインメントが破壊されることがあります。モデルの検証にあたっては、安全性・セキュリティを損なうようなアウトプットを引き出す数多のインプットに対するモデルの脆弱性をテストすることとなります。テストベースアプローチではモデルをブラックボックスとして扱うため、検証にはモデルへのAPIアクセスさえ確保できれば十分ですが、他方でモデルに変更を加えるたびに検証を行う必要があります。
オープンドメイン、商用モデル、プロプライエタリ・モデルのいずれを使用する場合でも、潜在的なセキュリティと安全性の問題についてモデルを検証する必要があります。例えば、洗練された基盤モデルであっても、ファインチューニングを施すことでアラインメントが破壊されることがあります。モデルの検証にあたっては、安全性・セキュリティを損なうようなアウトプットを引き出す数多のインプットに対するモデルの脆弱性をテストすることとなります。テストベースアプローチではモデルをブラックボックスとして扱うため、検証にはモデルへのAPIアクセスさえ確保できれば十分ですが、他方でモデルに変更を加えるたびに検証を行う必要があります。
AIアプリケーションの安全な導入
AIアプリケーションを本番稼動させた後は、AIアプリケーションに新たな安全性とセキュリティの脆弱性がないか、継続的に検証することが重要です。脆弱性の検証にあたっては、アプリケーションが新たな攻撃手法による被害を受けないようにするために、最新の脅威インテリジェンスやリスク研究の知見によるアップデートが必要です。
従来のソフトウェアの脆弱性とは異なり、AIの脆弱性は一時的に「パッチを当てる」だけでは解決が難しく、常にコントロールが必要です。AIアプリケーションのファイアウォールは、悪意のあるリクエストや望ましくない情報がモデルに到達するのをブロックし、安全でないレスポンスがエンドユーザーに到達するのをブロックすることができるソリューションです。ファイアウォールによるブロックのログは、セキュリティのチケットシステムやセキュリティ情報・イベント管理（SIEM）ソリューションに渡され、企業の望ましいセキュリティ・ワークフローの一部となります。
従来のソフトウェアの脆弱性とは異なり、AIの脆弱性は一時的に「パッチを当てる」だけでは解決が難しく、常にコントロールが必要です。AIアプリケーションのファイアウォールは、悪意のあるリクエストや望ましくない情報がモデルに到達するのをブロックし、安全でないレスポンスがエンドユーザーに到達するのをブロックすることができるソリューションです。ファイアウォールによるブロックのログは、セキュリティのチケットシステムやセキュリティ情報・イベント管理（SIEM）ソリューションに渡され、企業の望ましいセキュリティ・ワークフローの一部となります。
Robust Intelligenceにお尋ねください
Robust Intelligenceは、AI Securityの実現に向けたAIリスク管理のソリューションを提供しています。アメリカにおいてはJPモルガン・チェース、エクスペディア、米国防総省など、日本国内においては東京海上ホールディングス、楽天グループ、LINEヤフー、NEC、リクルート、SOMPOホールディングスなどの業界リーダーから信頼を得ています。
AIリスク管理のソリューションの詳細をご紹介します。