AIセキュリティのリスク

直接的なプロンプトインジェクションとは、既存の命令を上書きするような命令をプロンプトを介して提供することで、LLMの出力を変更または制御しようとする敵対的な攻撃を指します。これらの出力には、有害なコンテンツ、誤った情報、または個人情報やモデルに対する指示などの機密情報が含まれる可能性があります。

間接的なプロンプト・インジェクションは、文書、ウェブサイト、またはデータベースから取得されたコンテンツなど、LLMが使用するリソースを敵対者が制御または操作することで発生します。データの漏えいや、フィッシング・リンクの配布のような悪意のある動作の実行などのおそれがあります。

ジェイルブレイク（脱獄）とは、モデルのセーフガードを迂回し、不適切、有害、あるいは意図された目的にそぐわないLLM出力を生成するように設計されたプロンプトベースの攻撃を指します。洗練された攻撃用プロンプトによって、制限された機能やデータへのアクセス、モデルの完全性の毀損などのおそれがあります。

メタプロンプトの抽出とは、LLMアプリケーションの動作を効果的に誘導するシステムプロンプトを導き出すことを目的とした攻撃です。抽出されたメタプロンプトは攻撃者に悪用され、企業の知的財産、競争優位性、評判に損害を与える可能性があります。

機密情報の漏えいとは、AIアプリケーションの脆弱性によって、個人情報（Personal Identifiable Information）や業務記録などの機密・機微データが外部に漏えいすることを指します。このようなプライバシー侵害によって、企業は信頼を失い、法的または規制上の係争を招くおそれがあります。

プライバシー攻撃とは、AIモデルやそのデータから機密情報を抽出することを目的とした攻撃を広く指すものです。このカテゴリーには、ターゲットモデルの出力を探ることで同等の機能を持つモデルを再現するモデル抽出や、特定のデータレコードがモデルの学習に使用されたかどうかを判断するメンバーシップ推論攻撃が含まれます。

学習データポイズニングとは、AIモデルの完全性を損なうために学習用のデータを意図的に操作することです。学習データポイズニングを受けると、歪んだ出力や偏った出力、悪意のあるリンクの挿入などのバックドア・トリガー、そして最終的にはユーザーの信頼の喪失につながる可能性があります。