AIシステム実用化のためのTest-Drivenアプローチ

Machine Learning Engineerの松本です。今回は、先日のブログにて紹介した、AI活用を阻む3つのAIリスク（機能・品質面のリスク、倫理的なリスク、セキュリティ面のリスク）に対して、当社がどのようなアプローチで取り組んでいるかを紹介したいと思います。

‍

様々なテストを通したTest-Drivenアプローチにより、AIモデルの頑健性を担保する

Robust Intelligenceでは、AIシステムを実用化する際の3つのAIリスクに対して、様々なテストをEnd-to-Endで実施してその頑健性をチェックするという、「Test-drivenアプローチ」を採用しています。

具体的には、AIモデルを開発する段階から、何百もの様々な種類のストレステストを行い、モデルの頑健性を包括的に診断します（AI Stress Testing）。このテストでは、さまざまなモデルの評価指標を算出し、一部の指標に関して「パフォーマンスが悪くなっていないか」「特定の特徴量に関してパフォーマンスが落ちていないか」「特徴量の微小な変化に対して予測値が乱高下しないか」「性別や人種などの保護属性に関して偏りのある予測をしていないか」など、ありとあらゆる観点からの検証を加えます。先ほど述べたテストは、何百とあるテストのほんの一部であり、データセットやモデルの種類によって適切なテストが自動的に行われます。

これにより、実運用に入る前に脆弱な点を発見し、解消に向けたアクションを取ることができます。そのストレステストにより診断された脆弱性を踏まえ、トレーニングのためのデータセットを見直したり、モデリングを変更したりして、十分本番に活用できるように頑健性を高めます。

本番環境に耐えられるとわかって始めて実運用段階に入りますが、運用段階でも継続してテストを行います。ストレステストでの診断結果に基づき、リアルタイムでの入力データを検証し（AI Firewall）、また不正な挙動がないか、入力データや予測結果にドリフトがないかなどを継続的にチェックし、必要に応じてモデルの再学習などを提案します（AI Continous Testing）。

‍

Test-Drivenアプローチか、説明可能なAIか

我々が推進する、テストにより脆弱性を包括的に診断して頑健性を高めるアプローチ（Test-Drivenアプローチ）は、AIモデルの文脈で時々言及されるAIの予測の論理を説明するアプローチ（説明可能なAI、”Explainable AI”と呼ばれることもあります）とは大きく異なります。

説明可能なAIというコンセプトは、簡単にいえば、AIモデルの予測がどのようになされたのかについて説明を求めることを指し、例えば「ある特徴量XがYという値だったので、Zという予測をした」という類の説明です。このアプローチは一見もっともらしく、説明可能性に関する研究も広く進められており、特徴量ごとの重要性を数値化・可視化するなど、一定のAIの透明化には寄与しています。

一方で、十分に高度なAIモデルは非常に複雑で、人間が理解できるように説明することは現実には困難です。特に直近大きな話題となっているChatGPTに用いられる大規模言語モデルなど（我々が発見したGPT-4の脆弱性に関してはこちらのブログ記事をご覧ください）は、パラメーターの数が膨大で複雑性が高く、また内部のアルゴリズムが完全にオープンになっているわけではないので、なぜAIが特定の出力をしたのかを正しく説明することはほぼ不可能と言えます。つまりAIモデルは、「説明可能性を高めようとすると、精度などを犠牲にした、比較的プリミティブなモデルにならざるを得ない」というジレンマを抱えているのです。

その上、仮になぜその予測をしたのかを説明できたとしても、その予測が妥当なものか、問題を抱えていないかは別問題であり、3つのAIリスクに対する検証はいずれにせよ必要になります。

対して、冒頭で述べたTest-Drivenアプローチは、ある種モデルのブラックボックス性をある程度認めた上で、その入出力の傾向から脆弱性を診断するため、あらゆるモデルに適用が可能です。

‍

説明可能性を過度に求めることはAIのポテンシャルを蝕む

「説明可能でなければAIが利用できない」となると、AIのポテンシャルを必要以上に狭めてしまいます。むしろなぜAIが特定の予測や出力をしたのか100％説明ができなくても、様々なテストに耐えた頑健であると示されたAIモデルの方が信頼性は高まるのではないでしょうか。こうした考え方でRobust Intelligenceは、Test-Drivenアプローチを採用しています。

これは何もAIモデルに限ったことではありません。例えば全身麻酔という技術は、1世紀以上もの間広く使われながらも脳の機能を一時的に停止させるメカニズムはごく最近まで明確にわかっていませんでしたが、数多くの患者が無事麻酔を終えているということで頑健性が担保されてきた経緯があります。また、創薬のプロセスも似たところがあります。副作用も含めた全てのメカニズムが解明できていなくても、治験という検証のプロセスを経て薬は実用化されます。そして、その効果が継続的に追跡調査されていることで、われわれはリスクを限定しつつ便益を享受できているのです。

AIにおいても、開発段階で十分なストレステストを行い、運用段階で継続的にモニタリングすることで、3つのAIリスクを抑えながら頑健で有用なAIモデルを提供できると考えています。

Robust Intelligenceのプロダクトにご興味をお持ちいただけた方は、ぜひトップページの「コンタクト」欄からデモをリクエストしてみてください。

‍