EU機関向けAIリスク管理ガイダンス：ISO 31000に基づくデータ保護原則遵守のための技術的対策

欧州連合の機関、団体、事務所および機関（EUI：EU Institutes）が個人データを処理するAIシステムを開発、調達、展開する際、データ主体の基本的権利と自由に重大なリスクをもたらす可能性がある。これを受け、欧州データ保護監督機関（EDPS）は、EUIがコントローラーとしてこれらのリスクを特定し、軽減する義務（アカウンタビリティの原則）を果たすための分析的枠組みを提供する「AIシステムのリスク管理に関するガイダンス」を発表した。

本ガイダンスは、Regulation (EU) 2018/1725（GDPR）に基づき、リスクマネジメント規格であるISO 31000:2018に沿ったリスク管理手法をEUDPRの要件に合わせて具体化している。その目的は、AIシステムのライフサイクル全体を通じた、体系的かつ説明責任のある方法でのリスク管理を可能にすることにある。特に、公正性、正確性、データ最小化、セキュリティ、およびデータ主体の権利といった主要なデータ保護原則への不遵守リスクに焦点を当てている。

AIリスクの定義と構成要素（ISO 31000準拠）

本ガイダンスは、ISO 31000:2018の用語に基づいて「リスク」を体系的に定義しており、リスクは以下の4つの要素で構成される。

• リスク源（Risk source）：AIシステムの調達、開発、または展開の状況における個人データの処理そのものを指す。

• 事象（Event）：その個人データの処理が、データ主体の基本的権利と自由を妨げる状況を指す。本ガイダンスでは、事象はGDPRに明示的に規定された規定への不遵守という状況として概念化されている。

• 結果（Consequence）：事象が発生した場合に、データ主体に引き起こされる可能性のある物質的または非物質的な損害である。この損害には、差別、なりすまし、経済的損失、評判の毀損、またはその他の重大な経済的・社会的不利益が含まれる可能性がある。

• 管理策（Control）：リスクが現実化する可能性を低減し、またはそれが現実化した場合のデータ主体への影響を軽減するために管理者が導入できる技術的な対策を指す。

全体を通じた要件：解釈可能性と説明可能性

AIシステムを調達、開発、展開するにあたり、解釈可能性（Interpretability）と説明可能性（Explainability）は、管理者がGDPR上の義務を遵守するための必要不可欠な前提条件（sine qua non）である。

AIシステムが「ブラックボックス」として運用され、内部動作や意思決定プロセスが不透明になるリスクを回避するため、以下の対策が必要となる。

• 適切な文書化： 使用したAIアーキテクチャ、訓練用個人データの出所、潜在的なバイアス、システムの限界について詳細に記載された文書を作成し、コントローラーがその公正性を確認できるようにする。

• 説明可能性技術の検討： LIMEやSHAPなどの技術を導入することを検討する。

データ保護原則に基づく主要なリスクと対策

公正性の原則（Principle of fairness）

公正性原則への不遵守を引き起こす最も重要なリスクは「バイアス」の存在であり、AIソリューションは既存の人間によるバイアスを増幅させ、新たなバイアスを取り込む傾向がある。

• バイアスの種類とリスク： 訓練用個人データの品質不足によるバイアス（リスク5.1.1）、訓練用個人データ自体に含まれるバイアス（母集団バイアス、歴史的バイアス）、訓練データ内のノイズを過度に学習する過学習（Overfitting）、アルゴリズムの設計自体から生じるアルゴリズムのバイアス、アナリストの先入観から生じる解釈バイアスなどがある。

• 対策例： 訓練データセットが、使用される母集団を多様かつ代表的に反映していることを確認し、センシティブな属性の代理となる特徴量（例：郵便番号）など、バイアスを導入しにくいバイアスフリーの特徴量を選択する。また、過学習を防ぐために早期停止や正則化技術（L1・L2など）を適用する。

正確性の原則（Principle of accuracy）

AIシステムの「統計的正確性」の評価を怠ることで、不正確な個人データが出力されるリスクが生じる。LLMは事実を「捏造（ハルシネーション）」する可能性があり、注意が必要である。また、時間の経過によるデータの統計的特性の変化（データドリフト）も不正確な出力の原因となる。

• 対策例： 高品質で多様かつ代表的でバランスの取れた訓練データを使用する。エッジケースや敵対的サンプルを用いてAIシステムの検証と妥当性確認を行い、AIの予測が二重にチェックされるよう、人間の監視（Human Oversight）を組み込む。データドリフト検出手法を実装し、定期的なモデルの再訓練を行う。

データ最小化の原則（Principle of data minimisation）

個人データは、処理の目的に照らして、適切で、関連性があり、かつ必要なものに限定されなければならない。AIシステムの目的に必要ではない情報を含む、無差別な収集と保管はリスクとなる。

• 対策例： 訓練データセット全体ではなく、多様性と主要な特性を正確に反映する代表的な部分集合（データサンプリング）を使用する。可能な限り、匿名化または仮名化されたデータを使用してAIシステムを開発する。

セキュリティの原則（Principle of security）

AI固有のリスクとして、AIモデルの出力から訓練データに含まれる個人の詳細が意図せず漏洩する可能性がある。

• 対策例： 訓練データの最小化により、IDが照合されるリスクを最小限に抑える。再識別を困難にするため、データ摂動技術（一般化、集約、差分プライバシー/ノイズ追加など）を使用する。保管中の情報漏洩を防ぐためデータを暗号化する。APIへのアクセスに対して強力な認証メカニズム（MFAなど）とロールベースアクセス制御（RBAC）を実装する。

データ主体の権利への対応

AIシステムの複雑な性質により、データ主体（アクセス、訂正、消去など）の権利を行使することが困難になる場合がある。特に非構造化データセットやディープラーニングモデルでは、特定の個人データを特定することが難しい。

• 課題と対策： 個人データを含む記録を容易に識別できるようにメタデータを保持する。特定のデータポイントの影響を選択的に忘れさせるプロセスである機械アンラーニング（Machine Unlearning）を適用する。機械アンラーニングが実現不可能な場合は、AIモデルの応答から個人データを検出・ブロックする出力フィルタリングを使用する。

ISO 31000に基づく枠組みと民間利用への知見の活用

本ガイダンスは、個人データを処理するAIシステムがデータ主体にもたらす重大なリスクを、EUIが体系的かつ説明責任のある方法で特定し、軽減するための分析的枠組みを提供する。この枠組みは、ISO 31000:2018に準拠したリスク管理手法をEUDPRの要件に合わせて具体化している。

AIシステムは、適切な安全対策が最初から組み込まれていなければ、基本的人権へのリスクを前例のない規模と速度で増幅させる可能性がある。コントローラーは、AIシステムのライフサイクル全体を通じて、この枠組みを活用し、リスクを体系的かつ説明責任のある方法で特定、評価、軽減することが中心的な義務となる。

本ガイダンスはEUIを主な対象とした文書であるが、そのISO 31000に基づき体系化されたリスク評価の枠組みと、AIリスクの性質（バイアス、データドリフト、解釈可能性の欠如など）に関する詳細な知見、そして提案されている技術的軽減策は、AI利用を取り巻く普遍的な課題を扱っている。

したがって、この体系的なリスク評価の枠組みと詳細な技術的知見は、民間企業を含む広範な組織がAI利用におけるデータ保護基準（GDPRを含む）を遵守し、公衆の信頼を維持する上で、極めて価値のある資料となる。AIガバナンスにこれらの実践を組み込むことは、イノベーションが基本的人権とデータ保護原則の尊重にしっかりと根差すための基盤となる。

個人データをAIで処理することを意図している事業者にとって、プライバシーリスクの最小化の観点で参考となる文書である。