Риск

Как проявляется

Мера управленческого контроля

Смещения и неполнота данных

модель «наказывает» отрасли/муниципалитеты с более полной отчетностью

контроль качества, стратификация выборок, тесты справедливости и дрейфа

Манипулирование (gaming)

участники подстраивают поведение под индикаторы, не снижая реальный риск

ротация признаков, сочетание правил и ML, мониторинг адаптивного поведения

«Черный ящик»

инспектор не может объяснить, почему объект в приоритете

использование объяснимых моделей, карточки признаков, протоколы решений

Ложные срабатывания

перегруз контрольного органа, падение доверия

калибровка порогов, пилоты, контроль полезности сигнала (audit yield)

Риски персональных данных

нецелевой доступ, утечка, «избыточное» профилирование

минимизация данных, разграничение доступа, журналирование, DPIA-подобные процедуры

Зависимость от поставщика

невозможность смены решения без потери модели/данных

контрактные требования к переносимости, открытые форматы, независимый аудит