Книга представляет собой комплексное руководство по применению искусственного интеллекта и машинного обучения (ИИ/ML) с целью снижения рисков для современного бизнеса, связанного с использованием этих технологий. Рассмотрены основы управления рисками и компьютерной безопасности, нормативные акты, ответственность за качество продуктов, основанных на ML, а также объяснимые модели и методы их проверки, включая новый фреймворк управления рисками NIST AI. Читателю предложен углубленный взгляд на программирование с использованием Python и подробными примерами для структурированных и неструктурированных данных. Особое внимание уделяется объяснимым бустинговым машинам, библиотеке XGBoost и методам повышения качества моделей ML. Представлены основанные на реальном опыте советы о том, как организовать успешную работу с приложениями высокого риска. Приведены практические примеры, иллюстрирующие важность и сложность внедрения ML в различных отраслях.
За последнее десятилетие мы стали свидетелями широкого внедрения технологий искусственного интеллекта и машинного обучения (ИИ/ML). Однако отсутствие контроля над их повсеместным внедрением привело к различным инцидентам с пагубными последствиями, которых можно было бы избежать при правильном управлении рисками. Прежде чем мы сможем реализовать истинные преимущества ИИ/ML, специалисты должны понять, как снизить риски, связанные с этой технологией.
В рамках подходов к ответственному использованию ИИ в книге описана целостная структура для улучшения технологии ИИ/МО, бизнес-процессов и культурных компетенций, основанная на лучших практиках управления рисками, кибербезопасности, конфиденциальности данных и прикладных социальных наук.
Авторы создали это руководство для специалистов по работе с данными, которые хотят улучшить работу систем ИИ и ML для организаций, потребителей и общества в целом.
- Изучите технические методы разработки ответственного ИИ в таких вопросах как объяснимость, проверка и отладка моделей, управление предвзятостью, конфиденциальность данных и безопасность ML
- Уделите особое внимание объяснимым бустинговым машинам, библиотеке XGBoost и методам повышения качества моделей
- Узнайте, как создать успешную и эффективную систему управления рисками
- Ознакомьтесь с обзором действующих стандартов, законов и критериев оценки технологий ИИ, включая новый фреймворк управления рисками NIST AI
- Воспользуйтесь наглядными примерами углубленного программирования на Python , а также интерактивными ресурсами на GitHub и Colab
Книгу “Машинное обучение для приложений высокого риска: подходы к ответственному искусственному интеллекту” можно купить в нашем интенет-магазине.
Краткое оглавление…………………………………………………………………………………. 5
Отзывы о книге……………………………………………………………………………………… 15
Предисловие…………………………………………………………………………………………… 19
Введение………………………………………………………………………………………………… 21
Кому адресована эта книга………………………………………………………………………………………………………. 22
Что вы узнаете из этой книги…………………………………………………………………………………………………….. 22
Соответствие системе управления рисками искусственного интеллекта NIST………… 24
Структура книги………………………………………………………………………………………………………………………… 25
Часть I……………………………………………………………………………………………………………………………… 25
Часть II…………………………………………………………………………………………………………………………….. 26
Часть III…………………………………………………………………………………………………………………………… 26
Примеры наборов данных………………………………………………………………………………………………………… 26
Кредитные данные Тайваня………………………………………………………………………………………….. 27
Данные рентгенографии грудной клетки Kaggle………………………………………………………….. 28
Условные обозначения, принятые в этой книге………………………………………………………………………. 29
Архив с иллюстрациями к книге……………………………………………………………………………………………….. 29
Благодарности…………………………………………………………………………………………………………………………… 30
Часть I. Теория и практика управления рисками в приложениях ИИ 31
Глава 1. Современное управление рисками в ML…………………………………… 33
Обзор нормативно-правовой базы…………………………………………………………………………………………… 34
Закон ЕС об искусственном интеллекте……………………………………………………………………….. 34
Федеральные законы и правила США………………………………………………………………………….. 35
Государственные и муниципальные законы……………………………………………………………….. 36
Изначальная ответственность за качество продукта………………………………………………….. 37
Правоприменительная практика Федеральной торговой комиссии………………………….. 38
Авторитетные методики……………………………………………………………………………………………………………. 39
Инциденты с ИИ…………………………………………………………………………………………………………………………. 41
Культурные аспекты управления рисками машинного обучения………………………………………… 44
Организационная ответственность……………………………………………………………………………….. 44
Культура эффективного испытания……………………………………………………………………………… 46
Разнообразные и опытные команды…………………………………………………………………………….. 46
Испытание продукта на себе…………………………………………………………………………………………. 47
Двигайтесь быстро и ломайте устои…………………………………………………………………………….. 47
Организационные процессы управления рисками машинного обучения…………………………….. 48
Прогнозирование возможных отказов………………………………………………………………………….. 48
Известные отказы…………………………………………………………………………………………………… 49
Неспособность предвидения…………………………………………………………………………………. 49
Процессы управления модельными рисками……………………………………………………………….. 50
Уровни риска………………………………………………………………………………………………………….. 50
Документация модели……………………………………………………………………………………………. 51
Мониторинг модели……………………………………………………………………………………………….. 52
Инвентарный учет моделей…………………………………………………………………………………… 53
Проверка системы и аудит процессов………………………………………………………………….. 53
Управление изменениями………………………………………………………………………………………. 54
За пределами управления модельными рисками………………………………………………………… 54
Аудит и оценка модели………………………………………………………………………………………….. 55
Оценка воздействия………………………………………………………………………………………………… 55
Подача апелляции, отмена решения и отказ от участия……………………………………. 56
Парное и двойное программирование………………………………………………………………….. 56
Ограничение полномочий при развертывании модели………………………………………. 57
Награда за обнаружение ошибок…………………………………………………………………………. 57
Реагирование на инциденты с ИИ…………………………………………………………………………. 58
Пример: взлет и падение iBuying от Zillow………………………………………………………………………………. 60
Последствия…………………………………………………………………………………………………………………….. 61
Какие уроки мы можем извлечь?…………………………………………………………………………………… 61
Ресурсы……………………………………………………………………………………………………………………………………….. 64
Глава 2. Интерпретируемость и объяснимость……………………………………….. 65
Машинное обучение………………………………………………………………………………………………………………….. 65
Важные принципы интерпретируемости и объяснимости…………………………………………………….. 66
Объяснимые модели…………………………………………………………………………………………………………………… 71
Аддитивные модели……………………………………………………………………………………………………….. 71
Регрессия со штрафом……………………………………………………………………………………………. 71
Обобщенные аддитивные модели…………………………………………………………………………. 75
GA2M и объяснимые бустерные машины……………………………………………………………. 76
Деревья решений…………………………………………………………………………………………………………….. 76
Одиночные деревья решений………………………………………………………………………………… 76
Ограниченные модели XGBoost……………………………………………………………………………. 79
Экосистема объяснимых моделей машинного обучения……………………………………………. 79
Апостериорное объяснение………………………………………………………………………………………………………. 82
Атрибуция и важность признаков…………………………………………………………………………………. 83
Локальные объяснения и атрибуция признаков………………………………………………….. 84
Глобальная значимость признака………………………………………………………………………… 91
Суррогатные модели……………………………………………………………………………………………………… 95
Суррогатные модели дерева решений…………………………………………………………………. 95
Линейные модели и локально интерпретируемые объяснения………………………….. 97
Якоря и правила……………………………………………………………………………………………………… 99
Графическое представление характеристик модели………………………………………………….. 99
Частичная зависимость и индивидуальное условное ожидание……………………….. 99
Накопленный локальный эффект……………………………………………………………………….. 102
Профилирование кластеров………………………………………………………………………………………… 102
Трудноразрешимые проблемы апостериорного объяснения на практике…………………………. 103
Сочетание объяснимых моделей и апостериорных объяснений………………………………………… 107
Пример: алгоритмическая корректировка оценок………………………………………………………………… 109
Ресурсы…………………………………………………………………………………………………………………………………….. 112
Глава 3. Отладка систем машинного обучения…………………………………….. 113
Обучение…………………………………………………………………………………………………………………………………… 114
Воспроизводимость……………………………………………………………………………………………………… 115
Качество данных………………………………………………………………………………………………………….. 116
Спецификация модели для вывода в реальных условиях…………………………………………. 121
Бенчмарки и их альтернативы……………………………………………………………………………. 121
Калибровка…………………………………………………………………………………………………………… 121
Конструктная валидность…………………………………………………………………………………… 122
Предположения и ограничения…………………………………………………………………………… 123
Функции потерь по умолчанию………………………………………………………………………….. 123
Множественные сравнения…………………………………………………………………………………. 123
Будущее безопасного и надежного машинного обучения……………………………….. 124
Отладка модели……………………………………………………………………………………………………………………….. 124
Тестирование программного обеспечения…………………………………………………………………. 125
Традиционная оценка модели…………………………………………………………………………………….. 126
Распространенные ошибки ML…………………………………………………………………………………… 128
Смещение распределений……………………………………………………………………………………. 128
Эпистемическая неопределенность и разреженность данных………………………… 129
Нестабильность……………………………………………………………………………………………………. 130
Утечка……………………………………………………………………………………………………………………. 131
Петля обратной связи…………………………………………………………………………………………… 132
Переобучение……………………………………………………………………………………………………….. 132
Ложное обучение…………………………………………………………………………………………………. 133
Недостаточное обучение…………………………………………………………………………………….. 134
Неполная идентификация……………………………………………………………………………………. 134
Анализ остатков……………………………………………………………………………………………………………. 137
Анализ и визуализация остатков………………………………………………………………………… 137
Моделирование остатков……………………………………………………………………………………. 138
Локальный вклад в остатки…………………………………………………………………………………. 139
Анализ чувствительности……………………………………………………………………………………………. 141
Эталонные модели……………………………………………………………………………………………………….. 144
Исправление ошибок……………………………………………………………………………………………………. 145
Развертывание………………………………………………………………………………………………………………………….. 148
Безопасность в предметной области………………………………………………………………………….. 148
Мониторинг модели……………………………………………………………………………………………………… 150
Устаревание модели и дрейф концепта……………………………………………………………… 150
Обнаружение и устранение дрейфа……………………………………………………………………. 151
Мониторинг нескольких ключевых показателей эффективности……………………. 152
Значения вне диапазона………………………………………………………………………………………. 152
Обнаружение аномалий и эталонные модели…………………………………………………… 152
Аварийные выключатели…………………………………………………………………………………….. 153
Пример: смерть от автономного транспортного средства…………………………………………………… 154
Последствия………………………………………………………………………………………………………………….. 154
Неподготовленная правовая система…………………………………………………………………………. 154
Какие уроки мы можем извлечь?…………………………………………………………………………………. 155
Ресурсы…………………………………………………………………………………………………………………………………….. 156
Глава 4. Борьба с предвзятостью в машинном обучении……………………… 157
Определения предвзятости в ISO и NIST……………………………………………………………………………….. 159
Системная предвзятость………………………………………………………………………………………………. 160
Статистическая предвзятость……………………………………………………………………………………… 160
Человеческая предвзятость и культура науки о данных………………………………………….. 160
Правовые понятия предвзятости ML в США…………………………………………………………………………. 162
Кто обычно страдает от предвзятости систем ML……………………………………………………………….. 165
Ущерб от предвзятости, который испытывают люди…………………………………………………………… 167
Тестирование на предвзятость……………………………………………………………………………………………….. 169
Проверка данных………………………………………………………………………………………………………….. 169
Традиционные подходы: тестирование эквивалентных результатов…………………….. 172
Тестирование статистической значимости……………………………………………………….. 174
Проверка практической значимости………………………………………………………………….. 174
Новый взгляд: тестирование эквивалентности качества работы…………………………….. 176
Чего нам ожидать: тесты для более широкой экосистемы машинного обучения….. 178
Сводный план тестирования……………………………………………………………………………………….. 181
Смягчение предвзятости………………………………………………………………………………………………………….. 183
Технические факторы смягчения предвзятости…………………………………………………………. 184
Научный подход и план эксперимента………………………………………………………………………. 184
Методы смягчения предвзятости………………………………………………………………………………… 186
Человеческий фактор в смягчении предвзятости……………………………………………………….. 190
Пример: вознаграждение за выявленные ошибки предвзятости…………………………………………. 193
Ресурсы…………………………………………………………………………………………………………………………………….. 196
Глава 5. Безопасность машинного обучения………………………………………… 197
Основы безопасности………………………………………………………………………………………………………………. 199
Состязательное мышление………………………………………………………………………………………….. 199
Триада CIA……………………………………………………………………………………………………………………. 200
Лучшие методы обеспечения безопасности для специалистов по данным……………. 201
Атаки на системы ML……………………………………………………………………………………………………………… 204
Атаки на целостность: манипулирование результатами машинного обучения…….. 204
Примеры состязательных атак……………………………………………………………………………. 205
Бэкдор-атаки………………………………………………………………………………………………………… 205
Атаки с отравлением данных……………………………………………………………………………… 206
Атаки путем подмены личности и уклонения……………………………………………………. 207
Атаки на объяснения машинного обучения………………………………………………………. 208
Атаки на конфиденциальность: извлеченная информация………………………………………. 209
Атаки извлечения и инверсии модели………………………………………………………………… 209
Атаки с выводом о членстве………………………………………………………………………………… 210
Общие проблемы безопасности ML………………………………………………………………………………………. 211
Меры противодействия…………………………………………………………………………………………………………… 214
Отладка модели в целях безопасности………………………………………………………………………. 214
Поиск состязательных примеров и анализ чувствительности…………………………. 214
Аудит на предмет инсайдерского отравления данных…………………………………….. 215
Тестирование на предвзятость……………………………………………………………………………. 215
Этический взлом: атаки с извлечением моделей……………………………………………….. 215
Мониторинг модели в целях безопасности………………………………………………………………… 216
Технологии повышения конфиденциальности…………………………………………………………… 218
Федеративное обучение………………………………………………………………………………………. 218
Дифференциальная приватность………………………………………………………………………… 218
Робастное машинное обучение…………………………………………………………………………………… 221
Универсальные контрмеры………………………………………………………………………………………….. 221
Пример: реальные атаки уклонения………………………………………………………………………………………. 224
Атаки уклонения…………………………………………………………………………………………………………… 224
Какие уроки мы можем извлечь?…………………………………………………………………………………. 225
Ресурсы…………………………………………………………………………………………………………………………………….. 226
Часть II. Управление рисками ИИ в действии……………………. 227
Глава 6. Объяснимые бустинговые машины и модели XGBoost…………… 229
Уточнение определений и прозрачность машинного обучения………………………………………….. 229
Аддитивность или взаимодействия…………………………………………………………………………….. 230
Переход к причинно-следственной связи с ограничениями……………………………………… 231
Частичная зависимость и индивидуальное условное ожидание……………………………… 231
Значения Шепли…………………………………………………………………………………………………………… 234
Документация модели………………………………………………………………………………………………….. 235
Семейство объяснимых моделей GAM………………………………………………………………………………….. 236
Elastic Net — штрафуемая GLM с альфа- и лямбда-поиском……………………………………. 236
Обобщенные аддитивные модели……………………………………………………………………………….. 239
GA2M и объяснимые бустинговые машины………………………………………………………………. 244
XGBoost с ограничениями и апостериорными пояснениями……………………………………………….. 247
XGBoost с ограничениями и без ограничений……………………………………………………………. 247
Объяснение поведения модели с помощью частичной зависимости и ICE…………….. 253
Суррогатные модели дерева решений как метод объяснения………………………………….. 255
Пояснения на основе значений Шепли……………………………………………………………………….. 259
Проблемы со значениями Шепли………………………………………………………………………………… 262
Более информированный выбор модели……………………………………………………………………. 266
Ресурсы…………………………………………………………………………………………………………………………………….. 268
Глава 7. Объяснение классификатора изображений PyTorch……………….. 271
Как работает классификация рентгенограмм грудной клетки……………………………………………. 272
Новый взгляд на объяснимые модели и методы апостериорного объяснения…………………… 273
Обзор объяснимых моделей………………………………………………………………………………………… 273
Методы окклюзии…………………………………………………………………………………………………………. 274
Градиентные методы……………………………………………………………………………………………………. 274
Объяснимый ИИ для отладки моделей……………………………………………………………………….. 275
Объяснимые модели………………………………………………………………………………………………………………… 275
ProtoPNet и ее варианты………………………………………………………………………………………………. 276
Другие объяснимые модели глубокого обучения……………………………………………………… 277
Обучение и объяснение классификатора изображений PyTorch………………………………………… 278
Обучающие данные……………………………………………………………………………………………………… 278
Решение проблемы дисбаланса наборов данных……………………………………………………… 279
Дополнение данных и обрезка изображений…………………………………………………………….. 280
Обучение модели………………………………………………………………………………………………………….. 282
Оценка и метрики………………………………………………………………………………………………………….. 284
Создание апостериорных объяснений с помощью Captum……………………………………… 284
Окклюзия……………………………………………………………………………………………………………………….. 285
input*gradient………………………………………………………………………………………………………… 286
Интегрированные градиенты………………………………………………………………………………. 287
Послойное распространение релевантности…………………………………………………….. 289
Оценка пояснений модели……………………………………………………………………………………………. 290
Надежность апостериорных объяснений…………………………………………………………………… 291
Заключение………………………………………………………………………………………………………………………………. 295
Ресурсы…………………………………………………………………………………………………………………………………….. 296
Глава 8. Выбор и отладка моделей XGBoost…………………………………………. 299
Уточнение определений: отладка моделей ML……………………………………………………………………. 299
Выбор модели……………………………………………………………………………………………………………….. 300
Анализ чувствительности……………………………………………………………………………………………. 300
Анализ остатков……………………………………………………………………………………………………………. 302
Исправление………………………………………………………………………………………………………………….. 303
Выбор лучшей модели XGBoost…………………………………………………………………………………………….. 304
Анализ чувствительности XGBoost……………………………………………………………………………………….. 309
Стресс-тестирование модели XGBoost………………………………………………………………………. 310
Методика стресс-тестирования…………………………………………………………………………………… 311
Изменение данных для моделирования условий рецессии………………………………………. 312
Поиск состязательных примеров………………………………………………………………………………… 314
Анализ остатков для XGBoost………………………………………………………………………………………………… 318
Анализ и визуализация остатков………………………………………………………………………………… 319
Сегментный анализ ошибок………………………………………………………………………………………… 323
Моделирование остатков…………………………………………………………………………………………….. 325
Исправление выбранной модели……………………………………………………………………………………………. 327
Чрезмерная важность признака PAY_0………………………………………………………………………. 328
Разные ошибки……………………………………………………………………………………………………………… 330
Заключение………………………………………………………………………………………………………………………………. 333
Ресурсы…………………………………………………………………………………………………………………………………….. 334
Глава 9. Отладка классификатора изображений PyTorch…………………….. 335
Уточнение понятий: отладка моделей DL…………………………………………………………………………….. 337
Отладка классификатора изображений PyTorch………………………………………………………………….. 341
Качество данных и утечки…………………………………………………………………………………………… 341
Тестирование программного обеспечения для DL……………………………………………………. 343
Анализ чувствительности моделей DL……………………………………………………………………….. 344
Тестирование на смещение домена и субпопуляции………………………………………… 345
Примеры состязательных атак……………………………………………………………………………. 349
Возмущение вычислительных гиперпараметров………………………………………………. 352
Устранение проблем…………………………………………………………………………………………………….. 352
Исправление данных……………………………………………………………………………………………. 353
Исправления программного обеспечения………………………………………………………….. 355
Исправления чувствительности………………………………………………………………………………….. 359
Внесение шума……………………………………………………………………………………………………… 359
Другие способы улучшения стабильности………………………………………………………… 360
Заключение………………………………………………………………………………………………………………………………. 363
Ресурсы…………………………………………………………………………………………………………………………………….. 364
Глава 10. Тестирование и исправление предвзятости
с помощью XGBoost……………………………………………………………………………… 365
Уточнение понятий: управление предвзятостью в ML………………………………………………………… 366
Обучение модели………………………………………………………………………………………………………….. 369
Оценка моделей на предмет предвзятости…………………………………………………………………………….. 373
Способы тестирования для групп……………………………………………………………………………….. 374
Тестирование качества прогнозов……………………………………………………………………… 376
Традиционное тестирование показателей исходов………………………………………….. 381
Индивидуальная справедливость……………………………………………………………………………….. 384
Опосредованная предвзятость…………………………………………………………………………………….. 388
Исправление предвзятости……………………………………………………………………………………………………… 389
Предварительная обработка……………………………………………………………………………………….. 390
Внутренняя обработка…………………………………………………………………………………………………. 394
Постобработка……………………………………………………………………………………………………………… 398
Выбор модели……………………………………………………………………………………………………………….. 399
Заключение………………………………………………………………………………………………………………………………. 404
Ресурсы…………………………………………………………………………………………………………………………………….. 406
Глава 11. Атака красной команды на XGBoost……………………………………. 407
Уточнение понятий………………………………………………………………………………………………………………….. 408
Триада CIA……………………………………………………………………………………………………………………. 408
Атаки……………………………………………………………………………………………………………………………… 409
Контрмеры…………………………………………………………………………………………………………………….. 411
Обучение модели……………………………………………………………………………………………………………………… 412
Атаки с участием красной команды………………………………………………………………………………………. 417
Атаки с извлечением моделей……………………………………………………………………………………… 417
Атаки с состязательными примерами…………………………………………………………………………. 421
Атаки вывода о членстве……………………………………………………………………………………………… 423
Отравление данных……………………………………………………………………………………………………… 425
Бэкдоры…………………………………………………………………………………………………………………………. 427
Заключение………………………………………………………………………………………………………………………………. 431
Ресурсы…………………………………………………………………………………………………………………………………….. 432
Часть III. Заключение…………………………………………………………………. 435
Глава 12. Как добиться успеха в машинном обучении высокого риска.. 437
Кто в команде?…………………………………………………………………………………………………………………………. 438
Наука или техника?…………………………………………………………………………………………………………………. 440
Метод анализа данных………………………………………………………………………………………………… 440
Научный метод…………………………………………………………………………………………………………….. 442
Оценка опубликованных результатов и заявлений………………………………………………………………. 443
Применяйте внешние стандарты……………………………………………………………………………………………. 445
Смягчение рисков на основе здравого смысла……………………………………………………………………… 448
Заключение………………………………………………………………………………………………………………………………. 452
Ресурсы…………………………………………………………………………………………………………………………………….. 452
Предметный указатель…………………………………………………………………………. 453
Об авторах……………………………………………………………………………………………. 457
Об изображении на обложке………………………………………………………………… 459
