Активное развитие технологий искусственного интеллекта (ИИ) и машинного обучения, как и любых инноваций, не может проходить без ошибок. В 2016 году широкую известность приобрели неонацистские высказывания чатбота Tay от Microsoft и интервью с роботом Софией, которая жизнерадостно сообщила о том, что готова «уничтожать людей».
Появление машин на автоматическом управлении привело к нескольким трагическим инцидентам, в которых погибали как водители, так и пешеходы. В 2018 году алгоритм уволил сотрудника, и компания оказалась бессильна в попытках его восстановить. В 2019-2020 годах минимум три невиновных человека были арестованы из-за ошибок системы распознавания лиц.
Одна из мер, которая позволит предотвратить такие случаи в будущем, – создание единой базы инцидентов с участием искусственного интеллекта (AI Incident Database). Запуск проекта состоялся в ноябре 2020 года при поддержке Партнерства ИИ (Partnership on AI), организации, объединяющей заинтересованных развитием ИИ ученых, исследователей, представителей гражданского общества и коммерческие компании.
Участники проекта на волонтерской основе предоставляют код и записи об инцидентах. Сейчас на сайте можно ознакомиться с информацией о 97 случаях, когда применение искусственного интеллекта принесло или могло принести реальный вред людям.
Критерии отбора
Подобные базы данных существуют и для других технологий, где может быть риск несчастных случаев. В США дорожно-транспортные происшествия со смертельным исходом фиксируются с помощью системы отчетности по анализу смертности (Fatality Analysis Reporting System – FARS). Федеральная администрация авиации страны (Federal Aviation Administration – FAA) ведет учет происшествий на воздушном транспорте. Для IT индустрии в такой роли выступает база данных общеизвестных уязвимостей информационной безопасности (Common Vulnerabilities and Exposures – CVE).
Как отмечают авторы проекта, база данных авиапроисшествий в большой степени помогает делать воздушные перелеты все более безопасными. В течение десятилетий специалисты в этой отрасли производили улучшения на основе базы, что позволило в 81 раз уменьшить число смертельных случаев на воздушном транспорте. Происшествия, которые фиксируются в базе, делятся на две категории: несчастные случаи, которые связаны с вредом для здоровья или гибелью людей, и инциденты – ситуации, которые создавали высокую вероятность несчастного случая.
В авиационной индустрии применяются четкие определения того, какие происшествия относятся к инцидентам, а какие нет. В сфере искусственного интеллекта таких формулировок пока не существует, поэтому команда проекта определяет инцидент с участием ИИ как «реальные события или случаи, которые привели или могли привести к физическому, финансовому или эмоциональному вреду для людей, животных или окружающего мира».
Для того чтобы случай был зафиксирован в базе как инцидент, необходимо соблюдение двух условий:
1) происшествие должно быть связано с конкретной интеллектуальной системой;
2) поведение, решение или событие привело или могло привести к реальному вреду для человека.
Если случай является мысленным экспериментом и не имеет отношения к реальной системе, то он не попадает в базу. Впоследствии правила отбора будут расширяться.
Как узнать о происшествиях?
Основной раздел базы – расширение Discover Incidents, с помощью которого можно искать информацию о происшествиях по ключевым словам. Здесь представлена информация из различных СМИ и других медиа, в которых фиксируются инциденты с искусственным интеллектом. Записи из различных источников об одном и том же случае объединяются как один инцидент.
Со списком инцидентов можно ознакомиться в разделе Data Summaries, где уже сейчас указано большинство случаев, получивших широкую огласку в медиа. Недавно одна из наиболее продвинутых систем ИИ, разработанных проектом OpenAI, GPT-3, написала статью, в которой заверила, что у нее «нет желания уничтожить человечество». В то же время, как считает GPT-3, этого исхода, возможно, не избежать, потому что ее программированием занимаются люди, а люди часто заблуждаются и преследуют неверные цели. Они могут заставить ее нанести вред другим людям.
Для кого создается база?
По мнению Шона Макгрегора, представителя фонда XPRIZE, который внес большой вклад в развитие проекта, база данных представляет интерес для четырех профессиональных групп: продакт-менеджеров, специалистов по рискам, исследователей и инженеров.
Продакт-менеджеры несут ответственность за требования к продукту до и во время его разработки. Если менеджеры смогут узнать о прошлых инцидентах с участием интеллектуальных систем, они также смогут внести поправки к требованиям и снизить риск повторения этих происшествий. Например, чтобы избежать случая, когда платформа Youtube Kids рекомендовала детям неподходящий контент.
Схожим образом проект поможет на ранних стадиях обозначить сами риски. Одна из самых распространенных проблем, которые встречаются в базе инцидентов, – ошибки автоматического перевода. Например, случай, когда статус пользователя в социальной сети «доброго утра» был автоматически переведен на другой язык как «нападите на них», что привело к аресту пользователя. Узнав о таком инциденте, специалист по рискам может найти способ снизить риск, например указать, что текст является продуктом машинного перевода.
Исследователи в сфере безопасности изучают отдельные случаи, связанные с ИИ, но не обладают достаточными ресурсами, чтобы отслеживать инциденты. Например, тяжело узнать, с какой скоростью растет число происшествий в той или иной категории.
С помощью базы данных инженеры могут узнать о проблемах, с которыми системы сталкиваются в окружающем мире. Например, в случае, когда женщину в Китае обвинили в том, что она перешла улицу в неположенном месте, из-за ошибки в системе распознавания: ее фотография была частью рекламного баннера на автобусе.
Авторы проекта ожидают, что база позволит прагматично освещать инциденты с ИИ, чтобы снизить негативные последствия от применения этой технологии. Со временем она превратится из небольшого инструмента в полноценную инфраструктуру, чьей разработкой занимается не маленькая команда, а целое сообщество.
