Узнайте, как объяснимость повышает эффективность производственного ИИ

Что такое объяснимый ИИ?

Объяснимый искусственный интеллект (XAI) — это набор процессов и методов, позволяющих пользователям понять, почему именно алгоритмы машинного обучения пришли к тем или иным результатам или выводам. Объяснимый ИИ применяется для описания модели ИИ, ее ожидаемого влияния и потенциальной предвзятости. Он помогает охарактеризовать точность, достоверность и прозрачность модели, предназначенной для принятия решений с помощью ИИ. Объяснимый ИИ играет важнейшую роль для повышения достоверности и надежности производственных моделей ИИ. Кроме того, объяснимость ИИ помогает организациям с большей ответственностью подходить к разработке ИИ.

По мере расширения возможностей ИИ, людям становится все сложнее осознать, каким образом алгоритм пришел к тому или иному результату. Процесс вычисления превращается в так называемый «черный ящик», который не поддается интерпретации. Модели, работающие по принципу черного ящика, создаются непосредственно на основе данных. При этом даже создавшие алгоритм инженеры и специалисты по обработке и анализу данных не в состоянии понять и объяснить, что именно в них происходит и как алгоритм пришел к конкретному результату.

Возможность определить, как именно система на основе ИИ получила конкретный вывод, обладает множеством преимуществ.  Объяснимость позволяет разработчикам убедиться в том, что система работает правильным образом, может потребоваться для обеспечения соответствия нормативным стандартам, а также может оказаться важной функцией, позволяющей заинтересованным лицам опротестовать или изменить полученный результат¹.

Специалист работает на ноутбуке

Почему объяснимый ИИ имеет важное значение?

Поскольку полагаться на результаты вслепую — плохая идея, каждой организации крайне важно иметь полное понимание процессов принятия решений на основе ИИ с поддержкой мониторинга и контроля моделей ИИ. Объяснимый ИИ помогает людям понять и объяснить результаты алгоритмов машинного обучения (ML), глубокого обучения и нейронных сетей.

Модели машинного обучения часто рассматриваются как «черные ящики», которые нельзя интерпретировать². Кроме того, людям очень сложно понять, что происходит в нейронных сетях, применяемых для глубокого обучения. Предвзятость, часто связанная с расовой или половой принадлежностью, возрастом или местонахождением, является одной из старейших проблем при обучении моделей ИИ. Более того, производительность модели ИИ может снижаться в связи с тем, что производственные данные отличаются от учебных данных. Таким образом, бизнесу крайне важно стимулировать объяснимость ИИ за счет непрерывного мониторинга и управления моделями, обеспечив при этом оценку коммерческого эффекта от применения таких алгоритмов. Кроме того, объяснимый ИИ помогает сформировать доверие конечных пользователей, повысить контролируемость моделей и обеспечить эффективное использование ИИ. Вместе с тем снижаются нормативные, правовые и репутационные риски и риски безопасности в отношении производственного ИИ.

Объяснимый ИИ входит в число ключевых требований для реализации ответственного ИИ — это методология крупномасштабной реализации методов ИИ с высоким уровнем достоверности, объяснимости моделей и контролируемости³. В рамках ответственного подхода к внедрению ИИ организациям необходимо распространить этические принципы на приложения и процессы, оснащенные искусственным интеллектом, путем создания ИИ-систем на основе доверия и прозрачности.

Человек смотрит на участников видеособрания на экране ноутбука

Непрерывная оценка модели

Объяснимый ИИ предоставляет в распоряжение организации средства устранения неполадок и оптимизации производительности моделей, помогая при этом заинтересованным лицам разобраться в поведении моделей ИИ. Изучение поведения моделей путем отслеживания их достоверности, качества и смещения, а также аналитических выводов о состоянии развертывания чрезвычайно важно для эффективного масштабирования ИИ. Непрерывная оценка моделей позволяет бизнесу сравнивать прогнозы моделей, проводить количественную оценку рисков моделей и оптимизировать их производительность. Оценку модели можно ускорить путем отображения положительных и отрицательных значений в поведении модели с учетом данных, которые применялись для создания объяснения. Платформа данных и ИИ может создавать описания признаков для прогнозов моделей и позволяет специалистам визуально исследовать поведение моделей с помощью интерактивных диаграмм и экспортируемых документов.

Специалист работает на ноутбуке

Преимущества объяснимого ИИ

Результаты исследования Forrester, посвященного объяснимому ИИ и мониторингу моделей в IBM Cloud Pak for Data

Преимущества объяснимого ИИ

Практическое применение ИИ с уверенностью и доверием

Формирование доверия к производственному ИИ. Быстрая производственная реализация моделей ИИ. Обеспечение интерпретируемости и объяснимости моделей ИИ. Упрощение процесса оценки моделей при одновременном повышении их прозрачности и отслеживаемости.

Увеличение скорости получения отдачи от ИИ

Систематический подход к мониторингу и управлению моделями для оптимизации бизнес-результатов. Непрерывная оценка и оптимизация производительности моделей. Уточнение моделей с учетом результатов непрерывной оценки.

Снижение рисков и затрат на управление моделями

Обеспечьте объяснимость и прозрачность моделей ИИ. Управление требованиями, включая нормативное соответствие, риски и т. д. Минимизация дополнительной нагрузки, связанной с выполняемыми вручную проверками, и количества дорогостоящих ошибок. Снижение риска непреднамеренной предвзятости.

Примеры использования объяснимого ИИ

Возможности объяснимого ИИ

Подход IBM к объяснимому ИИ

IBM является лидером в области инноваций на протяжении более 100 лет, стремясь обеспечить как можно более широкое распространение инноваций и сделать так, чтобы они приносили пользу всем и каждому. ИИ не является исключением: мы стремимся создать и предоставить надежную технологию, которая может дополнить процессы принятия решений человеком, а не заменить их.

Хотя ИИ обладает блестящими перспективами во множестве сфер применения, широкое внедрение ИИ-систем будет всецело зависеть от того, смогут ли люди доверять результатам ИИ. Доверие человека к технологии основывается на нашем понимании принципов ее работы, а также оценке ее безопасности и надежности. Именно поэтому объяснимый ИИ имеет такое важное значение.  Подход IBM к объяснимому ИИ заключается в следующем: сделать ИИ надежным, достоверным и контролируемым, а также исключить вероятность того, что он может принести какой-либо вред.

IBM Research, наш центр инноваций, разрабатывает различные подходы к обеспечению достоверности, надежности, объяснимости и согласования ценностей, а также ищет способы интеграции этих подходов на протяжении всего жизненного цикла приложений, оснащенных искусственным интеллектом. Среды и наборы инструментов для разработки объяснимого ИИ, подготовленные IBM Research, интегрируются в платформу IBM Cloud Pak for Data, которая позволяет компаниям задействовать наши новейшие технологии ИИ в рамках контролируемого, безопасного и масштабируемого подхода.

Человек смотрит на мобильный телефон перед окном офиса

Пять замечаний по объяснимому ИИ

Пять замечаний по объяснимому ИИ

Для того чтобы добиться желаемых результатов с помощью объяснимого ИИ, обратите внимание на следующие факторы.

Достоверность и устранение предвзятости: мониторинг и управление достоверностью. Проверьте развернутый экземпляр на предмет возможной предвзятости. 

Устранение смещения модели: проанализируйте модель и сделайте рекомендации с учетом самого очевидного с логической точки зрения результата. Настройте выдачу предупреждений в случае отклонения моделей от ожидаемых результатов.

Управление рисками моделей: оцените риски модели и постарайтесь их минимизировать. Настройте выдачу предупреждений в случае неадекватной работы модели. Если отклонения продолжат появляться, определите причину, по которой это происходит.

Автоматизация жизненного цикла: создавайте, запускайте и управляйте моделями в составе интегрированных услуг для данных и ИИ. Унифицируйте инструменты и процессы на базе платформы для отслеживания моделей и обмена результатами. Объясняйте зависимости моделей машинного обучения.

Поддержка мультиоблака: развертывайте проекты ИИ в гибридных облачных средах, включая общедоступные, частные и локальные среды. Укрепляйте доверие и уверенность с помощью объяснимого ИИ.

Современное стеклянное здание крупным планом

Улучшение объяснимости ИИ с помощью IBM Cloud Pak for Data

Платформа IBM Cloud Pak® for Data предлагает услуги для данных и ИИ в унифицированной среде, позволяющей организациям оценивать влияние и взаимосвязи данных и моделей, улучшая тем самым объяснимость ИИ. Кроме того, она помогает получать аналитические выводы моделей относительно развернутых экземпляров, достоверности, качества и рисков. Решение помогает объяснить транзакции ИИ, категориальные модели, модели изображений и модели неструктурированного текста с помощью таких инструментов, как сравнительные обоснования и LIME (Local Interpretable Model-Agnostic Explanations). Обеспечение объяснимости и прозрачности ИИ за счет автоматизации жизненного цикла ИИ в современной информационной инфраструктуре играет крайне важную роль в успешном производственном использовании ИИ.

Более глубокое изучение объяснимого ИИ

Как работает объяснимый ИИ?

В случае применения объяснимого ИИ, а также интерпретируемого машинного обучения, организации получают доступ к функциям принятия решений, на которых основана технология ИИ и работу которых можно корректировать. Объяснимый ИИ позволяет улучшить потребительский опыт конечных пользователей продукта или услуги, поскольку он помогает сформировать доверие к решениям, которые принимает ИИ. Когда система на основе ИИ обеспечивает достаточную уверенность в правильности решения, чтобы вы могли доверять ему? Как система на основе ИИ исправляет возникающие ошибки?⁴

ИИ развивается стремительными темпами, однако процессы машинного обучения по-прежнему требуют понимания и контроля, чтобы гарантировать точность результатов модели ИИ. Давайте сравним ИИ и объяснимый ИИ, рассмотрим методы и алгоритмы, позволяющие превратить ИИ в объяснимый ИИ, а также определим, чем интерпретация отличается от объяснения процессов ИИ.

Сравнение ИИ и объяснимого ИИ

Чем именно обычный ИИ отличается от объяснимого ИИ? Объяснимый ИИ предусматривает реализацию специальных методов и алгоритмов, позволяющих отследить и объяснить каждое решение, принятое процессом машинного обучения. Обычный ИИ также выдает результат с помощью алгоритма машинного обучения, однако разработчики систем ИИ не всегда обладают четким пониманием того, каким образом алгоритм пришел к этому результату. Это затрудняет проверку точности и приводит к потере контроля, отслеживаемости и прозрачности.

Алгоритмы объяснимого ИИ

Настройка алгоритмов ИИ состоит из трех основных методов. Точность прогнозирования и отслеживаемость удовлетворяют технологические требования, а понимание решений помогает получить ответы на вопросы пользователей. Объяснимый ИИ — и в особенности объяснимое машинное обучение — будет играть ключевую роль в будущем. Например, без понимания, доверия и надежного управления нельзя будет наладить эффективное взаимодействие солдат с боевыми машинами нового поколения, оснащенными искусственным интеллектом⁵.

Точность прогнозирования
Точность является одним из ключевых компонентов успешного применения ИИ в повседневной деятельности. Точность прогнозирования можно определить с помощью имитаций и путем сравнения вывода объяснимого ИИ с результатами, полученными для учебного набора данных. Для этой цели чаще всего применяется алгоритм LIME (Local Interpretable Model-Agnostic Explanations), который объясняет прогноз классификаторов алгоритма машинного обучения.

Отслеживаемость
Отслеживаемость — это еще один важный алгоритм достижения объяснимого ИИ. Например, для этого можно ограничить способы принятия решений и настроить более узкую область действия для правил машинного обучения и признаков. В число алгоритмов отслеживаемости объяснимого ИИ входит DeepLIFT (Deep Learning Important FeaTures), который сравнивает активацию каждого нейрона с эталонным нейроном и показывает отслеживаемую связь между каждым активированным нейроном и даже показывает зависимости между ними.

Понимание решения
Здесь играет роль человеческий фактор. ИИ вызывает недоверие у многих людей, однако для его эффективного применения им потребуется научиться доверять его результатам. Это достигается за счет обучения команды, работающей с ИИ, поскольку они должны понимать, как и почему ИИ принимает те или иные решения.

Объяснимость и интерпретируемость ИИ

Интерпретируемость — это степень, в которой человек может понять причины принятого решения. Она отражает процент успешных попыток прогнозирования результатов вывода ИИ. Объяснимость предусматривает более глубокий анализ того, каким именно образом ИИ пришел к конкретному результату.

Как объяснимый ИИ соотносится с ответственным ИИ?

Объяснимый ИИ и ответственный ИИ используют разные подходы для достижения похожих целей. Основные различия между объяснимым и ответственным ИИ:

  • Объяснимый ИИ обрабатывает результаты ИИ после их вычисления.
  • Ответственный ИИ контролирует работу ИИ на этапах планирования, чтобы сделать алгоритм ИИ ответственным до того, как он приступит к вычислению результатов.
  • Применение объяснимого ИИ в сочетании с ответственным ИИ может помочь сделать ИИ лучше.

Для того чтобы узнать больше об объяснимом ИИ, зарегистрируйтесь для получения IBMid и получите пробную версию IBM Cloud Pak for Data прямо сегодня.

Как реализовать объяснимый ИИ

Для получения дополнительной информации о реализации объяснимого ИИ обратитесь к следующим ресурсам.

Электронный семинар: Мониторинг моделей и управление ими. Узнайте, что нужно делать, если модели не работают.
Смотреть вебинар (внешняя ссылка) →

План обучения: Управление ИИ с уверенностью. Узнайте, как организовать отслеживание и измерение результатов ИИ на протяжении всего жизненного цикла, обеспечив при этом адаптацию и управление ИИ с учетом изменяющихся условий бизнеса.
Посмотреть учебник →

Практическое занятие: Мониторинг моделей машинного обучения. Ознакомьтесь с пошаговыми процессами оценки моделей на предмет достоверности, точности и объяснимости.  
Перейти к практическому занятию →

Примеры использования объяснимого ИИ

Здравоохранение

Работа трех хирургов крупным планом

Ускорение диагностики, анализа изображений, оптимизации ресурсов и постановки медицинских диагнозов. Повышение прозрачности и отслеживаемости процесса принятия решений, связанных с медицинским обслуживанием. Упрощение процесса одобрения фармацевтических препаратов за счет применения объяснимого ИИ.

Финансовые услуги

Человек держит кредитную карту, работая на ноутбуке

Повышение качества обслуживания клиентов благодаря прозрачному процессу утверждения займов и кредитов. Ускорение оценки кредитных рисков, а также рисков управления частным капиталом и рисков финансовых преступлений. Быстрое разрешение потенциальных жалоб и проблем. Повышение уверенности относительно ценообразования, рекомендаций по продуктам и инвестиционных услуг.

Уголовная юстиция

Полицейский перед огражденным местом преступления

Оптимизация процессов прогнозирования и оценки рисков. Объяснимый ИИ помогает ускорить получение результатов анализа ДНК, анализа заключенных и прогнозирование преступлений. Обнаружение потенциальной предвзятости в учебных данных и алгоритмах.

Сноски

¹ «Explainable AI», The Royal Society, 28 ноября 2019 года. (внешняя ссылка)
² «Explainable Artificial Intelligence», Джеми Зорноза, 15 апреля 2020 года. (внешняя ссылка)
³ «Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI», ScienceDirect, июнь 2020 года. (внешняя ссылка)
⁴ «Understanding Explainable AI», Рон Шмельтцер, Forbes Contributor, 23 июля 2019 года. (внешняя ссылка)
⁵ «Explainable Artificial Intelligence (XAI)», др. Мэтт Турек, Управление перспективных исследовательских проектов Министерства обороны США (DARPA). (внешняя ссылка)