Компания IBM признана лидером

Gartner выпускает отчет Magic Quadrant за 2021 год в категории «Платформы анализа данных и машинного обучения»

Переход от AutoML к AutoAI

Ускорение управления жизненным циклом ИИ и моделей

Что такое AutoML? Автоматизированное машинное обучение (AutoML) — это процесс автоматизации задач, которые специалисты по обработке и анализу данных выполняют вручную при создании и обучении моделей машинного обучения. В число таких задач входят определение и выбор признаков, выбор типа алгоритма машинного обучения, создание аналитической модели на основе алгоритма, оптимизация гиперпараметров, обучение модели с помощью протестированных наборов данных и выполнение модели для создания оценок и результатов. Исследователи разработали AutoML, чтобы помочь специалистам по обработке и анализу данных, не имеющим большого опыта работы с моделями машинного обучения, создавать модели прогнозирования. Кроме того, AutoML освобождает специалистов по обработке и анализу данных от рутинных задач, связанных с созданием конвейера машинного обучения, чтобы они могли сконцентрироваться на получении ценной информации, необходимой для решения сложных проблем бизнеса.

Что такое AutoAI? AutoAI — это один из вариантов AutoML. AutoAI расширяет автоматизацию процесса создания моделей на весь жизненный цикл ИИ. Аналогично AutoML, AutoAI предусматривает применение интеллектуальной автоматизации на всех этапах создания моделей прогнозного машинного обучения. К таким этапам относятся подготовка наборов данных для обучения, определение оптимального типа модели с учетом конкретных данных (например, модель классификации или регрессии), а также выбор столбцов данных, лучше всего подходящих для решения поставленной задачи (другое название — выбор признаков). Затем средства автоматизации проверяют множество вариантов настройки гиперпараметров, чтобы определить наилучший результат, а после этого оценивают конвейеры моделей с учетом таких показателей, как точность и достоверность. Самые эффективные конвейеры можно развернуть в производственной среде для обработки новых данных и выдачи прогнозов с помощью обученной модели.

Быстрое сравнение возможностей

Сравнение AutoAI и AutoML

Интеграция с AutoAI AutoML
Подготовка данных
Конструирование признаков
Оптимизация гиперпараметров
Автоматизированное развертывание моделей
Развертывание одним щелчком
Тестирование и оценка моделей
Создание кода
Поддержка:
Устранение предвзятости и смещения
Управление рисками моделей
Управление жизненным циклом ИИ
Передача знаний
Любые модели ИИ
Расширенные возможности уточнения данных

В чем важность AutoAI?

Интеллектуальная автоматизация, которая приносит пользу всем

Как можно использовать AutoAI?

Создание ModelOps

три сотрудника обсуждают письменный документ

Создание ModelOps

Наладьте сотрудничество между специалистами по обработке и анализу данных и специалистами DevOps, чтобы оптимизировать интеграцию моделей ИИ в приложения.

Стимулируйте внедрение ответственного, объяснимого ИИ

сотрудник справа от монитора в офисе

Стимулируйте внедрение ответственного, объяснимого ИИ

Укрепите доверие к производственному ИИ, ускорив получение результатов и обеспечив управление рисками и соблюдением требований.

Автоматизация прогнозирования временных рядов

два сотрудника работают с бумагами и ноутбуком

Автоматизация прогнозирования временных рядов

Узнайте, как модели могут прогнозировать будущие значения временных рядов, внедрив наиболее эффективные модели из всех возможных классов моделей, а не только одного класса.

Возможности AutoAI

Автоматизация ключевых этапов жизненного цикла моделей

Предварительная обработка данных

Применяйте различные алгоритмы (механизмы оценки) для анализа, очистки и подготовки исходных данных к машинному обучению. Обеспечьте автоматическое обнаружение и классификацию признаков с учетом типа данных, включая категориальные и числовые данные. Определите наилучшие стратегии для восстановления пропущенных значений, кодирования и масштабирования признаков с помощью оптимизации гиперпараметров.

Выбор моделей в автоматическом режиме

Выбирайте модели посредством тестирования и оценки алгоритмов для небольших подмножеств данных. Постепенно увеличивайте размер подмножества для самых перспективных алгоритмов. Обеспечьте ранжирование большого числа алгоритмов для выбора моделей, отличающихся наилучшим соответствием данных.

Конструирование признаков

Преобразуйте исходные данные в комбинацию признаков, наилучшим образом описывающих проблему, чтобы получить самые точные прогнозы. Изучите различные варианты конструирования признаков в структурированном, лаконичном виде, постепенно повышая точность модели с помощью обучения с подкреплением.

Оптимизация гиперпараметров

Уточните и оптимизируйте конвейеры моделей с помощью механизмов обучения и оценки моделей, характерных для машинного обучения. Выберите наилучшую модель для развертывания в производственной среде с учетом показателей производительности.

Интеграция мониторинга моделей

Интегрируйте мониторинг смещения, достоверности и качества моделей на основе входных и выходных сведений, учебных данных и журналов полезной нагрузки. Реализуйте пассивное или активное устранение предвзятости, обеспечив анализ прямой и косвенной предвзятости.

Поддержка проверки моделей

Расширение на основе результатов анализа моделей и данных, а также проверка соответствия моделей ожидаемой производительности. Обеспечьте непрерывное улучшение моделей за счет измерения качества и сравнения производительности моделей.

Получите мощные возможности AutoAI

AutoAI в действии в составе IBM Watson Studio

Конфигурация AutoAI

Снимок экрана, на котором показана страница IBM Watson Studio, применяемая для добавления источника данных и выбора сведений конфигурации для эксперимента AutoAI

Конфигурация AutoAI

Перенесите файл .csv и выберите столбец для прогноза.

Таблица лидеров

Снимок экрана, на котором показана страница IBM Watson Studio с картой взаимосвязей и таблицей лидеров

Таблица лидеров

Просмотрите рейтинг моделей по точности и информацию о конвейере данных.

Оценка моделей

Снимок экрана, на котором показана страница IBM Watson Studio с оценкой модели для конвейера, включая список показателей модели

Оценка моделей

Проверьте точность, погрешность и отклик моделей.

Развертывание моделей

Снимок экрана, на котором показана страница IBM Watson Studio, применяемая для передачи теста в пространство развертывания

Развертывание моделей

Переместите модели в пространства развертывания.

Истории успеха клиентов

Regions Bank разрабатывает заслуживающий доверия ИИ

Узнайте, какие преимущества получил этот банк за счет применения IBM Cloud Pak for Data для анализа данных, оценки смещения данных и измерения производительности моделей.

Highmark Health сокращает время разработки моделей на 90%

Узнайте, как этой сети медицинских учреждений удалось создать модель для прогнозирования сепсиса на основе данных страховых заявлений.

Wunderman Thompson в корне меняет подход к ИИ

Узнайте, как это агентство маркетинговых коммуникаций использует AutoAI для создания потока прогнозов и выявления новых клиентов.

Преимущества AutoAI от IBM

Разработкой проекта занимаются специалисты IBM Research

IBM Research стремится внедрять передовые методики искусственного интеллекта, машинного обучения и управления данными, призванные ускорить и оптимизировать создание рабочих процессов машинного обучения и науки о данных. На первых этапах разработки AutoML применялись байесовская оптимизация и алгоритм Hyperband для поиска гиперпараметров, а также Hyperband/ENAS/DARTS для поиска нейронной архитектуры.

Разработчики также продолжали работать над AutoAI, совершенствуя механизмы автоматизации настройки конвейеров и оптимизации гиперпараметров. Одним из самых значимых прорывов стал алгоритм оптимизации гиперпараметров с акцентом на анализ функции потерь, включая обучение и оценку модели. Он помогает ускорить поиск оптимального решения.

Кроме того, IBM Research применяет автоматизированный искусственный интеллект, чтобы обеспечить объяснимость моделей ИИ и сформировать доверие к ним. AutoAI в составе IBM Watson Studio позволяет пользователям визуализировать каждый этап процесса — от подготовки данных до выбора алгоритма и создания модели. Кроме того, IBM AutoAI автоматизирует задачи непрерывного совершенствования модели и упрощает интеграцию API модели ИИ с приложениями за счет применения возможностей ModelOps. Развитие AutoAI в составе продукта IBM Watson Studio стало одной из причин, по которым компания IBM была признана лидером в отчете Gartner Magic Quadrant в категории «Платформы анализа данных и машинного обучения» за 2021 год.

Глубокое погружение

AutoML и глубокое обучение

Глубокое обучение считается частью машинного обучения — оно лежит в основе оснащенных искусственным интеллектом приложений и сервисов, выполняющих аналитические и физические задачи без участия человека. Примеры использования глубокого обучения: чатботы, распознавание медицинских изображений и обнаружение мошенничества. Однако, как и в случае машинного обучения, для разработки и эксплуатации алгоритмов глубокого обучения требуются колоссальные человеческие усилия и огромные вычислительной мощности.

Специалисты IBM Research исследовали один из самых сложных и трудоемких процессов в области глубокого обучения: создание нейронной архитектуры с помощью методики, называемой поиск нейронной архитектуры (NAS). Была проведена оценка разработанных методов NAS и выявлены преимущества каждого из них, опираясь на которые практики могут выбирать подходящие методы. Автоматизация подхода к поиску наиболее эффективной архитектуры машинного обучения позволяет повысить доступность ИИ, однако эта задача отличается очень высоким уровнем сложности.

Услуга глубокого обучения в продукте IBM Watson Studio позволяет быстро приступить к работе с глубоким обучением. С помощью этой услуги вы сможете разрабатывать сложные нейронные сети и проводить эксперименты по развертыванию оптимизированных моделей машинного обучения. Кроме того, эта услуга, призванная упростить процесс обучения моделей, предоставляет вычислительный кластер на основе графических процессоров, мощность которого можно нарастить с учетом любых требований. Также поддерживается интеграция с популярными средами машинного обучения с открытым исходным кодом, такими как TensorFlow, Caffe, Torch и Chainer — ускорьте получение результатов благодаря возможности обучения модели с помощью нескольких графических процессоров. IBM Watson Studio позволяет совместно использовать AutoML, IBM AutoAI и услугу глубокого обучения, чтобы повысить скорость проведения экспериментов, анализировать структурированные и неструктурированные данные, а также развертывать более эффективные модели.

Пакеты с открытым исходным кодом

Для удовлетворения высокого спроса на AutoML было разработано программное обеспечение с открытым исходным кодом, предназначенное для экспертов по обработке и анализу данных и обычных пользователей. Передовые инструменты с открытым исходным кодом: auto-sklearn, auto-keras и auto-weka. IBM Research принимает участие в разработке Lale (внешняя ссылка), библиотеки Python, расширяющей возможности scikit-learn для поддержки широкого спектра методик автоматизации, включая выбор алгоритмов, настройку гиперпараметров и поиск топологии. Как описано в публикации IBM Research (PDF, 1,1 МБ), библиотека Lale предусматривает автоматическое создание пространств поиска для популярных инструментов AutoML. Эксперименты показали, что эти пространства поиска позволяют получать результаты, сопоставимые с передовыми инструментами, и в то же время обеспечивают более высокий уровень гибкости.

Документация и поддержка

Документация

Быстро находите ответы в документации по IBM Watson Studio.

Поддержка

Начните работу с технической поддержкой от IBM.

Сообщество

Получите технические советы от других пользователей IBM Watson Studio.

Начало работы с AutoAI

Попробуйте AutoAI в составе IBM Watson Studio on IBM Cloud Pak for Data.