menu icon

Машинное обучение

Введение в машинное обучение: общие сведения об истории, важные определения, обзор вариантов применения и проблем, волнующих современные предприятия.

Что такое машинное обучение?

Машинное обучение — это подраздел искусственного интеллекта (ИИ) и науки о данных, специализирующийся на использовании данных и алгоритмов для имитации процесса наработки опыта человеком с постепенным повышением точности.

Компания IBM внесла немалый вклад в историю машинного обучения. Так, ввод в обиход термина «машинное обучение» приписывают одному из сотрудников компании, Артуру Самюэлю в его исследовании (PDF, 481 КБ) (внешняя ссылка) игры в шашки. В 1962 году самопровозглашенный мастер по шашкам Роберт Нили сыграл партию с компьютером IBM 7094 и проиграл. По сравнению с современными возможностями это достижение кажется сущим пустяком, но оно считается важной вехой в области искусственного интеллекта. В следующие пару десятилетий технологии в области хранения данных и вычислительные мощности достигнут такого уровня, что будут созданы революционные в то время (но привычные и любимые сегодня) продукты, например система рекомендаций Netflix или беспилотные автомобили.

Машинное обучение является важным компонентом науки о данных, которая сейчас развивается стремительными темпами. С помощью статистических методов алгоритмы обучаются классифицировать данные, строить прогнозы и выделять важные моменты в ходе проектов по сбору и анализу данных. От этих выкладок зависит дальнейшее принятие решений в отношении приложений и предприятий, а в идеале они должны положительно сказаться на основных показателях роста. По мере дальнейшего роста и развития больших данных будет расти и рыночный спрос на специалистов по анализу и обработке данных, от которых будет требоваться помощь в определении самых актуальных проблем бизнеса и поиск данных для их решения.

Машинное обучение, глубокое обучение и Нейронные сети

Так как люди часто путают глубокое обучение и машинное обучение, давайте остановимся на отличительных особенностях каждого из этих понятий. Машинное обучение, глубокое обучение и нейронные сети — все это подразделы искусственного интеллекта. Но при этом глубокое обучение является подвидом машинного обучения, а нейронные сети, в свою очередь, — подвидом глубокого обучения.

Разница между глубоким и машинным обучением заключается в способе обучения алгоритмов. В глубоком обучении большая часть процесса извлечения признаков автоматизирована, что практически исключает необходимость контроля со стороны человека и позволяет использовать большие наборы данных. Лекс Фридман в своей лекции в Массачусетском технологическом институте (00:30) (внешняя ссылка) называет глубокое обучение «масштабируемым машинным обучением». Эффективность классического, «неглубокого» машинного обучения в большей степени зависит от контроля со стороны человека. Набор признаков для понимания разницы между входными данными определяется специалистом-человеком. Обычно для машинного обучения требуются более структурированные данные.

Безусловно, для алгоритмов «глубокого» машинного обучения также можно использовать размеченные наборы данных (этот принцип еще называется «контролируемым» обучением), но это необязательно. Глубокое обучение может работать с неструктурированными данными в исходном формате (например, это может быть текст или изображения): алгоритм способен самостоятельно определять набор признаков для различения разных категорий данных. В отличие от машинного обучения, вмешательство человека при обработке данных не требуется, что открывает намного больше возможностей применения этой технологии. Считается, что ускорение развития таких областей, как компьютерное зрение, обработка естественного языка и распознавание речи, произошло в основном благодаря глубокому обучению и нейронным сетям.

Нейронные сети или искусственные нейронные сети (ANN) представляют собой комплект уровней узлов: входной уровень, один или несколько скрытых и выходной уровень. Каждый узел (искусственный нейрон) связан с другими узлами с определенным весом и пороговым значением. Если вывод какого-либо узла превышает пороговое значение, то этот узел активируется и отправляет данные на следующий уровень сети. В противном случае данные на следующий уровень сети не передаются. Понятие «глубина» в глубоком обучении характеризует всего лишь количество уровней нейронной сети. Нейронную сеть, в которой больше трех уровней (включая входной и выходной) уже можно отнести к алгоритму глубокого обучения (глубокой нейронной сети). Нейронная сеть с двумя-тремя уровнями считается простой нейронной сетью.

Для того чтобы подробней ознакомиться с разными концепциями, обратитесь к публикации «AI vs. Machine Learning vs. Deep Learning vs. Neural Networks: What’s the Difference?»

Как работает машинное обучение

Согласно UC Berkeley (внешняя ссылка), система обучения алгоритма машинного обучения состоит из трех основных частей.

  1. Процесс принятия решений. Как правило, алгоритмы машинного обучения используются для создания прогнозов или классификации данных. Взяв за основу некоторые входные данные, которые могут быть размечены или нет, алгоритм выдаст оценку в отношении наличия закономерности в данных.
  2. Функция ошибок. Функция ошибок служит для оценки прогноза по модели. При наличии известных примеров функция ошибок способна сравнить их, чтобы оценить точность модели.
  3. Процесс оптимизации модели. Если можно еще точнее сопоставить модель с точками данных в учебном наборе, то веса корректируются с целью уменьшения расхождения между известным примером и оценкой модели. Алгоритм будет повторять это вычисление и оптимизировать процесс, самостоятельно обновляя веса до тех пор, пока не будет достигнут порог точности.

Методы машинного обучения

Стили машинного обучения можно разделить на три основных категории.

Контролируемое машинное обучение

Контролируемое обучение (контролируемое машинное обучение) — это метод обучения алгоритма с помощью размеченных наборов данных, что позволяет точно классифицировать данные или прогнозировать результаты. Так как входные данные поступают в модель, она сама регулирует веса до тех пор, пока не будет достаточно уточнена. Все это выполняется в рамках процесса перекрестной проверки, предназначенной для предотвращения чрезмерного или недостаточного обучения. Контролируемое обучение с успехом используется в организациях для совершенно реальных задач, например для классификации спама и переноса его в отдельную папку в вашем почтовом ящике. В контролируемом обучении используются такие методы, как нейронные сети, наивный байесовский классификатор, линейная регрессия, логистическая регрессия, метод случайного леса, метод опорных векторов (SVM) и другие.

Неконтролируемое машинное обучение

Неконтролируемое обучение (или неконтролируемое машинное обучение) использует обучающие алгоритмы для анализа и классификации неразмеченных наборов данных. Эти алгоритмы без вмешательства человека обнаруживают закономерности или связи в данных, которые в ином случае могли бы остаться незамеченными. Такая способность обнаруживать сходства и различия в информации делает эту технологию идеальным вариантом для анализа исследовательских данных, создания стратегий перекрестных продаж, сегментации клиентов, а также для распознавания образов и шаблонов. Также это помогает уменьшить число признаков в модели, применив процедуру понижения размерности с использованием анализа главных компонентов (PCA) или сингулярного разложения (SVD). Также при неконтролируемом обучении используются нейронные сети, кластеризация методом k-средних, вероятностная кластеризация и другие методы.

Полуконтролируемое обучение

Полуконтролируемое обучение предлагает золотую середину между контролируемым и неконтролируемым обучением. На этапе обучения используется размеченный набор данных небольшого размера, по которому настраивается алгоритм классификации и извлечения признаков из более крупного, неразмеченного набора данных. Полуконтролируемое обучение приходит на помочь в том случае, если отсутствует достаточный объем помеченных данных для обучения алгоритма контролируемого машинного обучения (или маркировка данных стоит слишком дорого).

Для более подробного знакомства с различиями между этими подходами, обратитесь к веб-станице «Контролируемое и неконтролируемое обучение: в чем разница?»

Машинное обучение с подкреплением

Машинное обучение с подкреплением — это поведенческая модель машинного обучения, аналогичная контролируемому типу, однако для обучения этого алгоритма не применяется эталонный набор данных. Модель постепенно обучается методом проб и ошибок. Таким образом, последовательность успешных решений приводит к закреплению процесса, поскольку задача решается наилучшим образом.

Хороший пример тому — система IBM Watson®, которая в 2011 году стала победителем в игре Jeopardy!. Система использовала обучение с подкреплением для принятия решений о том, стоит ли пытаться дать ответ (или задать вопрос), какой квадрат выбрать на доске и какую сделать ставку — особенно в случае двойных ставок.

Подробнее об обучении с подкреплением.

Варианты использования машинного обучения в реальном мире

Вот лишь несколько примеров применения машинного обучения в повседневной жизни:

Распознавание речи: технология, использующая обработку естественного языка (NLP) для записи человеческой речи в виде текста. Также называется «автоматическое распознавание речи» (ASR), «компьютерное распознавание речи» или «преобразование речи в текст». Во многих мобильных устройствах распознавание речи встроено в системы голосового поиска (например, Siri) или программы для переписки.

Обслуживание клиентов: практически повсеместно операторов-людей заменяют на онлайн-чатботов. Они способны ответить на частые вопросы (FAQ) по определенной тематике, например по доставке, или дать персонализированный совет, предложить сопутствующие товары или помочь подобрать размер одежды или обуви. Чатботы полностью перевернули наши представления о взаимодействии с клиентами на сайтах и в социальных сетях. В качестве примеров можно привести виртуальных помощников на сайтах интернет-магазинов, приложения для обмена сообщениями типа Slack и Facebook Messenger, а также задачи, которые обычно выполняют виртуальные и голосовые помощники.

Компьютерное зрение: эта ИИ-технология позволяет компьютерам и системам извлекать осмысленную информацию из цифровых изображений, видеоматериалов и других визуальных данных, а затем на основе этой информации принимать решения. Именно способность к принятию решений и отличает эту технологию от обычного распознавания изображений. В основе компьютерного зрения лежат сверточные нейросети, а область применения этой технологии весьма обширна: от распознавания лиц на фото в социальных сетях до анализа медицинских рентгеновских снимков пациентов и проектирования беспилотных автомобилей.

Модули рекомендаций: алгоритмы ИИ могут проанализировать данные о прошлом поведении покупателей и выявить тенденции, которые помогут повысить эффективность стратегий перекрестных продаж. Благодаря этому сервису покупатели получают дополнительные рекомендации при оформлении заказов в интернет-магазине.

Автоматизация биржевой торговли: платформы высокочастотной торговли на базе ИИ не просто оптимизируют портфели акций, но и совершают тысячи и даже миллионы сделок без малейшего вмешательства человека.

Проблемы машинного обучения

Развитие технологий машинного обучение, несомненно, сильно облегчает нашу жизнь. Однако внедрение машинного обучения на предприятиях породило также и ряд проблем этического характера, связанных с технологиями ИИ. Вот некоторые из них:

Технологическая сингулярность

Несмотря на то, что эта тема активно будоражит умы населения, многие исследователи не видят реальных оснований тому, что уже в ближайшем будущем ИИ станет умнее человека. Это явление иногда называют «сверхразумом», что Ник Бустрём определяет как «интеллект, который многократно превосходит самых выдающихся людей в умственном развитии практически в каждой области: в научно-технической деятельности, житейской мудрости и развитии социальных навыков». Несмотря на то, что появление Сильного ИИ и сверхразума обществу не грозит, эта идея породила ряд интересных вопросов, связанных с использованием автономных систем типа беспилотных автомобилей. Считать, что беспилотные автомобили никогда не попадут в ДТП — утопия, поэтому встает вопрос: кто будет нести ответственность в таких ситуациях? Должны ли мы по-прежнему стремиться к созданию полностью автономных автомобилей, или все же стоит ограничиться интеграцией этой технологии, оставив транспортные средства полуавтономными и отдав безопасность на поруки водителю? Единого ответа на эти вопросы до сих пор нет, но чем стремительнее развиваются инновационные технологии ИИ, тем чаще возникают этические дискуссии такого толка.

Влияние ИИ на рынок труда

Сейчас очень многие опасаются, что искусственный интеллект вытеснит их с рабочих мест, но, возможно, пришло время пересмотреть эти убеждения. Мы видим, что каждая революционная технология порождает сдвиг рыночного спроса в сторону той или иной категории специалистов. Например, если посмотреть на автомобильную промышленность, то многие крупные производители типа GM сейчас переключаются на производство электромобилей, чтобы идти в ногу с экологическими инициативами. Энергетическая отрасль никуда не девается, но теперь она больше нацелена на производство электроэнергии, чем топлива. То же самое касается и искусственного интеллекта: на рынке неизбежно появится спрос на специалистов в других областях. Например, в цене будут люди, способные управлять этими системами в условиях ежедневного роста объемов данных и стремительных перемен. Также ничто не заменит людей при решении более сложных, нестандартных проблем в тех сферах, которых, скорее всего, коснется переквалификация, например обслуживание клиентов. Важным аспектом ИИ и его влияния ИИ на рынок труда будет содействие людям при переходе в эти новые области рыночного спроса.

Конфиденциальность

Как правило, тема конфиденциальности обсуждается в контексте конфиденциальности данных, их защиты и безопасности, и в последние годы регулирующие органы немалого достигли на этом поприще. Так, в 2016 году был разработан закон GDPR, обеспечивающий защиту персональной информации людей в странах Европейского Союза и Европейской экономической зоны. Благодаря этому закону люди получили больше контроля над своими данными. Отдельные штаты США разрабатывают свои правила, например Закон Калифорнии о защите конфиденциальности потребителей (CCPA), требующий от предприятий информировать потребителей о сборе их данных. Этот новый закон заставил компании пересмотреть свои способы хранения и использования персональных данных (PII). Все это привело к тому, что предприятия стали больше вкладывать в безопасность, стремясь устранить все возможные уязвимости и возможности слежки, взлома и кибератак.

Предвзятость и дискриминация

Случаи проявления предвзятости и дискриминации при использовании некоторых ИИ-систем подняли ряд этических вопросов, связанных с использованием искусственного интеллекта. Как защититься от предвзятости и дискриминации, если сами учебные данные могут быть предвзятыми? Хотя обычно компании реализуют автоматизацию с самыми благими намерениями, агентство Reuters (внешняя ссылка) рассказывает о нескольких непредвиденных последствиях внедрения ИИ в процессы найма сотрудников. Так, стремясь автоматизировать и упростить процесс найма, компания Amazon неумышленно фильтровала потенциальных соискателей технических должностей по половому признаку. В конечном счете компании пришлось свернуть проект автоматизации. В свете таких событий Harvard Business Review (внешняя ссылка) поднимает и другие, не менее острые вопросы, касающиеся использования ИИ в процессах трудоустройства. Например, какие данные должно быть разрешено использовать для оценки соискателя должности?

Предвзятость и дискриминация не ограничиваются одним только управлением персоналом. Эти эффекты проявляются и в ряде других областей, начиная от ПО для распознавания лиц и заканчивая алгоритмами социальных сетей.

Чем больше предприятия стали осознавать риски, связанные с ИИ, тем активнее стала подниматься тема этики искусственного интеллекта и человеческих ценностей. Например, в прошлом году генеральный директор IBM Арвинд Кришна сообщил, что IBM прекратила разработку универсальных продуктов для распознавания и анализа лиц. Глава компании подчеркнул, что «IBM выступает решительно против любых технологий (включая технологии распознавания лиц других компаний) для массовой слежки, идентификации по расовому признаку, нарушения основных прав и свобод, а также для любых других целей, не согласующихся с нашими ценностям и Принципами доверия и прозрачности».

Более подробные сведения об этом событии можно найти в нашей публикации в блоге, посвященной политике IBM и отражающей точку зрения компании на «Принцип точного регулирования для контроля экспорта технологий распознавания лиц».

Ответственность

За отсутствием мало-мальски значимых законов, регулирующих разработки в области ИИ и его использование, нет и реального механизма обеспечения этичности ИИ. Сейчас организации стараются соблюдать эти нормы главным образом потому, что неэтичное использование ИИ в итоге отрицательно сказывается на прибыли. Для заполнения этого пробела специалисты по этике и исследователи совместно выработали нравственные нормы, регулирующие создание ИИ-моделей и их распространение в обществе. Но пока они носят только рекомендательный характер, и исследование (внешняя ссылка) (PDF, 984 КБ) показывает, что разобщенная ответственность вкупе с недальновидностью и неспособностью предусмотреть возможные последствия — не очень хороший план по предотвращению ущерба обществу.

Более подробно о позиции IBM в отношении этики использования ИИ можно узнать здесь.

Машинное обучение и IBM Cloud

IBM Watson Machine Learning обеспечивает поддержку на всех этапах жизненного цикла машинного обучения. Воспользуйтесь предложениями, предназначенными для создания моделей машинного обучения там, где хранятся данные, и их развертывания в гибридной мультиоблачной среде.

IBM Watson Machine Learning в составе IBM Cloud Pak for Data помогает специалистам по ИИ и данным ускорить разработку и упростить развертывание ИИ на основе облачной платформы данных и ИИ. IBM Watson Machine Learning Cloud, управляемая услуга в среде IBM Cloud, предлагает самый быстрый способ перехода от экспериментальных моделей к производственному использованию. Для небольших команд, которым требуется масштабировать среды машинного обучения, IBM Watson Machine Learning Server предлагает простую установку в любом частном или общедоступном облаке.

Для того чтобы приступить к работе, зарегистрируйтесь для получения IBMid и создайте учетную запись IBM Cloud.