Когнитивные технологии

О конвергенции профессий разработчиков ПО и специалистов по работе с данными

Share this post:

 Извлечение ценности из данных представляет собой сложную и масштабную инициативу, для решения которой компании начинают в массовом порядке привлекать квалифицированных специалистов по работе с данными (“Data Scientists”). Исследование IBM показало, что в связи с ежегодным ростом спроса на специалистов по обработке информации, разработчиков и инженеров данных к 2020 году количество вакансий в этой области достигнет 700 тысяч.

Однако одной лишь статистики рынка труда недостаточно для полного понимания того, что происходит в компаниях, которые переходят на подход к бизнесу, основанный на данных. В результате увеличения объема данных существующая структура должностей в разных отраслях промышленности уже изменилась и еще продолжает меняться. А специалисты по обработке информации и разработчики ПО начинают работать друг с другом еще более тесно, чем когда-либо, подтверждая тот факт, что взаимопроникновение сфер производства программного обеспечения и анализа данных непрерывно растет.

О взаимодействии специалистов по обработке данных и разработчиков ПО

Специалисты по обработке информации разработчики ПО отвечают за разные части одного и того же рабочего процесса. Если первые изучают данные с целью получения ценной аналитической информации, то вторые используют эту информацию для автоматизации рабочего процесса и создания приложений. При этом и те, и другие работают над достижением общей цели, которая заключается в создании хорошо спроектированных приложений.

Специалистам по обработке информации не требуется быть абсолютными экспертами в области программирования благодаря новым инструментам по работе с данными на основе облачных технологий. Использование облака в качестве общей платформы обеспечивает предоставление нужной информации в нужное время, исключая неэффективные рабочие процессы, предполагающие большое количество участников и ручных операций.

Так, при разработке приложения специалисты по обработке информации имеют дело с сырыми данными и занимаются построением аналитических моделей для получения инсайтов на основе данных. Эта аналитическая информация затем передается команде разработчиков, которая преобразует полученные модели данных в функционал для конечного пользователя, используя наиболее подходящий для данного приложения язык программирования. Получается непрерывный процесс, ориентированный на создание максимально практичного приложения.

Ключевые инструменты для специалистов по работе с данными

 Для ускорения процесса создания приложений часто используют облачную платформу, которая позволяет объединить рабочее пространство специалистов по обработке информации и разработчиков в рамках проекта. Таким образом, рабочие данные и предварительные результаты становятся доступны обеим сторонам процесса. Помимо облаков, полезны такие инструменты:

  • Jupyter notebook способствует более быстрой доставке данных адресатам посредством взаимодействия в облачных средах. Используя специальные «блокноты», пользователи могут в одном месте записывать и обмениваться кодами на разных языках программирования, таких как Python, R, Scala и Node.js. Информацию можно загружать и сохранять, используя любую облачную базу данных, проверять и обрабатывать для дальнейшего применения при прогнозировании с помощью моделей машинного обучения. Результаты можно публиковать напрямую из блокнота, прибегая к визуализации данных и программных интерфейсов приложения (API).
  • Pixie Dust –общедоступный и эффективный компонент, который можно добавить к блокнотам для ускорения процесса изучения данных. Pixie Dust позволяет специалистам по обработке информации, а также разработчикам быстро осуществлять визуализацию данных без какого-либо кода и публиковать их в виде отдельного веб-приложения. Это значит, что данные становятся доступны даже конечным пользователям, не являющимися техническими специалистами. Визуальное представление данных, в отличие от кодов и чисел, позволяет с легкостью выявлять возможности для бизнеса.

Наука о данных в помощь принятию бизнес-решений

Объединение навыков специалистов по обработке информациии разработчиков, а также использование высокотехнологичных инструментов, таких как Jupyter notebooks и Pixie Dust, расширяют возможности для инноваций. Например, в области метеорологических данных.

Метеорологические данные можно объединить и проанализировать совместно со многими другими наборами данных из различных источников для принятия обоснованных бизнес-решений. Например, погодные условия оказывают влияние на дорожную ситуацию, и метеорологические данные можно использовать для создания системы, прогнозирующей вероятность возникновения пробок на дорогах и дорожно-транспортных происшествий.

Информацию за прошлые периоды можно соотнести с данными об интенсивности движения, дорожно-транспортных происшествиях и качестве дорожного покрытия для разработки прогнозирующей модели машинного обучения. Такая модель и инсайты будут полезны для создания приложений по безопасности дорожного движения, которое позволит соответствующим службам оценить возможности повышения безопасности на дорогах.

Инновации как результат сотрудничества

Облачные решения продолжают активно развиваться, и вместе с ними появляются широкие возможности для изучения большего объема данных и более быстрого получения преимуществ в результате их обработки. Потенциал таких решений способствует установлению более тесной связи между функционалом специалистов по обработке информации и разработчиков, которые изначально работали достаточно обособленно друг от друга, прежде всего, по причине использования разных инструментов и языков программирования. Однако этой проблемы больше не существует, благодаря наличию инструментов, которые можно с легкостью использовать для оптимизации и повышения гибкости рабочих процессов. С их помощью специалисты по обработке информациии разработчики получили в свое распоряжение ресурсы и возможности для более быстрого создания инновационных продуктов, направленных на решение конкретных задач.

 

Автор: Маргрит Гронендийк, специалист по обработке данных и разработчик подразделения Watson Data Platform

 

Add Comment
No Comments

Leave a Reply

Your email address will not be published.Required fields are marked *

More Когнитивные технологии Stories
By Игорь Ларин on 12/12/2018

Об отношении россиян к возможностям искусственного интеллекта

Результаты глобального опроса топ-менеджеров, опубликованного IBM Institute for Business Value в 2018 году, показали, что 28% лидирующих по показателям эффективности или прибыльности компаний и организаций внедряют или уже используют средства искусственного интеллекта. При этом 82% всех опрошенных как минимум рассматривают возможность использования ИИ в операционной деятельности. Это мнение бизнеса. Интересно, а что говорят об искусственном […]

Continue reading

By Ирис Джеба on 27/02/2019

IBM помогает российским компаниям в создании открытых, надежных и безопасных бизнес-сред

Глобальная конференция IBM THINK, проходившая в Сан-Франциско 12-15 февраля, включала в себя более двух тысяч тематических сессий, на которых выступали российские спикеры из числа заказчиков и бизнес-партнеров IBM. Сессии с участием российских компаний были, в частности, посвящены технологиям блокчейна, открытым банковским платформам и безопасной промышленной инфраструктуре. Давайте посмотрим, как передовые ИТ-решения помогают клиентам и бизнес-партнерам […]

Continue reading

By Дмитрий Шпиль on 17/09/2019

Об отношении россиян к возможностям облачных сервисов и подходах к корпоративным облачным стратегиям

  В последние годы рынок облачных технологий стабильно развивается во всем мире, в том числе и в России. Актуальным отражением этого тренда с точки зрения бизнес-модели b2b является, в частности, то, что российские ИТ-дистрибуторы все чаще становятся операторами облачных маркетплейсов, предлагая своим партнерам облачный доступ к решениям IBM. Облачные технологии в любом своем воплощении призваны […]

Continue reading