Когнитивные технологии

О конвергенции профессий разработчиков ПО и специалистов по работе с данными

Поделиться:

 Извлечение ценности из данных представляет собой сложную и масштабную инициативу, для решения которой компании начинают в массовом порядке привлекать квалифицированных специалистов по работе с данными (“Data Scientists”). Исследование IBM показало, что в связи с ежегодным ростом спроса на специалистов по обработке информации, разработчиков и инженеров данных к 2020 году количество вакансий в этой области достигнет 700 тысяч.

Однако одной лишь статистики рынка труда недостаточно для полного понимания того, что происходит в компаниях, которые переходят на подход к бизнесу, основанный на данных. В результате увеличения объема данных существующая структура должностей в разных отраслях промышленности уже изменилась и еще продолжает меняться. А специалисты по обработке информации и разработчики ПО начинают работать друг с другом еще более тесно, чем когда-либо, подтверждая тот факт, что взаимопроникновение сфер производства программного обеспечения и анализа данных непрерывно растет.

О взаимодействии специалистов по обработке данных и разработчиков ПО

Специалисты по обработке информации разработчики ПО отвечают за разные части одного и того же рабочего процесса. Если первые изучают данные с целью получения ценной аналитической информации, то вторые используют эту информацию для автоматизации рабочего процесса и создания приложений. При этом и те, и другие работают над достижением общей цели, которая заключается в создании хорошо спроектированных приложений.

Специалистам по обработке информации не требуется быть абсолютными экспертами в области программирования благодаря новым инструментам по работе с данными на основе облачных технологий. Использование облака в качестве общей платформы обеспечивает предоставление нужной информации в нужное время, исключая неэффективные рабочие процессы, предполагающие большое количество участников и ручных операций.

Так, при разработке приложения специалисты по обработке информации имеют дело с сырыми данными и занимаются построением аналитических моделей для получения инсайтов на основе данных. Эта аналитическая информация затем передается команде разработчиков, которая преобразует полученные модели данных в функционал для конечного пользователя, используя наиболее подходящий для данного приложения язык программирования. Получается непрерывный процесс, ориентированный на создание максимально практичного приложения.

Ключевые инструменты для специалистов по работе с данными

 Для ускорения процесса создания приложений часто используют облачную платформу, которая позволяет объединить рабочее пространство специалистов по обработке информации и разработчиков в рамках проекта. Таким образом, рабочие данные и предварительные результаты становятся доступны обеим сторонам процесса. Помимо облаков, полезны такие инструменты:

  • Jupyter notebook способствует более быстрой доставке данных адресатам посредством взаимодействия в облачных средах. Используя специальные «блокноты», пользователи могут в одном месте записывать и обмениваться кодами на разных языках программирования, таких как Python, R, Scala и Node.js. Информацию можно загружать и сохранять, используя любую облачную базу данных, проверять и обрабатывать для дальнейшего применения при прогнозировании с помощью моделей машинного обучения. Результаты можно публиковать напрямую из блокнота, прибегая к визуализации данных и программных интерфейсов приложения (API).
  • Pixie Dust –общедоступный и эффективный компонент, который можно добавить к блокнотам для ускорения процесса изучения данных. Pixie Dust позволяет специалистам по обработке информации, а также разработчикам быстро осуществлять визуализацию данных без какого-либо кода и публиковать их в виде отдельного веб-приложения. Это значит, что данные становятся доступны даже конечным пользователям, не являющимися техническими специалистами. Визуальное представление данных, в отличие от кодов и чисел, позволяет с легкостью выявлять возможности для бизнеса.

Наука о данных в помощь принятию бизнес-решений

Объединение навыков специалистов по обработке информациии разработчиков, а также использование высокотехнологичных инструментов, таких как Jupyter notebooks и Pixie Dust, расширяют возможности для инноваций. Например, в области метеорологических данных.

Метеорологические данные можно объединить и проанализировать совместно со многими другими наборами данных из различных источников для принятия обоснованных бизнес-решений. Например, погодные условия оказывают влияние на дорожную ситуацию, и метеорологические данные можно использовать для создания системы, прогнозирующей вероятность возникновения пробок на дорогах и дорожно-транспортных происшествий.

Информацию за прошлые периоды можно соотнести с данными об интенсивности движения, дорожно-транспортных происшествиях и качестве дорожного покрытия для разработки прогнозирующей модели машинного обучения. Такая модель и инсайты будут полезны для создания приложений по безопасности дорожного движения, которое позволит соответствующим службам оценить возможности повышения безопасности на дорогах.

Инновации как результат сотрудничества

Облачные решения продолжают активно развиваться, и вместе с ними появляются широкие возможности для изучения большего объема данных и более быстрого получения преимуществ в результате их обработки. Потенциал таких решений способствует установлению более тесной связи между функционалом специалистов по обработке информации и разработчиков, которые изначально работали достаточно обособленно друг от друга, прежде всего, по причине использования разных инструментов и языков программирования. Однако этой проблемы больше не существует, благодаря наличию инструментов, которые можно с легкостью использовать для оптимизации и повышения гибкости рабочих процессов. С их помощью специалисты по обработке информациии разработчики получили в свое распоряжение ресурсы и возможности для более быстрого создания инновационных продуктов, направленных на решение конкретных задач.

 

Автор: Маргрит Гронендийк, специалист по обработке данных и разработчик подразделения Watson Data Platform

 

Добавить комментарий
Нет комментариев

Добавить комментарий

Your email address will not be published.Обязательные поля отмечены *

Больше Когнитивные технологии Истории
By Игорь Ларин on 12/12/2018

Об отношении россиян к возможностям искусственного интеллекта

Результаты глобального опроса топ-менеджеров, опубликованного IBM Institute for Business Value в 2018 году, показали, что 28% лидирующих по показателям эффективности или прибыльности компаний и организаций внедряют или уже используют средства искусственного интеллекта. При этом 82% всех опрошенных как минимум рассматривают возможность использования ИИ в операционной деятельности. Это мнение бизнеса. Интересно, а что говорят об искусственном […]

Читать далее

By Николай Марин on 17/10/2018

Поднимая планку открытости и совместимости

IBM всегда была лидером в открытости – от ранних дней ОС Linux и языка программирования  Java до нашего времени с ПО Kubernetes и блокчейн-платформы на базе Hyperledger Fabric. Заказчикам сегодня нужна не только открытость, но и надежная совместимость приложений и платформ от самых разных поставщиков, а также безопасная возможность организации совместного доступа к данным. Открытость […]

Читать далее

By Руслан Карпов on 14/10/2019

Инновационные средства оптимизации создают преимущества для предприятий в сфере транспортной логистики

За последние несколько лет авиакомпании во всем мире заметно расширили маршрутную сеть. Согласно данным IATA, в 2018 году авиасообщение связало около 22 тыс. пар городов — примерно на 6% больше, чем в 2017 году. Российские авиакомпании входят в ведущую двадцатку мира (Аэрофлот) и Европы (Аэрофлот, S7). При этом существенную долю роста обеспечивают внутренние российские рейсы. Авиация по миру предоставляет […]

Читать далее