A ciência de dados combina matemática e estatística, programação especializada, análise avançada, inteligência artificial (IA) e machine learning com conhecimento em assuntos específicos para descobrir insights práticos, ocultos nos dados de uma organização. Esses insights podem ser usados para orientar a tomada de decisões e o planejamento estratégico.

O volume crescente de fontes de dados e, subsequentemente, dos dados tornou a ciência de dados um dos campos que mais crescem em todos os setores. Como resultado, não é nenhuma surpresa que a função cientista de dados tenha sido apelidado de "o trabalho mais sexy do século 21" pela Harvard Business Review (link externo á IBM). As organizações dependem cada vez mais deles para interpretar dados e fornecer recomendações acionáveis para melhorar os resultados de negócios.

O ciclo de vida da ciência de dados envolve várias funções, ferramentas e processos, o que permite que analistas obtenham insights práticos. Normalmente, um projeto de ciência de dados passa pelas seguintes etapas:

• Ingestão de dados: o ciclo de vida começa com a coleta de dados não processados, tanto estruturados quanto não estruturados, de todas as fontes relevantes por meio de diversos métodos. Esses métodos podem incluir entrada manual, web scraping e dados de streaming em tempo real a partir de sistemas e dispositivos. As fontes de dados podem incluir dados estruturados, como dados do cliente, juntamente com dados não estruturados, como arquivos de log, vídeo, fotos, Internet das Coisas (IoT), redes sociais e muito mais.

• Armazenamento e processamento de dados: uma vez que os dados podem ter diferentes formatos e estruturas, as empresas precisam considerar diferentes sistemas de armazenamento baseados no tipos de dados que precisam ser capturados. As equipes de gerenciamento de dados ajudam a definir padrões para o armazenamento e a estrutura dos dados, que facilitam os fluxos de trabalho para modelos de análise, machine learning e deep learning. Esta fase inclui a limpeza, desduplicação, transformação e combinação de dados por meio de tarefas ETL (extração, transformação, carregamento) ou outras tecnologias de integração de dados. Esta preparação de dados é essencial para promover a qualidade dos dados antes de carregá-los em um data warehouse, data lake ou outro repositório.

• Análise de dados: aqui, os cientistas de dados realizam uma análise de dados exploratória para examinar vieses, padrões, intervalos e distribuições de valores nos dados. Esta descoberta por análise guiará a geração de hipóteses para testes a/b. Ela também permite que os analistas determinem a relevância dos dados para uso dentro dos esforços de modelagem para análise preditiva, machine learning e/ou deep learning. Dependendo da precisão de um modelo, as organizações podem se tornar dependentes desses insights para a tomada de decisões de negócios, permitindo-lhes impulsionar mais escalabilidade.

• Comunicação: por fim, os insights são apresentados como relatórios e outras visualizações de dados que simplificam a sua compreensão, além de seus impactos nos negócios, para analistas de negócios e outros tomadores de decisões. Uma linguagem de programação de ciência de dados, como R ou Python, inclui componentes para gerar visualizações; como alternativa, os cientistas de dados podem usar ferramentas de visualização dedicadas.

A ciência de dados é considerada uma disciplina, enquanto os cientistas de dados são os praticantes desse campo. Os cientistas de dados não são necessariamente responsáveis diretos por todos os processos envolvidos no ciclo de vida da ciência de dados. Por exemplo, os pipelines de dados são, normalmente, de responsabilidade dos engenheiros de dados, mas o cientista de dados pode fazer recomendações sobre quais tipos de dados são úteis ou necessários. Embora os cientistas de dados possam construir modelos de machine learning, o ajuste de escala desses esforços em um nível maior requer mais conhecimento em engenharia de software para otimizar um programa para execução mais rapidamente. Como resultado, é comum para um cientista de dados fazer parceria com engenheiros de machine learning para escalar modelos de machine learning.

As responsabilidades do cientista de dados geralmente se sobrepõem às de um analista de dados, particularmente com análise exploratória e visualização de dados. No entanto, o conjunto de habilidades de um cientista de dados geralmente é mais amplo, em média, em comparação a um analista de dados. Comparativamente, cientistas de dados utilizam linguagens de programação conhecidas, como R e Python, para realizar mais inferência estatística e visualização de dados.

Para executar essas tarefas, os cientistas de dados precisam de habilidades em ciência da computação e ciência básica além daquelas apresentadas por um analista de negócios ou de dados típico. O cientista de dados também deve entender as particularidades da empresa, como fabricação de automóveis, comércio eletrônico ou saúde.

Resumindo, um cientista de dados deve ser capaz de:

• Conhecer o suficiente sobre os negócios para fazer perguntar pertinente e identificar pontos problemáticos.
• Aplicar estatísticas e ciência da computação, juntamente com conhecimento sobre negócios, à análise de dados.
• Usar uma grande variedade de ferramentas e técnicas para preparar e extrair dados, desde bancos de dados e SQL até métodos de mineração de dados e de integração de dados.
• Extrair insights de big data usando análise preditiva e inteligência artificial (IA), incluindo modelos de machine learning, processamento de linguagem natural e deep learning.
• Escrever programas que automatizem cálculos e processamento de dados.
• Contar e ilustrar histórias que transmitam claramente os resultados para os tomadores de decisões e stakeholders em todos os níveis de conhecimento técnico.
• Explicar como os resultados podem ser usados para resolver problemas de negócios.
• Colaborar com outros membros da equipe de ciência de dados, como analistas de dados e negócios, arquitetos de TI, engenheiros de dados e desenvolvedores de aplicativos.

Essas habilidades estão em alta demanda e, como resultado, muitos indivíduos que estão iniciando a carreira de ciência de dados descobrem uma variedade de programas de ciência de dados, como programas de certificação, cursos de ciência de dados e programas de licenciatura oferecidos por instituições educacionais.

É comum confundir os termos “ciência de dados” e “inteligência de negócios” (BI), pois ambos se relacionam com os dados de uma organização e a análise desses dados, mas com focos diferentes.

Inteligência de negócios (BI) é um termo abrangente para a tecnologia que possibilita a preparação de dados, mineração de dados, o gerenciamento de dados e a visualização de dados. As ferramentas e processos de inteligência de negócios permitem que usuários finais identifiquem informações acionáveis a partir de dados brutos, facilitando a tomada de decisão orientada por dados das organizações entre diversos de setores do mercado. Embora as ferramentas de ciência de dados também sirvam para muitos desses fins, a inteligência de negócios se concentra mais em dados passados; além disso, os insights de ferramentas de BI são mais descritivos. Ela usa dados para entender o que já ocorreu antes de informar uma tomada de ação. A BI é voltada para dados estáticos (imutáveis), geralmente estruturados. Embora a ciência de dados use dados descritivos, ela geralmente os utiliza para determinar variáveis preditivas, que são usadas por sua vez para categorizar dados ou fazer previsões

Ciência de dados e BI não são mutuamente exclusivas; organizações voltadas para tecnologia usam ambas para interpretar e extrair valor de seus dados.

Os cientistas de dados contam com linguagens de programação conhecidas para realizar análises de dados exploratórias e regressão estatística. Essas ferramentas de software livre oferecem suporte para modelagem estatística pré-construída, machine learning e recursos gráficos. Essas linguagens incluem (saiba mais em "Python vs. R: qual é a diferença?"):

• R Studio: uma linguagem e ambiente de programação baseada em software livre, para desenvolvimento de computação e gráficos estatísticos.
• Python: uma linguagem de programação dinâmica e flexível. Python inclui diversas bibliotecas, como NumPy, Pandas e Matplotlib para analisar dados rapidamente.

Para facilitar o compartilhamento de códigos e outras informações, os cientistas de dados podem usar notebooks GitHub e Jupyter.

Alguns cientistas de dados preferem uma interface com o usuário e duas das ferramentas corporativas mais comuns para análise estatística incluem:

• SAS: um conjunto abrangente de ferramentas, incluindo visualizações e painéis interativos para análise, geração de relatórios, mineração de dados e modelagem preditiva.
• IBM SPSS: oferece análises estatísticas avançadas, uma vasta biblioteca de algoritmos de machine learning, análise de textos, extensibilidade baseada em software livre, integração com big data e implementação dinâmica em aplicativos.

Os cientistas de dados também ganham proficiência no uso de grandes plataformas de processamento de dados, como Apache Spark, o framework de origem aberta Apache Hadoop e bancos de dados NoSQL. Eles também são capacitados em uma grande variedade de ferramentas de visualização de dados, incluindo ferramentas gráficas simples incluídas em aplicativos de apresentação e de planilhas (como o Microsoft Excel), ferramentas de visualização comercial construídas para fins específicos, como Tableau e IBM Cognos e ferramentas de software livre, como D3.js (uma biblioteca JavaScript para criação de visualizações de dados interativas) e RAW Graphs. Para criação de modelos de machine learning, cientistas de dados geralmente usam diversos frameworks como PyTorch, TensorFlow, MXNet e Spark MLib.

Dada a grande curva de aprendizado em ciência de dados, muitas empresas estão buscando acelerar seu retorno sobre o investimento em projetos de IA; muitas vezes elas encontram dificuldade em contratar o talento necessário para extrair o potencial completo de um projeto de ciência de dados. Para lidar com essa questão, elas estão se voltando para as plataformas multipersona Data science and Machine Learning (DSML), dando origem ao cargo de "cidadão cientista de dados".

Plataformas multipersona DSML usam automação, portais de autoatendimento e interfaces de usuário low code/no code para que pessoas com pouca ou nenhuma experiência em tecnologia digital ou conhecimento em ciência de dados possa gerar valor de negócios com ciência de dados e machine learning. Essas plataformas também oferecem suporte a cientistas de dados especialistas ao também oferecer uma interface mais técnica. O uso de uma plataforma DSML multipersona incentiva a colaboração em toda a empresa.

A cloud computing expande a ciência de dados ao oferecer acesso a mais processamento, potência e armazenamento, além de outras ferramentas necessárias para projetos de ciência de dados.

Como a ciência de dados frequentemente utiliza grandes conjuntos de dados, é extremamente importante ter ferramentas que possam se ajustar à escala dos dados, especialmente para projetos urgentes. Soluções de armazenamento em cloud como data lakes oferecem acesso a infraestruturas de armazenamento, capazes de ingerir e processar grandes volumes de dados com facilidade. Esses sistemas de armazenamento proporcionam flexibilidade aos usuários finais, permitindo que criem grandes clusters conforme a necessidade. Eles também podem incluir nós de computação incrementais para acelerar as tarefas de processamento de dados, permitindo que as empresas façam ajustes de curto prazo para obter resultados a longo prazo. As plataformas de cloud geralmente possuem diversos modelos de precificação, como assinaturas ou pagamento por uso, para atender às necessidades do usuário final, seja ele uma grande corporação ou uma startup de pequeno porte.

As tecnologias baseadas em software livre são amplamente utilizadas em conjuntos de ferramentas de ciência de dados. Quando hospedadas na cloud, não há necessidade de instalação, configuração, manutenção ou atualização localmente pelas equipes. Vários provedores de cloud, incluindo IBM® Cloud, também oferecem kits de ferramenta predefinidos que permitem aos cientistas de dados construir modelos sem programação, democratizando ainda mais o acesso às inovações tecnológicas e aos insights de dados. 

As empresas podem descobrir inúmeros benefícios ao usar a ciência de dados. Casos de uso comuns incluem a otimização de processos por meio de automação inteligente e segmentação e personalização aprimoradas para melhorar a experiência do cliente (CX). No entanto, exemplos mais específico incluem

Aqui estão alguns casos de uso representativos para ciência de dados e inteligência artificial:

• Um banco internacional oferece serviços de empréstimo mais rápidos com um aplicativo móvel usando modelos de risco de crédito desenvolvidos com machine learning e uma arquitetura de cloud computing híbrida poderosa e segura.
• Uma empresa de eletroeletrônicos está desenvolvendo sensores ultrapoderosos impressos em 3D para guiar os veículos autônomos do futuro. A solução se baseia em ferramentas de ciência de dados e análise para aprimorar seus recursos de detecção de objetos em tempo real.
• Um provedor de soluções de automação robótica de processos (RPA) desenvolveu uma solução cognitiva de mineração de processos de negócios que reduz o tempo de processamento de incidentes de 15% a 95% para suas empresas clientes. A solução é treinada para entender o conteúdo e a impressão dos e-mails dos clientes, direcionando as equipes de atendimento a priorizar os mais relevante e urgentes.
• Uma empresa de tecnologia de mídia digital criou uma plataforma de análise de público que permite aos seus clientes visualizar o que está engajando o público de TV em um mercado que oferece uma quantidade cada vez maior de canais digitais. A solução emprega análise profunda e machine learning para obter insights em tempo real sobre o comportamento dos telespectadores.
• Um departamento de polícia criou ferramentas estatísticas de análise de incidentes para ajudar seus agentes a compreender quando e onde empregar recursos para prevenir o crime. A solução acionada por dados cria relatórios e painéis para aumentar o reconhecimento de situação para oficiais de campo.
• A Shanghai Changjiang Science and Technology Development usou a tecnologia IBM® Watson® para construir uma plataforma de avaliação médica baseada em IA que pode analisar os registros médicos existentes para categorizar os pacientes com base em seu risco de sofrer um derrame e que pode prever a taxa de sucesso de diferentes planos de tratamento.