La science des données combine les mathématiques et les statistiques, la programmation spécialisée, l'analytique avancée, l'intelligence artificielle (IA) et lemachine learning avec une expertise spécifique pour découvrir des informations exploitables cachées dans les données d'une organisation. Ces informations peuvent être utilisées pour guider la prise de décision et la planification stratégique.
L'augmentation rapide du volume des sources de données, et par conséquent des données elles-mêmes, a fait de la science des données l'un des domaines connaissant la plus forte croissance dans tous les secteurs. Il n’est donc pas surprenant que le rôle de data scientist ait été qualifié de « travail le plus sexy du 21e siècle » par Harvard Business Review (lien externe à ibm.com). Les organisations comptent de plus en plus sur eux pour interpréter les données et fournir des recommandations exploitables afin d'améliorer les résultats de l'entreprise.
Le cycle de vie de la science des données implique différents rôles, outils et processus, qui permettent aux analystes de glaner des informations exploitables. En règle générale, un projet de science des données passe par les étapes suivantes :
- Intégration des données : le cycle de vie commence par la collecte de données, données brutes structurées ou non provenant de toutes les sources pertinentes, à l'aide de diverses méthodes. Ces méthodes peuvent inclure la saisie manuelle, le web scraping et le flux de données en temps réel provenant de systèmes et d'appareils. Les sources de données peuvent inclure des données structurées, comme les données client, ainsi que des données non structurées comme les fichiers journaux, la vidéo, l’audio, les images, l’Internet des objets (IdO), les réseaux sociaux, etc.
- Stockage et traitement des données : comme les données peuvent avoir des formats et des structures différents, les entreprises doivent envisager différents systèmes de stockage en fonction du type de données à capturer. Les équipes de gestion des données contribuent à définir des normes concernant le stockage et la structure des données, ce qui facilite les workflows autour des modèles d’analytique, de machine learning et d’apprentissage profond. Cette étape comprend le nettoyage des données, la déduplication, la transformation et la combinaison des données à l’aide de tâches ETL (extraction, transformation, chargement) ou d’autres technologies d’intégration de données. Cette préparation des données est essentielle pour en améliorer la qualité avant de les charger dans un entrepôt de données, un data lake ou un autre référentiel.
- Analyse des données : À ce moment-là, les data scientists effectuent une analyse exploratoire des données afin d'examiner les biais, les modèles, les fourchettes et les distributions des valeurs au sein des données. Cette exploration analytique des données permet de générer des hypothèses pour les tests a/b. Elle permet également aux analystes de déterminer la pertinence des données en vue de leur utilisation dans le cadre d'efforts de modélisation pour l'analyse prédictive, le machine learning et/ou l'apprentissage profond. En fonction de la précision d'un modèle, les organisations peuvent s'appuyer sur ces informations pour prendre des décisions commerciales, ce qui leur permet d'accroître leur évolutivité.
- Communiquer: enfin, les informations sont présentées sous forme de rapports et d’autres visualisations de données qui facilitent la compréhension des informations et de leur impact sur l’entreprise pour les analystes métier et les autres décideurs. Un langage de programmation pour la science des données, tel que R ou Python, comprend des composants permettant de générer des visualisations ; les data scientists peuvent également utiliser des outils de visualisation dédiés.
Utilisez cet ebook pour vous aligner avec d'autres responsables sur les 3 objectifs clés de MLOps et de l'IA digne de confiance : confiance dans les données, confiance dans les modèles et confiance dans les processus.
Obtenir le rapport Gartner
La science des données est considérée comme une discipline, et les data scientists sont les praticiens dans ce domaine. Les data scientists ne sont pas nécessairement directement responsables de tous les processus impliqués dans le cycle de vie de la science des données. Par exemple, les pipelines de données sont généralement gérés par des ingénieurs de données, mais les data scientists peuvent faire des recommandations sur le type de données utiles ou requises. Bien que les data scientists puissent créer des modèles de machine learning, la généralisation de ces efforts nécessite davantage de compétences en ingénierie logicielle afin d’optimiser un programme afin qu’il s’exécute plus rapidement. Par conséquent, il est courant qu’un data scientist s’associe à des ingénieurs en machine learning pour mettre à l’échelle des modèles de machine learning.
Les responsabilités d'un data scientist peuvent souvent se chevaucher avec celles d'un analyste des données, en particulier en ce qui concerne l'analyse exploratoire des données et la visualisation des données. Toutefois, les compétences d'un data scientist sont généralement plus étendues que celles d'un analyste de données moyen. Comparativement, le data scientist utilise des langages de programmation courants, tels que R et Python, pour effectuer davantage d'inférences statistiques et de visualisation de données.
Pour mener à bien ces tâches, les data scientists doivent posséder des compétences en informatique et en sciences pures qui dépassent celles d'un analyste commercial ou d'un analyste de données classique. Le data scientist doit également comprendre les spécificités du secteur de l'entreprise, comme, par exemple, de la construction automobile, du commerce électronique ou des soins de santé.
En résumé, un data scientist doit pouvoir :
- Connaître suffisamment le secteur pour poser des questions pertinentes et identifier les points faibles de l'entreprise.
- Appliquer les statistiques et l'informatique, ainsi que le sens des affaires, à l'analyse des données.
- Utiliser un large éventail d'outils et de techniques pour préparer et extraire des données, depuis les bases de données et le langage SQL jusqu'à l'exploration de données et aux méthodes d'intégration de données.
- Extrayez des informations du big data à l’aide de l’analyse prédictive et de l’intelligence artificielle (IA), y compris les modèles de machine learning, le traitement automatique du langage naturel et l’apprentissage profond.
- Écrivez des programmes qui automatisent le traitement des données et les calculs.
- Racontez et illustrez des histoires qui transmettent clairement le sens des résultats aux décideurs et aux parties prenantes à tous les niveaux de compréhension technique.
- Expliquez comment les résultats peuvent être utilisés pour résoudre les problèmes métier.
- Collaborez avec les autres membres de l’équipe de science des données, comme les analystes de données et métier, les architectes informatiques, les ingénieurs de données et les développeurs d’applications.
Ces compétences sont très demandées et, par conséquent, de nombreuses personnes qui se lancent dans une carrière en science des données explorent une variété de programmes en science des données, tels que des programmes de certification, des cours en science des données et des programmes diplômants proposés par des établissements d'enseignement.
Découvrez notre nouveau studio destiné aux entreprises qui réunit le machine learning traditionnel et les nouvelles capacités d’IA générative alimentées par des modèles de fondation.
WatsonStudio
IBM Cloud Pak for Data
Il peut être facile de confondre les termes « science des données » et « business intelligence » (BI), car ils se rapportent tous deux aux données d'une organisation et à l'analyse de ces données, mais ils diffèrent par leur objectif.
Business Intelligence (BI) est généralement un terme générique désignant la technologie qui permet la préparation, l'exploration de données, la gestion des données et la visualisation des données. Les outils et les processus de Business Intelligence permettent aux utilisateurs finaux d'identifier des informations exploitables à partir de données brutes, facilitant ainsi la prise de décision basée sur les données au sein des organisations de divers secteurs. Si les outils de science des données se recoupent en grande partie, la Business Intelligence se concentre davantage sur les données du passé, et les informations fournies par les outils de Bi sont de nature plus descriptive. Elle utilise les données pour comprendre ce qui s'est passé auparavant afin d'éclairer un plan d'action. La BI est axée sur les données statiques (immuables) qui sont généralement structurées. Alors que la science des données utilise des données descriptives, elle les utilise généralement pour déterminer des variables prédictives, qui sont ensuite utilisées pour classer les données ou pour établir des prévisions.
La science des données et la BI ne s’excluent pas mutuellement : les organisations à la pointe du numérique utilisent les deux pour comprendre pleinement leurs données et en tirer de la valeur.
Les data scientists s’appuient sur des langages de programmation populaires pour effectuer des analyses exploratoires de données et des régressions statistiques. Ces outils open source prennent en charge des fonctionnalités préconfigurées de modélisation statistique, de machine learning et de graphiques. Ces langages sont les suivants (pour en savoir plus, consultez la page «Python vs R : quelle différence ?») :
- R Studio : langage de programmation et environnement open source pour le développement de calculs statistiques et de graphiques.
- Python : il s’agit d’un langage de programmation dynamique et flexible. Python comprend de nombreuses bibliothèques, comme NumPy, Pandas, Matplotlib, qui permettent d'analyser rapidement les données.
Pour faciliter le partage du code et d'autres informations, les scientifiques des données peuvent utiliser GitHub et les carnets Jupyter.
Certains data scientists peuvent préférer une interface utilisateur, et deux outils d'entreprise courants pour l'analyse statistique sont notamment disponibles :
- SAS : une suite complète d'outils, comprenant des visualisations et des tableaux de bord interactifs, pour l'analyse, la création de rapports, l'exploration de données et la modélisation prédictive.
- IBM SPSS : offre des analyses statistiques avancées, une vaste bibliothèque d'algorithmes de machine learning, l'analyse de texte, l'extensibilité open source, l'intégration big data et un déploiement transparent dans les applications.
Les data scientists acquièrent également des compétences dans l'utilisation des plateformes de traitement des données volumineuses, comme Apache Spark, le cadre open source Apache Hadoop et les bases de données NoSQL. Ils maîtrisent également un large éventail d'outils de visualisation de données, y compris les outils graphiques simples inclus dans les applications de présentation commerciale et de feuilles de calcul (comme Microsoft Excel), les outils de visualisation commerciaux conçus à cet effet comme Tableau et IBM Cognos, et les outils open source comme D3.js (une bibliothèque JavaScript pour la création de visualisations de données interactives) et RAW Graphs. Pour créer des modèles de machine learning, les data scientists se tournent fréquemment vers plusieurs cadres tels que PyTorch, TensorFlow, MXNet et Spark MLib.
Compte tenu de la courbe d'apprentissage abrupte de la science des données, de nombreuses entreprises cherchent à accélérer leur retour sur investissement pour les projets d'IA ; elles ont souvent du mal à recruter les talents nécessaires pour réaliser le plein potentiel des projets de science des données. Pour combler cette lacune, elles se tournent vers des plateformes de science des données et de machine learning (DSML) multipersona, donnant naissance au rôle de « citoyen data scientist ».
Les plateformes DSML multipersona utilisent l'automatisation, des portails en libre-service et des interfaces utilisateur low code/no code afin que les personnes ayant peu ou pas d'expérience en technologie numérique ou en science des données spécialisées puissent créer de la valeur métier en utilisant la science des données et le machine learning. Ces plateformes soutiennent également les data scientists experts en offrant également une interface plus technique. L'utilisation d'une plateforme DSML multipersona encourage la collaboration au sein de l'entreprise.
Le cloud computing permet de développer la science des données en donnant accès à une puissance de traitement supplémentaire, au stockage et à d'autres outils nécessaires aux projets de science des données.
Étant donné que la science des données tire souvent parti de grands ensembles de données, il est extrêmement important de disposer d'outils capables de s'adapter à la taille des données, en particulier pour les projets urgents. Les solutions de stockage dans le cloud, du type data lakes, donnent accès à une infrastructure de stockage capable d’ingérer et de traiter facilement de grands volumes de données. Ces systèmes de stockage offrent une grande flexibilité aux utilisateurs finaux, leur permettant de créer de grands clusters selon leurs besoins. Ils peuvent également ajouter des nœuds de calcul incrémentiels pour accélérer les tâches de traitement des données, ce qui permet à l’entreprise de faire des compromis à court terme pour obtenir des résultats plus importants à long terme. Les plateformes cloud appliquent généralement différents modèles de tarification, comme la tarification à l’utilisation ou les abonnements, pour répondre aux besoins de l’utilisateur final, qu’il s’agisse d’une grande entreprise ou d’une petite start-up.
Les technologies open source sont largement utilisées dans les outils de science des données. Lorsqu’ils sont hébergés dans le cloud, les équipes n’ont pas besoin de les installer, de les configurer, de les entretenir ou de les mettre à jour localement. Plusieurs fournisseurs de cloud, dont IBM Cloud, proposent également des kits d’outils préconfigurés qui permettent aux data scientists de créer des modèles sans codage, démocratisant ainsi l’accès aux innovations technologiques et aux analyses de données.
Les entreprises peuvent tirer de nombreux avantages de la science des données. Les cas d’utilisation courants incluent l’optimisation des processus par le biais d’une automatisation intelligente, ainsi que le ciblage et la personnalisation améliorés pour améliorer l’expérience client. Voici quelques exemples plus spécifiques :
Voici quelques cas d’utilisation représentatifs de la science des données et de l’intelligence artificielle :
- Une banque internationale offre des services de prêt plus rapides grâce à une application mobile utilisant des modèles de risque de crédit alimentés par le machine learning et une architecture de cloud computing hybride à la fois puissante et sécurisée.
- Une entreprise d’électronique développe des capteurs imprimés en 3D ultra-puissants pour guider les véhicules autonomes de demain. La solution s’appuie sur des outils de science des données et d’analyse pour améliorer ses capacités de détection d’objets en temps réel.
- Un fournisseur de solutions d’automatisation robotisée des processus (RPA) a développé une solution Cognitive Business de process mining qui réduit les temps de traitement des incidents entre 15 % et 95 % pour ses entreprises clientes. La solution est entraînée à comprendre le contenu et le sentiment des e-mails des clients, en invitant les équipes de service à prioriser les plus pertinentes et les plus urgentes.
- Une entreprise de technologie des médias numériques a créé une plateforme d'analyse d'audience qui permet à ses clients de voir ce qui intéresse les téléspectateurs lorsqu'ils se voient proposer une gamme croissante de canaux numériques. La solution utilise des analyses approfondies et le machine learning pour recueillir des informations en temps réel sur le comportement des spectateurs.
- Un service de police urbaine a créé des outils d'analyse statistique des incidents pour aider les agents à comprendre quand et où déployer les ressources afin d'éviter la criminalité. La solution fondée sur les données crée des rapports et des tableaux de bord afin d'améliorer la connaissance de la situation pour les agents de terrain.
- Shanghai Changjiang Science and Technology Development a utilisé la technologie IBM Watson pour créer une plateforme d'évaluation médicale basée sur l'IA capable d'analyser les dossiers médicaux existants afin de classer les patients en fonction de leur risque d'AVC et de prédire le taux de réussite de différents plans de traitement.
Expérimentez avec des modèles de fondation et créez automatiquement des modèles de machine learning dans notre studio nouvelle génération pour les générateurs d’IA.
Synchronisez vos processus DevOps et ModelOps. Créez des modèles d’IA et faites-les évoluer avec vos applications cloud natives sur quasiment tous les clouds.
Améliorez l’interprétabilité de l’IA. Évaluez et atténuez les risques liés à l’IA. Déployez l’IA en toute confiance.
Créez et entraînez rapidement des modèles prédictifs de haute qualité. Simplifiez la gestion du cycle de vie de l’IA.
Autostrade per l'Italia a mis en œuvre plusieurs solutions IBM pour une transformation numérique complète afin d'améliorer la façon dont elle surveille et entretient son vaste éventail d'actifs d'infrastructure.
MANA Community s’est associé à IBM Garage pour créer une plateforme d’IA permettant d'exploiter d'énormes volumes de données environnementales provenant de multiples canaux numériques et de milliers de sources.
Avoir une liberté totale dans le choix des langages de programmation, des outils et des cadres améliore la pensée créative et l’évolution.