IBM Cloud Data Engine est le service central d'IBM Cloud pour les data lakes. La combinaison d'IBM Cloud Data Engine avec les données d'IBM Cloud Object Storage vous permet de créer un espace de travail actif pour toute une série de cas d'utilisation de l'analyse des big data.
IBM Cloud Data Engine utilise Apache Spark, un moteur de traitement de données In-Memory open source, rapide, extensible et optimisé pour une faible latence et une analyse ad hoc des données.
Aucune définition ETL ou de schéma nécessaire pour activer les requêtes SQL. Analysez les données là où elles se trouvent dans IBM Cloud Object Storage à l'aide de notre éditeur de requêtes et de notre API REST.
Exécutez autant de requêtes que vous le souhaitez ; avec la tarification à la requête, vous ne payez que pour l'analyse des données. Compressez ou partitionnez les données pour générer des économies et des performances.
IBM Cloud Data Engine est hautement disponible et exécute les requêtes en utilisant des ressources de calcul sur plusieurs sites.
Contrôlez l'accès à vos données avec IBM Identity and Access Management et IBM Key Protect. Accordez aux utilisateurs un contrôle granulaire de vos compartiments IBM Cloud Object Storage.
IBM Cloud Data Engine prend en charge une variété de formats de données tels que CSV, JSON et Parquet, et autorise le SQL ANSI standard.
Comment les clients l’utilisent
Un service de stockage de données à l'échelle du Web hautement sécurisé, rentable et résilient, assurant un accès continu à vos données.
Transférez des ensembles de données volumineux vers et depuis IBM Cloud Object Storage de manière fiable et à une vitesse maximale.
Accélérer le déplacement sécurisé de grandes quantités de données vers IBM Cloud Object Storage, à l'aide de dispositifs de stockage portables robustes, d'une capacité utilisable de 120 To.
Foire aux questions
Obtenez des réponses aux questions les plus fréquemment posées et des liens pour plus d’informations.
Pour utiliser IBM Cloud Data Engine, vous avez besoin d'un compte IBM Cloud Object Store pour stocker les résultats de vos requêtes.
Suivez ces étapes pour commencer :
- Provisionnez IBM Cloud Object Storage.
- Mettez à disposition une instance IBM Cloud Data Engine.
- Cliquez sur « Gérer » dans le volet gauche de l'instance IBM Cloud Data Engine provisionnée.
- Ouvrez l'interface utilisateur IBM Cloud Data Engine.
- Votre cible IBM Cloud Object Storage apparaîtra automatiquement.
Vous êtes maintenant prêt à soumettre des requêtes sur notre exemple de jeu de données ou sur le vôtre.
Vous devez apporter vos propres comptes IBM Cloud Object Storage et vous êtes responsable de tous les coûts encourus dans votre compte IBM Cloud Object Storage, en plus de vos coûts IBM Cloud Data Engine.
1. IBM Cloud Data Engine analyse les données dans vos volumes de données.
- Vos données sont en lecture seule pour IBM Cloud Data Engine.
- IBM Cloud Data Engine n'effectue pas d'insertions ou de suppressions dans le volume lorsque les données sont numérisées.
2. IBM Cloud Data Engine écrit les résultats dans les nouveaux fichiers de votre compartiment IBM Cloud Object Storage spécifié.
- L'utilisation d'IBM Cloud Data Engine augmentera votre utilisation d'IBM Cloud Object Storage et votre facture mensuelle.
- Les clients sont responsables de la suppression des volumes qu'ils ne souhaitent plus conserver dans IBM Cloud Object Storage.
IBM Cloud Data Engine repose sur Apache Spark et utilise Spark SQL pour exécuter vos requêtes. Vous pouvez soumettre vos requêtes via l'interface utilisateur ou l'API REST.
Aujourd'hui, IBM Cloud Data Engine n'est pas encore intégré à IBM Watson Knowledge Catalog. Cependant, cette intégration figure en tête de notre liste de priorités afin que les clients puissent publier des requêtes, des métadonnées et des ensembles de données dans le catalogue, ainsi que des actifs de données de référence enregistrés dans le catalogue.
IBM Cloud Data Engine est disponible dans le monde entier.
IBM Cloud Data Engine vous permet d'accéder à vos données à l'aide des politiques IBM Identity and Access Management.
IBM Cloud Data Engine est conçu pour être tolérant aux pannes et hautement disponible. Il prend en charge le SLA IBM Cloud.
IBM Cloud Data Engine est disponible dans IBM Cloud. Vous serez facturé par requête, en fonction du nombre de données analysées par mois. Aucuns frais ne seront facturés en cas d'échec des requêtes, mais les requêtes annulées vous seront facturées en fonction de la quantité de données numérisées.
Non.
Vous ne serez facturé que pour les données qui ont déjà été analysées au moment où vous avez annulé la requête.
Il n'y a aucun frais supplémentaire pour IBM Cloud Data Engine. Les données stockées dans IBM Cloud Object Storage vous seront facturées. L'utilisation d'IBM Cloud Data Engine augmentera votre utilisation d'IBM Cloud Object Storage et votre facture mensuelle. Vous êtes responsable de la suppression des volumes que vous ne souhaitez plus conserver dans IBM Cloud Object Storage.