Suivi des données pour l'ingestion de fichiers

Après avoir téléchargé des données dans votre IBM Cloud® Object Storage godet pour un type de données, Sterling Intelligent Promising interroge le fichier de données pour commencer l'ingestion. Pour vous assurer que l'ingestion des fichiers est réussie, vous devez surveiller le préfixe failed de votre panier de stockage et rechercher les données qui contiennent des erreurs. Les erreurs peuvent être dues à un format de fichier incorrect, à des données manquantes ou à des problèmes de connectivité. Évaluer le rapport d'exécution à partir du préfixe de synthèse pour comprendre la raison de l'échec.

Avant de commencer

Transférez les données dans votre IBM Cloud Object Storage seau. Pour plus d'informations, voir Transfert de données à l'aide de l'adaptateur de transfert de fichiers Sterling Intelligent Promising .

Comprendre les préfixes de fichiers créés dans Sterling Intelligent Promising. Pour plus d'informations, voir Structure des préfixes d'ingestion de fichiers.

Sterling Intelligent Promising valide les données pour s'assurer que les ensembles de données non valides sont éliminés. Familiarisez-vous avec les erreurs d'ingestion de données que vous pouvez rencontrer et apprenez à les résoudre. Pour plus d'informations, voir Dépannage des erreurs d'ingestion de données.

A propos de cette tâche

Pour vous assurer que l'ingestion des fichiers est réussie, vous devez surveiller le préfixe failed de votre panier de stockage et rechercher les données qui contiennent des erreurs.

Procédure

  1. Surveillez le préfixe failed et assurez-vous que vous êtes configuré pour recevoir des notifications en cas d'échec d'un fichier. Vous pouvez créer un service de surveillance des événements ou utiliser la fonction de notification des événements disponible pour chaque fournisseur de services de stockage.
  2. Téléchargez le fichier CSV des lignes défaillantes et le fichier texte des motifs de défaillance et localisez les données problématiques dans le fichier CSV des lignes défaillantes.
  3. Examinez les problèmes répertoriés dans le fichier texte des motifs d'échec et localisez les données problématiques dans le fichier CSV des lignes ayant échoué.
  4. Corrigez les données si nécessaire.
  5. Recharger le fichier CSV corrigé dans le préfixe source d'origine pour retraitement.