Datenextraktion konfigurieren

Bevor Sie den IBM Sterling® Order Management System-Datenextraktionsdienst verwenden, stellen Sie sicher, dass der Datenextraktionsagent für den Dienst so konfiguriert ist, dass er in Ihrer Umgebung funktioniert.

Der Datenextraktionsagent wird als zeitgesteuerter Multithread-Agent bereitgestellt. Sie können den Agenten im Applications Manageranzeigen und konfigurieren.

Nachdem Sie den Agenten konfiguriert haben, verwenden Sie den Self Service, um den Agenten zu starten und zu beenden. Wenn der Agent startet, wird der Extraktionsprozess ausgelöst und läuft in geplanten Intervallen. Sie können den Extraktionsdienst auch zwischen den geplanten Zeiten ausführen, wenn Sie eine Ausgabedatei neu erstellen möchten oder eine Datei beschädigt ist.

Vorgehensweise

  1. Erstellen Sie Konfigurationen für Tabellen, die sich auf Datenextraktionen beziehen. Weitere Informationen finden Sie unter Konfigurationsservice für Datenextraktion.
  2. Konfigurieren Sie die Einstellungen des Datenextraktionsagenten.
    1. Öffnen Sie Applications Manager.
    2. Rufen Sie Platform > Prozessmodellierung > Allgemein > Coc Data Extract Agentauf.
    3. Legen Sie auf der Registerkarte Zeitgesteuert die folgenden JMS-bezogenen Attribute fest.
      • Lösen Sie das Intervall auf 10 Minuten oder länger aus.
      • Die Anzahl der Threads, die parallel ausgeführt werden sollen, basierend auf der Anzahl der gleichzeitigen stabilen Verbindungen, die Ihr Dateiservice verarbeiten kann. Vorgeschlagene Anzahl von 2 bis 5 Threads.
  3. Legen Sie die folgenden Eigenschaften in der Systemadministrationskonsolefest, um diese Details zu aktualisieren.
    1. Wenn Ihr Dateispeicherservice ein SFTP-Server ist, richten Sie Ihren eigenen SFTP-Server so ein, dass der Datenextraktionsservice Ausgabedateien an Ihren SFTP-Server übertragen kann. Um diese Verbindung zu konfigurieren, aktualisieren Sie die Details und den Standort Ihres SFTP-Servers in Ihrer Sterling™ Order Management System-Produktionsumgebung.
      • yfs.yfs.coc.dataextract.sftp.hostname=hostname
      • yfs.yfs.coc.dataextract.sftp.port=port
      • yfs.yfs.coc.dataextract.sftp.dir=directory_path
      • yfs.yfs.coc.dataextract.sftp.username=user
      • yfs.yfs.coc.dataextract.sftp.password=password
      Dabei gilt:
      • hostname steht für den Hostnamen Ihres SFTP-Servers.
      • port steht für die Portnummer Ihres SFTP-Servers.
      • Verzeichnispfad bezieht sich auf den Pfad auf Ihrem SFTP-Server, in den die Ausgabedateien übertragen werden sollen.
      • user bezieht sich auf den Benutzernamen, der angegeben werden muss, um eine Verbindung zum SFTP-Server herstellen zu können.
      • Kennwort bezieht sich auf das Kennwort für den SFTP-Benutzer.
    2. Sie können einen Cloud-basierten Dateispeicherdienst verwenden, um Daten mit dem Datenextraktionswerkzeug zu extrahieren. Jeder Dienst, der mit dem Amazon AWS S3 vollständig konform ist, kann verwendet werden. Die Anwendung zertifiziert Cloud-Dienste wie Amazon AWS S3 und IBM Cloud® Object Storage für die Verwendung mit dem Tool. Bei anderen S3-compliant Diensten können Sie deren Zertifizierung durchführen, um die Kompatibilität zu gewährleisten.
      Um einen S3-based Dienst zu verwenden, fügen Sie die folgenden Konfigurationen hinzu, um ihn für den Empfang von Datenextraktdateien einzurichten:
      • yfs.yfs.coc.dataextract.export.mode=S3 -Geben Sie S3 an, um den mit der S3 -Bibliothek kompatiblen Dateiservice zu verwenden. Der Standardwert ist SFTP.
      • yfs.yfs.coc.dataextract.s3.bucketname - Name des S3, in den die Dateien extrahiert werden.
      • yfs.yfs.coc.dataextract.s3.accesskey -Zugriffsschlüssel für den Zugriff auf das S3 -Bucket.
      • yfs.yfs.coc.dataextract.s3.secretkey -Der geheime Schlüssel für den Zugriff auf das S3 -Bucket.
      • yfs.yfs.coc.dataextract.s3.endpointurl - URL für den Zugriff auf den S3.
      • yfs.yfs.coc.dataextract.s3.location -Position für den Zugriff auf das S3 -Bucket. Dies ist optional, wenn der Standort aus der URL selbst aufgelöst werden kann.
      • yfs.yfs.coc.dataextract.s3.region -Region für den Zugriff auf das S3 -Bucket. Geben Sie entweder die URL oder die Region an.
      • yfs.yfs.coc.dataextract.s3.prefix - Optional. Benutzerdefiniertes Präfix, das an Dateinamen angehängt wird, die in den S3 exportiert werden.
      • yfs.yfs.coc.dataextract.s3.requesttimeout -Zeitlimit für S3 -Anforderungen in Millisekunden. Dies ist optional, da der Standardwert 5000 verwendet wird.
      • Betaversionyfs.yfs.coc.dataextract.s3.useS3SignerType - Setzen Sie diese Eigenschaft auf true, um den Datenextrakt nach Google Cloud Storage (GCS) zu ermöglichen.
    3. BetaversionKonfigurieren Sie das Datenextraktionswerkzeug mit den folgenden Eigenschaften, um die extrahierten Dateien in Microsoft Azure Blob Storage zu speichern. Für diese Konfiguration müssen Sie Angaben zu Ihrem Azure Blob Storage -Konto, Ihrem Container und Ihren sicheren Zugangsdaten machen. Die Konfiguration stellt sicher, dass die Dateien in den richtigen Container mit der entsprechenden Sicherheit durch die Verwendung von SAS-Tokens exportiert werden.
      • yfs.yfs.coc.dataextract.export.mode - Geben Sie den Exportmodus für die Datenextraktion an. Setzen Sie dies auf AzureBSRest , um Azure Blob Storage über die REST-API zu verwenden.
      • yfs.yfs.coc.dataextract.azurebs.accountname - Geben Sie den Namen Ihres Azure Blob Storage Kontos an. Damit wird das Speicherkonto identifiziert, in dem sich der Container befindet. Beispielwert: myaccount.
      • yfs.yfs.coc.dataextract.azurebs.containername - Geben Sie den Namen des Containers Azure Blob Storage an, in den die Dateien extrahiert werden sollen. Beispielwert: abc.
      • yfs.yfs.coc.dataextract.azurebs.prefix - Geben Sie ein optionales benutzerdefiniertes Präfix an, das an Dateinamen angehängt wird, die in den Container Azure Blob Storage exportiert werden. Beispielwert: ext.
      • yfs.yfs.coc.dataextract.azurebs.sastoken - Legen Sie das SAS-Token fest, um einen sicheren delegierten Zugriff auf den Container zu ermöglichen.
      • Lesen Sie die folgenden Richtlinien für SAS-Token.
        • Generierung von SAS-Tokens auf Containerebene.
        • Stellen Sie sicher, dass die Berechtigungen racwld umfassen.
        • Verwenden Sie eine ausreichend lange Gültigkeitsdauer für die Operationen des Datenextraktionsagenten. Beispielwert: sp=racwld&st=....
  4. Optional: Sie können den Datenextraktionsdienst für Ihr Unternehmen konfigurieren, indem Sie die folgenden optionalen Eigenschaften in der Systemadministrationskonsole festlegen.
    • yfs.yfs.coc.dataextract.csv.escapedoublequote -Option zum Verfügen eines doppelten Anführungszeichens in den extrahierten Daten mit einer benutzerdefinierten Zeichenfolge. Standardmäßig, wenn ein Anführungszeichen (") in den extrahierten Daten vorhanden sind, werden sie durch die Zeichenfolge, zwei doppelte Anführungszeichen (""), ersetzt. Mit dieser Eigenschaft können Sie eine benutzerdefinierte Zeichenfolge angeben, um die Anführungszeichen in Ihren Daten zu ersetzen.
    • yfs.yfs.coc.dataextract.fetch.maxrows -Maximaler Grenzwert für Datensätze, die pro Abfrage extrahiert werden, falls der Grenzwert aus dem Speicher berechnet wird. Der Standardwert ist 50000.
    • yfs.yfs.coc.dataextract.fetch.maxminsold - Zeitintervall in Minuten vor der aktuellen Zeit, für das die vorhandenen Daten nicht extrahiert werden. Standardwert: 60 Minuten.
      Hinweis: Wenn Sie einen Wert festlegen, der niedriger als der Standardwert ist, gehen beim Extrahieren von Daten möglicherweise Datenaktualisierungen verloren. Je niedriger der Wert, desto größer ist das Risiko eines Datenverlusts.
    • yfs.yfs.coc.dataextract.fetch.maxhoursold - Zeitintervall in Stunden vor der aktuellen Zeit, für das die vorhandenen Daten nicht extrahiert werden. Standardmäßig ist der Wert 1 festgelegt. Dies gilt nicht, wenn yfs.yfs.coc.dataextract.fetch.maxminsold festgelegt ist.
    • yfs.yfs.coc.dataextract.csv.delimiter -Spaltenbegrenzer in der exportierten CSV-Datei. Der Standardwert ist ein Komma (,)
    • yfs.yfs.coc.dataextract.csv.newlinelastrecord - Fügen Sie ein Zeilenzeichen nach dem letzten Datensatz in der exportierten CSV-Datei ein. Standardmäßig ist der Wert auf N gesetzt.
    • yfs.yfs.coc.dataextract.csv.firstrowheader - Fügen Sie eine Kopfzeile hinzu, die die Namen der Spalten enthält, die in der exportierten CSV-Datei extrahiert werden. Standardmäßig ist der Wert auf N eingestellt.
    • yfs.yfs.coc.dataextract.export.removefailedfiles - Optional können Sie veraltete Extraktdateien, die Teil von fehlgeschlagenen Extraktionen sind, aus der Ferne bereinigen, indem Sie den Wert auf Y setzen. Standardmäßig werden veraltete Extraktionsdateien, die zu fehlgeschlagenen Extraktionen gehören, nicht bereinigt.
    • yfs.yfs.coc.dataextract.fetch.maxdaysextractatonce - Abruf von Langzeitauszügen in kleineren, durch eine bestimmte Anzahl von Tagen definierten Abschnitten, anstatt die Daten von der verfolgten Startzeit bis zur aktuellen Zeit in einem Zug zu holen.

      Standardmäßig ruft der Datenextraktionsagent Daten, die sich über einen langen Zeitraum erstrecken, in einem einzigen Vorgang ab. Das heißt, von der verfolgten Startzeit bis zur aktuellen Zeit, insbesondere bei erstmaligen Auszügen. Sie können diese Eigenschaft auf eine bestimmte Anzahl von Tagen festlegen, um die Langzeitextrakte in Abschnitten mit der angegebenen Anzahl von Tagen durchzuführen. Es wird eine Dauer von 30 Tagen empfohlen. Wenn Ihr FirstRunExtractInDays beispielsweise 365 (1 Jahr) ist, werden bei der Ausführung der Datenextraktion die gesamten Daten von 365 Tagen in einem Auslöser extrahiert, was zur Erstellung vieler Jobs führt. Auch wenn ein Job fehlschlägt, wird die Datenextraktion ab der Startzeit erneut gestartet. Wenn diese Eigenschaft jedoch auf 30 gesetzt ist, erfolgt die Datenextraktion über 365 /30 = ~ 13 Auslöser. Dadurch wird das Risiko minimiert, dass die Daten von Anfang an neu extrahiert werden müssen.

    • yfs.yfs.coc.dataextract.export.minspacerequired - Konfigurieren Sie den Mindestplatz, der im Dateispeicherdienst benötigt wird, um den Datenextraktionsagenten auszuführen. Der Standardwert ist 1024 MB. Sorgen Sie für ausreichenden Speicherplatz im Dateispeicherservice, der auf Ihren geschäftlichen Anforderungen basiert, damit der Datenextraktionsagent erfolgreich läuft. Ist der Speicherplatz kleiner als der konfigurierte Schwellenwert, wird die Datenextraktion angehalten. Derzeit nur für den SFTP-Server anwendbar.
  5. Starten Sie den Agenten CocDataExtractServer.
    Beim Start des Agenten wird der Extraktionsprozess gestartet und in den geplanten Intervallen ausgeführt.