Training neuronaler Netze mit dem Deep-Learning-Experiment-Builder

In diesem Thema wird beschrieben, wie man ein neuronales Netzwerk mithilfe des Experiment Builder in „ Watson Studio “ trainiert.

Als Datenwissenschaftler müssen Sie Tausende von Modellen trainieren, um die richtige Kombination aus Daten und Hyperparametern zu ermitteln und so die Leistung Ihrer neuronalen Netze zu optimieren. Sie möchten mehr Experimente durchführen – und das schneller. Sie möchten tiefere neuronale Netze trainieren und komplexere Hyperparameterräume untersuchen. IBM Watson Machine Learning beschleunigt diesen iterativen Zyklus, indem es den Prozess vereinfacht, Modelle parallel mithilfe von automatisch zugewiesenen GPU-Rechencontainern zu trainieren.

Wenn Sie den Deep-Learning-Experiment-Builder selbst ausprobieren möchten, befolgen Sie die Schritte in diesem Tutorial zum Experiment-Builder, um ein Experiment zu erstellen und auszuführen, das handgeschriebene Ziffern vorhersagt.

Übersicht über das Deep-Learning-Experiment

Erforderlicher Service

Datenformat
Watson Machine Learning, Watson Studio, IBM Software Hub Terminvereinbarungsservice
Beliebig
Datenmenge
Jede Größe

Voraussetzungen für die Erstellung von Deep-Learning-Experimenten

Für die Erstellung von Experimenten ist Folgendes erforderlich:

  • Zugriff auf den Speicherbereich, den Ihr Administrator eingerichtet hat, und den Pfad, in dem Sie Trainingsdateien hochladen oder auf die Datenassets oder Verbindungen zugreifen können.
  • Eine Modelldefinition, die Modellerstellungscode und Metadaten zur Ausführung des Trainings enthält.
  • Ein Bereitstellungsbereich ist nicht erforderlich, um ein Deep Learning-Experiment zu erstellen, aber er ist für die Bereitstellung des Modells erforderlich.

Ein neues Deep-Learning-Experiment erstellen

  1. Öffnen Sie ein Projekt.
  2. Klicken Neues Asset und wähle Erstellen Sie Deep-Learning-Experimente.

Festlegen der Details für Deep-Learning-Experimente

  1. Legen Sie den Namen für das Experiment und eine optionale Beschreibung fest.
  2. Geben Sie die Position Ihrer Trainingsdaten mit einer der folgenden Optionen an:
    • Speicherdatenträger: Verwenden Sie diese Option, wenn auf einem angehängten Speicherdatenträger Trainingsdaten verfügbar sind. Beachten Sie, dass es ein bekanntes Problem gibt, bei dem Sie zum Anhängen ausgewählter Speicherdatenträger das Feld für den relativen Ordnerpfad der Trainingsdatendatei leer lassen müssen und Sie Daten aus einem Datenasset oder einer Verbindung auswählen müssen, auch wenn Sie es nicht für das Training benötigen.
    • Daten auswählen: Verwenden Sie diese Option, wenn Trainingsdaten aus einem Datenasset oder einer Verbindung gelesen oder heruntergeladen werden.
  3. Wenn Sie ein Datenasset oder eine Verbindung verwenden, können Sie für die Datenquelle des Dateityps auswählen, dass sie an verschiedenen Positionen vorab heruntergeladen werden soll:
    • Lokaler Speicher für Schulungsmitarbeiter
    • Einrichtung eines gemeinsamen Speichers für Mitarbeiter
    • Speicherdatenträger, wenn Sie einen Speicherdatenträger ausgewählt haben
  4. Ordnen Sie eine Modelldefinition zu. Details finden Sie unter Modelldefinitionen zuordnen.
  5. Klicken Sie auf Erstellen und ausführen , um die Modelldefinitionen und das Experiment zu erstellen.

Modelldefinitionen verknüpfen

Sie müssen diesem Experiment eine oder mehrere Modelldefinitionen zuordnen. Im Rahmen der Durchführung eines Experiments können Sie mehrere Modelldefinitionen zuordnen. Modelldefinitionen können eine Mischung aus bereits vorhandenen Modelldefinitionen und solchen sein, die Sie im Rahmen des Prozesses erstellen.

  1. Klicken Sie auf „Modelldefinition hinzufügen “.
  2. Entscheiden Sie, ob Sie eine neue Modelldefinition erstellen oder eine vorhandene Modelldefinition verwenden möchten.
    • Klicken Sie zum Erstellen einer neuen Modelldefinition auf Modelldefinition erstellen und geben Sie die Optionen für die Modelldefinition an. Weitere Informationen finden Sie unter Neue Modelldefinition erstellen.
    • Um eine vorhandene Modelldefinition auszuwählen und Experimentattribute festzulegen. Details finden Sie unter Vorhandene Modelldefinition auswählen.
  3. Optional können Sie einen globalen Ausführungsbefehl verwenden, der die Modelldefinitionswerte überschreibt. Wenn diese Option ausgewählt ist, geben Sie im Feld Globaler Ausführungsbefehl den Ausführungsbefehl ein, mit dem der Python -Code ausgeführt werden kann. Der Ausführungsbefehl muss auf den Code unter Python verweisen und kann optional den Namen der Trainingsdateien übergeben, sofern Ihr Experiment entsprechend strukturiert ist. Zum Beispiel:
    convolutional_network.py --trainImagesFile train-images-idx3-ubyte.gz --trainLabelsFile train-labels-idx1-ubyte.gz --testImagesFile t10k-images-idx3-ubyte.gz --testLabelsFile t10k-labels-idx1-ubyte.gz --learningRate 0.001 --trainingIters 6000

Neue Modelldefinition erstellen

  1. Geben Sie einen eindeutigen Namen und eine Beschreibung ein.
  2. Laden Sie eine ZIP-Datei für das Modelltraining hoch, die den Python -Code enthält, den Sie eingerichtet haben, um die Metriken anzugeben, die für Trainingsläufe verwendet werden. Details zum Zugriff auf Trainingsdaten im Trainingsscript finden Sie unter Auf Daten in Ihren Modellscripts über Umgebungsvariablen zugreifen.
  3. Definieren Sie den Ausführungsbefehl. Dieser Befehl wird ausgeführt, wenn das Modell erstellt wird.
  4. Geben Sie Attribute an, die während des Experiments verwendet werden.
    1. Wählen Sie im Feld „Framework “ das entsprechende Framework aus. Dies muss mit dem Code kompatibel sein, den Sie in der Datei „ Python “ verwenden.
    2. Wählen Sie im Feld „Ressourcentyp“ entweder „CPU“ oder „GPU“ aus.
    3. Wählen Sie im Feld Hardwarespezifikation die Anzahl und Größe der CPUs und GPUs aus, die für die Ausführung des Experiments zugeordnet wurden.
      • Treffen Sie eine Auswahl in der Liste der vordefinierten Softwarespezifikationen.
      • Erstellen Sie eine angepasste Hardwarespezifikation. Legen Sie für das CPU-Training die Anzahl der CPU-Einheiten und die Hauptspeichergröße fest. Legen Sie für das GPU-Training die Anzahl der GPU-Ressourcen pro Worker fest. Wenn Sie mehr als 4 GPU-Ressourcen pro Worker benötigen, verwenden Sie einen globalen Ausführungsbefehl. Setzen Sie den Ressourcentyp GPU auf einen der folgenden Werte: Slice, Generic, Full. Wählen Sie einen MIG-Typ aus. Hinweis: Wenn auf Ihren GPU-Knoten nur ein einziger MIG konfiguriert ist, wählen Sie als Ressourcentyp „Slice“ und als MIG-Typ „N/A“ aus.
    4. Wählen Sie im Feld Schulungstyp den Schulungstyp aus.
      • Wenn CPUs ausgewählt sind, sind ein einzelner Knoten und mehrere Knoten verfügbar.
      • Wenn GPUs ausgewählt sind, sind Einzelknoten, Mehrfachknoten und elastische Knoten verfügbar.
  5. Klicken Sie auf Erstellen , um die Modelldefinition zu erstellen.

Eine vorhandene Modelldefinition auswählen

  1. Wählen Sie eine vorhandene Modelldefinition und die Attribute aus, die während des Experiments verwendet werden.
  2. Wählen Sie im Feld „Framework “ das entsprechende Framework aus. Dies muss mit dem Code kompatibel sein, den Sie in der Datei „ Python “ verwenden.
  3. Wählen Sie im Feld „Ressourcentyp“ entweder „CPU“ oder „GPU“ aus.
  4. Wählen Sie im Feld Hardwarespezifikation die Anzahl und Größe der CPUs und GPUs aus, die für die Ausführung des Experiments zugeordnet wurden.
    • Treffen Sie eine Auswahl in der Liste der vordefinierten Softwarespezifikationen.
    • Erstellen Sie eine angepasste Hardwarespezifikation. Legen Sie für das CPU-Training die Anzahl der CPU-Einheiten und die Hauptspeichergröße fest. Legen Sie für das GPU-Training die Anzahl der GPU-Ressourcen pro Worker fest. Wenn Sie mehr als 4 GPU-Ressourcen pro Worker benötigen, verwenden Sie einen globalen Ausführungsbefehl. Setzen Sie den Ressourcentyp GPU auf einen der folgenden Werte: Slice, Generic, Full. Wählen Sie einen MIG-Typ aus.
  5. Wählen Sie im Feld Schulungstyp den Schulungstyp aus.
    • Wenn CPUs ausgewählt sind, sind ein einzelner Knoten und mehrere Knoten verfügbar.
    • Wenn GPUs ausgewählt sind, sind Einzelknoten, Mehrfachknoten und elastische Knoten verfügbar.
  6. Klicken Sie auf Auswählen , um die Modelldefinition zu erstellen und das Experiment auszuführen.

Mithilfe von Umgebungsvariablen auf Daten in Modellscripts zugreifen

  • Wenn Sie Trainingsdaten aus der Datenverbindung herunterladen möchten, verweist die Umgebungsvariable WMLA_USER_DATA_FILES darauf, wo die Trainingsdatendatei heruntergeladen wird, oder sie kann direkt aus der Datenverbindung gelesen werden, indem den Modelldateien Code unten hinzugefügt wird.
    from ibm_wmla_lib.data.data_manager import WMLADataManager
pandas_data_frames = WMLADataManager.create_from_data_source().read_pandas()
  • Die Umgebungsvariable DATA_DIR gibt den absoluten Pfad an, unter dem die Trainingsdaten in das PVC „ Watson Machine Learning “ hochgeladen wurden.