In einer Data-Science-Pipeline gibt es viele Schritte, die ein Datenwissenschafts-Team durchlaufen muss, um ein Vorhersagemodell zu erstellen. Selbst erfahrene Teams von Data Scientists und ML-Ingenieuren profitieren dabei von der erhöhten Geschwindigkeit und Transparenz, die AutoML bietet. Ein Data Scientist muss mit einer Hypothese beginnen, den richtigen Datensatz sammeln, einige Datenvisualisierungen ausprobieren, zusätzliche Funktionen entwickeln, um alle verfügbaren Signale zu nutzen, und ein Modell mit Hyperparametern trainieren (Link befindet sich außerhalb von ibm.com). Für hochmodernes Deep Learning muss er außerdem die optimale Architektur für ein Deep Neural Network konzipieren – und dies hoffentlich auf einem Grafikprozessor, falls verfügbar.

Automatisiertes Feature-Engineering

Ein Datenfeature ist ein Teil der Eingabedaten für ein maschinelles Lernmodell. Feature-Engineering bezieht sich auf den Transformationsprozess, bei dem ein Data Scientist neue Informationen aus vorhandenen Daten ableitet, und ist einer der wichtigsten wertschöpfenden Prozesse in einem ML-Workflow.Das Feature-Engineering ist einer der wichtigsten wertschöpfenden Prozesse in einem ML-Workflow, wobei gute Features den Unterschied zwischen einem Modell mit akzeptabler Leistung und einem absoluten Hochleistungsmodell ausmachen. Diese mathematischen Transformationen von Rohdaten werden in das Modell eingelesen und dienen als Herzstück des maschinellen Lernprozesses.Automatisiertes Feature-Engineering (AFE) (Link befindet sich außerhalb von IBM) ist der Prozess, den Raum der realisierbaren Kombinationen von Features auf mechanistische – nicht manuelle – Weise zu erkunden.

Das manuelle Feature-Engineering ist eine moderne Alchemie, die mit einem hohen Zeitaufwand verbunden ist: Die Erstellung einer einzigen Funktion kann oft Stunden dauern, und die Anzahl der Funktionen, die für ein Minimum an Genauigkeit erforderlich sind, ganz zu schweigen von einer Basisgenauigkeit auf Produktionsniveau, kann in die Hunderte gehen. Durch die automatisierte Erkundung eines Funktionsraums reduziert AutoML die Zeit, die ein Data-Science-Team in dieser Phase verbringt, von Tagen auf Minuten.

Die geringere Zeitaufwand für manuelle Eingriffe durch einen Data Scientist ist nicht der einzige Vorteil für das automatisierte Feature-Engineering. Die generierten Funktionen sind oft klar interpretierbar.In streng regulierten Branchen wie dem Gesundheitswesen oder dem Finanzwesen ist diese Erklärbarkeit wichtig, da sie die Hürden für die Einführung von KI durch Interpretierbarkeit senkt. Darüber hinaus profitiert ein Data Scientist oder Analyst von der Klarheit dieser Funktionen, da sie die hochwertigen Modelle überzeugender und umsetzbarer machen. Automatisiert generierte Funktionen haben auch das Potenzial, neue KPIs zu finden, die ein Unternehmen überwachen und darauf reagieren kann. Sobald ein Data Scientist das Feature-Engineering abgeschlossen hat, muss er seine Modelle durch eine strategische Auswahl der Funktionen optimieren.

Automatisierte Hyperparameter-Optimierung

Hyperparameter sind ein Teil von Algorithmen des maschinellen Lernens, die man am besten analog als Hebel für die Feinabstimmung der Modellleistung versteht – auch wenn schrittweise Anpassungen oft große Auswirkungen haben. Bei der Data-Science-Modellierung in kleinem Maßstab können Hyperparameter leicht von Hand festgelegt und durch Versuch und Irrtum optimiert werden.

Bei Deep-Learning-Anwendungen wächst die Anzahl der Hyperparameter exponentiell an, weshalb ihre Optimierung die Fähigkeiten eines Data-Science-Teams übersteigt, dies manuell und zeitnah zu erzielen. Die automatische Hyperparameteroptimierung (HPO) (Link befindet sich außerhalb von ibm.com) entbindet Teams von der intensiven Verantwortung, Hyperparameter im gesamten Eventbereich zu untersuchen und zu optimieren. Stattdessen können die Teams mit Funktionen und Modellen iterieren und experimentieren.

Eine weiterer Vorteil eines automatisierten maschinellen Lernprozesses besteht darin, dass sich die Data Scientists nun auf das Warum der Modellerstellung konzentrieren können und nicht mehr auf das Wie. Angesichts der extrem großen Datenmengen, die vielen Unternehmen zur Verfügung stehen, und der überwältigenden Anzahl von Fragen, die mit diesen Daten beantwortet werden können, kann ein Analyseteam sich darauf konzentrieren, für welche Aspekte des Modells es optimieren sollte, wie zum Beispiel das klassische Problem der Minimierung falsch negativer Ergebnisse bei medizinischen Untersuchungen.

Suche nach neuronaler Architektur

Der komplexeste und zeitaufwendigste Prozess im Deep Learning ist die Erstellung der neuronalen Architektur. Data-Science-Teams verbringen viel Zeit mit der Auswahl der geeigneten Schichten und Lernraten, die am Ende oft nur für die Gewichtungen im Modell gelten, wie auch in vielen Sprachmodellen.Die neuronale Architektursuche (Neural architecture search, NAS) (Link befindet sich außerhalb von ibm.com) wird als „Verwendung neuronaler Netze zum Entwerfen neuronaler Netze“ beschrieben und ist einer der Bereiche, bei denen ML am offensichtlichsten von der Automatisierung profitiert.

NAS-Suchen beginnen mit der Auswahl der Architekturen. Das Ergebnis des NAS-Prozesses wird durch die Metrik, an der jede Architektur gemessen wird, bestimmt. Es gibt mehrere gängige Algorithmen, die bei einer Suche nach neuronaler Architektur verwendet werden können. Wenn die potenzielle Anzahl der Architekturen gering ist, kann die Auswahl für den Test nach dem Zufallsprinzip getroffen werden. Gradientenbasierte Ansätze, bei denen der diskrete Suchraum in eine kontinuierliche Darstellung umgewandelt wird, haben sich hierbei als sehr effektiv erwiesen.Data-Science-Teams können außerdem evolutionäre Algorithmen ausprobieren, bei denen Architekturen nach dem Zufallsprinzip bewertet und Änderungen langsam angewendet werden. Dieser Ansatz erlaubt es, untergeordnete Architekturen zu propagieren, die erfolgreicher sind, während diejenigen, die nicht erfolgreich sind, eliminiert werden.

Die Suche nach neuronalen Architekturen ist eines der Schlüsselelemente von AutoML, das die KI zu demokratisieren verspricht. Diese Suchvorgänge sind jedoch oft mit sehr hohem Energieverbrauch und CO2-Emissionen verbunden.Eine Untersuchung dieser Wechselwirkungen ist noch nicht erfolgt, und die Optimierung der ökologischen Kosten ist ein fortwährendes Thema in NAS-Ansätzen.

Automatisiertes maschinelles Lernen klingt nach einem Allheilmittel an technischen Lösungen, mit denen ein Unternehmen teure Data Scientists ersetzen kann, aber in Wirklichkeit erfordert es von Unternehmen intelligente Strategien. Data Scientists spielen eine wichtige Rolle bei der Entwicklung von Experimenten, der Umsetzung der Ergebnisse in Geschäftsergebnisse und der Pflege des gesamten Lebenszyklus ihrer maschinellen Lernmodelle. Wie können also funktionsübergreifende Teams AutoML nutzen, um ihre Zeitnutzung zu optimieren und die Zeit bis zur Nutzung ihrer Modelle zu verkürzen?

Der optimale Arbeitsablauf für die Einbindung von AutoML-APIs parallelisiert Workloads und verkürzt den Zeitaufwand für manuell intensive Aufgaben. Anstatt sich tagelang mit der Abstimmung der Hyperparameter zu beschäftigen, könnte ein Data Scientist diesen Prozess für mehrere Modelltypen gleichzeitig automatisieren und anschließend testen, welches Modell am leistungsfähigsten ist.  

Darüber hinaus gibt es AutoML-Funktionen, die es somit Teammitgliedern mit unterschiedlichen Qualifikationsstufen ermöglichen, zur Data-Science-Pipeline beizutragen. Ein Datenanalyst ohne Python-Kenntnisse könnte ein Toolkit wie AutoAI auf Watson Studio verwenden, um ein Vorhersagemodell zu trainieren, indem er die Daten verwendet, die er per Abfrage selbst extrahieren kann. Mit AutoML kann ein Datenanalyst nun Daten vorverarbeiten, eine Pipeline für maschinelles Lernen aufbauen und ein vollständig trainiertes Modell erstellen, das er zur Validierung seiner eigenen Hypothesen verwenden kann, ohne ein vollständiges Data-Science-Team beschäftigen zu müssen.

IBM Forscher und Entwickler tragen zum Wachstum und zur Entwicklung von AutoML bei. Die laufende Produktentwicklung mit AutoAI auf IBM Watson und die Arbeit der IBM Forscher auf Lale (Link befindet sich außerhalb von ibm.com), einer automatisierten Open-Source-Data-Science-Bibliothek, sind nur einige der Möglichkeiten, mit denen IBM zur Entwicklung der nächsten Generation von KI-Ansätzen beiträgt. Obwohl Lale ein Open-Source-Projekt ist, bildet es den Kern vieler AutoAI-Funktionen. 

Für Data-Science-Teams, die mit Python als Kern ihres ML-Stacks arbeiten, bietet Lale eine halbautomatische Bibliothek, die sich nahtlos in scikit-learn-Pipelines (Link befindet sich außerhalb von IBM) einfügt – im Gegensatz zu auto-sklearn (Link befindet sich außerhalb von IBM) oder einer Bibliothek wie TPOT (Link befindet sich außerhalb von IBM). Lale geht hinsichtlich Automatisierung, Korrektheitsprüfungen und Interoperabilität über scikit-learn hinaus.Obwohl es auf dem scikit-learn-Konzept basiert, verfügt Lale über eine wachsende Anzahl von Transformatoren und Operatoren aus anderen Python-Bibliotheken und aus Bibliotheken in Sprachen wie z. B. Java und R.