Was ist KI-Inferenz?

KI-Inferenz ist entscheidend für den Fortschritt von KI-Technologien und bildet die Basis für einige ihrer faszinierendsten Anwendungen, wie beispielsweise die generative KI, die die beliebte Anwendung ChatGPT antreibt. KI-Modelle stützen sich auf KI-Inferenz, um die Art und Weise nachzuahmen, wie Menschen denken, argumentieren und auf Eingaben reagieren.

Die KI-Inferenz beginnt mit dem Training eines KI-Modells anhand eines großen Datensatzes mit Entscheidungsalgorithmen. KI-Modelle bestehen aus Entscheidungsalgorithmen, die auf Neural Networks trainiert werden –großen Sprachmodellen(LLMs), die wie ein menschliches Gehirn aufgebaut sind. Beispielsweise kann ein KI-Modell, das für die Gesichtserkennung entwickelt wurde, mit Millionen von Bildern des menschlichen Gesichts trainiert werden. Schließlich lernt es, Merkmale wie Augenfarbe, Nasenform und Haarfarbe genau zu identifizieren, und kann diese dann verwenden, um eine Person in einem Bild zu erkennen.

Obwohl KI-Inferenz und Machine Learning (ML) eng miteinander verbunden sind, sind sie zwei verschiedene Schritte im Lebenszyklus von KI-Modellen.

• Machine Learning ist der Prozess des Supervised Learnings, bei dem Trainingsdaten und Algorithmen verwendet werden, damit die KI den menschlichen Lernprozess imitiert und dabei ihre Genauigkeit schrittweise verbessert.
• KI-Inferenz ist der Prozess der Anwendung dessen, was das KI-Modell durch ML gelernt hat, um Entscheidungen zu treffen, Vorhersagen zu machen oder aus Daten Schlussfolgerungen zu ziehen.

Wenn KI-Modelle nicht mit einem robusten Datensatz trainiert werden, der für ihre Anwendung geeignet ist, sind sie einfach nicht effektiv. Angesichts der sensiblen Natur dieser Technologie und der großen Aufmerksamkeit, die sie in den Medien¹ erfährt, müssen Unternehmen besonders vorsichtig vorgehen. Doch mit branchenübergreifenden Anwendungen, die das Potenzial der digitalen Transformation und skalierbarer Innovation bieten, sind die Vorteile vielfältig:

• Präzise und genaue Ergebnisse: KI-Modelle werden mit dem Fortschritt der Technologie immer präziser und genauer. Beispielsweise können die neuesten LLMs Wörter, Sätze und Grammatik so auswählen, dass sie den Ton eines bestimmten Autors nachahmen. Im Kunst- und Videobereich können sie das Gleiche tun, indem sie Farben und Stile auswählen, um eine präzise Stimmung, einen präzisen Ton oder einen künstlichen Stil zu vermitteln.

• Verbesserte Qualitätskontrolle: Eine der neuesten und potenziell spannendsten Erweiterungen der KI liegt im Bereich der Systemüberwachung und Inspektion. KI-Modelle, die anhand von Datensätzen trainiert wurden, die von der Wasserqualität bis zu Wettermustern reichen, werden zur Überwachung des Zustands von Industrieanlagen vor Ort eingesetzt.

• Robotisches Lernen: Roboter und Robotik mit KI-Inferenz-Funktionen werden für verschiedene Aufgaben eingesetzt, um den Geschäftswert zu steigern. Die bekannteste Anwendung des robotergestützten Lernens sind fahrerlose Autos. KI-Inferenz wird in großem Umfang von Unternehmen für fahrerlose Autos wie Tesla, Waymo und Cruz verwendet, um neuronalen Netzen beizubringen, Verkehrsregeln zu erkennen und zu befolgen.

• Richtungsfreies Lernen: KI-Inferenz trainiert mit Daten, ohne programmiert zu werden, und reduziert so die menschlichen Eingaben und die Ressourcen, die für einen effektiven Betrieb erforderlich sind. Ein Beispiel ist ein KI-Modell, das mit landwirtschaftlichen Bildern trainiert wird, um Landwirten bei der Identifizierung von Unkraut oder kranken Pflanzen zu helfen.

• Fundierte Anleitung und Entscheidungsfindung: Eine der spannendsten Anwendungen von KI-Inferenz ist die Fähigkeit der KI, Nuancen und Komplexität zu verstehen und auf der Grundlage der Datensätze, mit denen sie gelernt hat, Empfehlungen zu geben. So können KI-Modelle, die auf finanziellen Grundsätzen trainiert sind, beispielsweise fundierte Anlageberatung bieten und potenziell betrügerische Aktivitäten erkennen. Ebenso kann KI menschliche Fehler bei riskanten Verfahren wie der Diagnose von Krankheiten oder der Steuerung von Flugzeugen minimieren.

• Edge-Computing-Funktionen: KI-Inferenz und Edge Computing bieten alle Vorteile von KI in Echtzeit, ohne dass Daten zur Verarbeitung in ein Rechenzentrum verschoben werden müssen. Das Potenzial der KI-Inferenz am Edge hat weitreichende Auswirkungen, von der Verwaltung und Überwachung von Lagerbeständen in Echtzeit bis hin zu millisekundenschnellen Reaktionen für den sicheren Betrieb eines autonomen Fahrzeugs.

Obwohl die Vorteile der KI-Inferenz zahlreich sind, ist diese junge, schnell wachsende Technologie nicht ohne Herausforderungen. Hier sind einige der Probleme, mit denen die Branche konfrontiert ist und die Unternehmen, die in KI investieren möchten, berücksichtigen sollten:

• Compliance: Die Regulierung von KI-Anwendungen und KI-Inferenz ist eine anspruchsvolle und sich ständig verändernde Aufgabe. Ein Beispiel hierfür ist der Bereich der Datensouveränität, das Konzept, dass Daten den Gesetzen des Landes oder der Region unterliegen, in dem sie generiert wurden. Globale Unternehmen, die Daten für KI-Zwecke in mehreren Regionen sammeln, speichern und verarbeiten, finden es herausfordernd, die Einhaltung der Gesetze über verschiedene Gebiete hinweg sicherzustellen und gleichzeitig auf eine Weise zu innovieren, die ihrem Geschäft zugutekommt.

• Qualität: Beim Training von KI-Modellen ist die Qualität der Daten, mit denen die Modelle trainiert werden, entscheidend für ihren Erfolg. Ähnlich wie Menschen, die von einem schlechten Lehrer lernen, wird ein KI-Modell, das auf einem schlechten Datensatz trainiert wurde, eine schlechte Leistung erbringen. Datensätze müssen klar gekennzeichnet und äußerst relevant für die Fähigkeit sein, die das KI-Modell erlernen soll. Eine zentrale Herausforderung der KI (und insbesondere der Genauigkeit der KI-Inferenz) ist die Auswahl des richtigen Modells für das Training.

• Kompliziertheit: Genau wie bei der Datenqualität kann auch die Datenkomplexität zu Problemen bei KI-Modellen führen. Um noch einmal die Analogie zu einem menschlichen Schüler zu bemühen: Je einfacher die Sache ist, für die die KI trainiert wird, desto leichter ist sie zu lernen. KI-Modelle, die einfache Probleme lösen, wie ein Chatbot für den Kundenservice oder ein virtuelles Reisebüro, sind relativ einfach zu trainieren im Vergleich zu Modellen, die für komplexere Probleme wie medizinische Bildgebung oder Finanzberatung entwickelt wurden.

• Weiterbildung: So spannend es auch sein mag, sich die Möglichkeiten eines neuen und schnell wachsenden Feldes wie der KI vorzustellen, die Expertise, die erforderlich ist, um funktionierende KI-Anwendungen und genaue KI-Inferenz zu erstellen, benötigt Zeit und Ressourcen. Bis der Talentpool mit dem Innovationstempo Schritt hält, sind Experten auf diesem Gebiet nach wie vor sehr gefragt und teuer in der Einstellung.

• Abhängigkeit von Taiwan: Etwa 60  % der weltweiten Halbleiter und 90 % der fortschrittlichen Chips (einschließlich der für die KI-Inferenz benötigten KI-Beschleuniger) werden auf der Insel Taiwan hergestellt.² Darüber hinaus verlässt sich das weltweit größte KI-Hardware- und Softwareunternehmen, Nvidia, bei seinen KI-Beschleunigern fast ausschließlich auf ein einziges Unternehmen, die Taiwan Semiconductor Manufacturing Corporation (TSMC). Naturkatastrophen oder andere unvorhergesehene Ereignisse könnten die Herstellung und den Vertrieb der Chips gefährden, die für die KI-Inferenz und ihre zahlreichen Anwendungen benötigt werden.

KI-Inferenz ist ein komplexer Prozess, bei dem ein KI-Modell anhand geeigneter Datensätze trainiert wird, bis es genaue Antworten ableiten kann. Dies ist ein äußerst rechenintensiver Prozess, der spezialisierte Hardware und Software erfordert. Bevor wir uns den Prozess des Trainierens von KI-Modellen für die KI-Inferenz ansehen, sollten wir einige der spezialisierten Hardwarekomponenten betrachten, die dies ermöglichen:

Die zentrale Recheneinheit (CPU) ist die wichtigste Funktionskomponente eines Computers. Die CPU ist der zentrale Bestandteil eines Computers und verwaltet das Betriebssystem sowie die Ressourcen, die für das Training von KI-Modellen benötigt werden.

Grafikprozessoren (GPUs) oder elektronische Schaltungen, die für leistungsstarke Computergrafik und Bildverarbeitung entwickelt wurden, werden in verschiedenen Geräten verwendet, einschließlich Grafikkarten, Motherboards und Mobiltelefonen. Aufgrund ihrer Fähigkeit zur parallelen Datenverarbeitung werden sie jedoch auch zunehmend beim Training von KI-Modellen eingesetzt. Eine Methode besteht darin, viele GPUs mit einem einzigen KI-System zu verbinden, um die Rechenleistung dieses Systems zu erhöhen.

Field-Programmable Gate Arrays (FPGAs) sind hochgradig anpassbare KI-Beschleuniger, die auf spezielles Wissen angewiesen sind, um für einen bestimmten Zweck umprogrammiert zu werden. Im Gegensatz zu anderen KI-Beschleunigern haben FPGAs ein einzigartiges Design, das auf eine bestimmte Funktion abgestimmt ist und oft mit der Verarbeitung von Daten in Echtzeit zu tun hat, was für die KI-Inferenz entscheidend ist. FPGAs können auf Hardwareebene neu programmiert werden, was ein höheres Maß an Anpassung ermöglicht.

ASICs sind KI-Beschleuniger, die für einen bestimmten Zweck oder eine bestimmte Workload entwickelt wurden, wie Deep Learning im Fall des WSE-3-ASIC-Beschleunigers von Cerebras. ASICs helfen Data Scientists, die KI-Inferenzfunktionen zu beschleunigen und die Kosten zu senken. Im Gegensatz zu FPGAs können ASICs nicht umprogrammiert werden, aber da sie für einen einzigen Zweck konstruiert wurden, bieten sie in der Regel eine höhere Leistung als andere, allgemeinere Beschleuniger. Ein bekanntes Beispiel hierfür ist die Tensor Processing Unit (TPU) von Google, die speziell für das maschinelle Lernen mit neuronalen Netzen entwickelt wurde und die TensorFlow-Software von Google nutzt.

Unternehmen, die im Rahmen ihrer digitalen Transformation in KI-Anwendungen investieren möchten, sollten sich über die Vorteile und Herausforderungen der KI-Inferenz informieren. Für diejenigen, die die verschiedenen Anwendungen der KI-Inferenz gründlich untersucht haben und bereit sind, sie einzusetzen, gibt es fünf Schritte, um eine effektive KI-Inferenz zu etablieren:

Je nach Art der erforderlichen KI-Anwendung gibt es unterschiedliche Arten der KI-Inferenz, aus denen Unternehmen wählen können. Wenn ein Unternehmen ein KI-Modell entwickeln möchte, das mit einer Internet der Dinge (IoT)-Anwendung verwendet wird, ist die Streaming-Inferenz aufgrund ihrer Messfunktionen wahrscheinlich die beste Wahl. Wenn ein KI-Modell jedoch dazu ausgelegt ist, mit Menschen zu interagieren, wäre die Online-Inferenz (mit ihren LLM-Funktionen) besser geeignet. Hier sind die drei Arten der KI-Inferenz und die Eigenschaften, die sie einzigartig machen.

Die dynamische Inferenz, auch als Online-Inferenz bekannt, ist die schnellste Art der KI-Inferenz und wird in den beliebtesten LLM-KI-Anwendungen wie z. B. ChatGPT von OpenAI verwendet. Die dynamische Inferenz erstellt Vorhersagen und Outputs sofort auf Anfrage und erfordert danach eine geringe Latenz und schnellen Datenzugriff. Ein weiteres Merkmal der dynamischen Inferenz besteht darin, dass die Outputs so schnell erfolgen können, dass sie nicht vor ihrer Übermittlung an den Endbenutzer überprüft werden können. Dies veranlasst einige Unternehmen dazu, eine zusätzliche Überwachungsebene zwischen dem Output und dem Endbenutzer einzuführen, um die Qualitätskontrolle zu gewährleisten.

Die Batch-Inferenz generiert KI-Vorhersagen offline unter Verwendung großer Datenmengen. Bei diesem Ansatz werden zuvor gesammelte Daten auf Machine-Learning-Algorithmen angewendet. Dies ist zwar nicht ideal für Situationen, in denen ein Output innerhalb von wenigen Sekunden oder weniger erforderlich ist, doch die Batch-Inferenz eignet sich gut für KI-Vorhersagen, die regelmäßig im Laufe des Tages oder im Laufe einer Woche aktualisiert werden, wie z. B. Vertriebs- oder Marketing-Dashboards oder Risikobewertungen.

Die Streaming-Inferenz verwendet eine Pipeline von Daten, die in der Regel durch regelmäßige Messungen von Sensoren geliefert werden, und speist sie in einen Algorithmus ein, der die Daten verwendet, um kontinuierlich Berechnungen und Vorhersagen zu machen. IoT-Anwendungen, wie z. B. KI zur Überwachung eines Kraftwerks oder zur Verkehrsüberwachung in einer Stadt über mit dem Internet verbundene Sensoren, stützen sich auf die Streaming-Inferenz, um Entscheidungen zu treffen.