Aufbau von KI für Unternehmen: IBM Granite-Basismodelle

Es ist eine aufregende Zeit im Bereich KI für Unternehmen. Da wir die Technologie in immer mehr Bereichen einsetzen, vom Kundenservice über die Personalabteilung bis hin zur Code-Modernisierung, hilft künstliche Intelligenz (KI) immer mehr von uns, intelligenter und nicht härter zu arbeiten. Und da wir gerade erst am Anfang der Revolution von KI für Unternehmen stehen, ist das Potenzial zur Verbesserung von Produktivität und Kreativität enorm.

Aber KI ist heute ein unglaublich dynamisches Feld, und KI-Plattformen müssen diese Dynamik widerspiegeln und die neuesten Fortschritte einbeziehen, um den heutigen und zukünftigen Anforderungen gerecht zu werden. Deshalb fahren wir bei IBM fort, leistungsstarke neue Funktionen zu IBM watsonx, unserem Portfolio von KI-Produkten, hinzuzufügen.

Heute kündigen wir unsere neueste Ergänzung an: eine neue Familie von IBM entwickelten Foundation Models, die in watsonx.ai, unserem Studio für generative KI, Foundation Models und maschinelles Lernen, verfügbar sein werden. Unter dem gemeinsamen Namen „Granite“ wenden diese mehrdimensionalen Foundation Models generative KI sowohl auf Sprache als auch auf Code an. Und genau wie Granite ein starkes, vielseitiges Material mit vielen Verwendungsmöglichkeiten im Bauwesen und in der Fertigung ist, glauben wir bei IBM, dass diese Granite-Modelle Ihrem Unternehmen einen dauerhaften Wert bieten werden.

Aber jetzt lassen Sie uns einen Blick unter die Oberfläche werfen und ein wenig erklären, wie wir sie entwickelt haben und wie sie Ihnen helfen werden, KI in Ihrem Unternehmen auf die nächste Stufe zu bringen.

Die von IBM Research entwickelten Granite-Modelle – Granite.13b.instruct und Granite.13b.chat – verwenden eine „Decoder“-Architektur, die den heutigen großen Sprachmodellen die Fähigkeit verleiht, das nächste Wort in einer Sequenz vorherzusagen.

Mit 13 Milliarden Parametermodellen sind die Granite-Modelle effizienter als größere Modelle und passen auf eine einzelne V100-32GB GPU. Sie können auch einen geringeren Einfluss auf die Umwelt haben, während sie bei spezialisierten Aufgaben des Geschäftsbereichs wie Zusammenfassungen, Fragestellungen und Klassifizierung gut abschneiden. Sie sind branchenübergreifend weit anwendbar und unterstützen andere NLP-Aufgaben wie Inhaltserstellung, Erkenntnis-Extraktion und Retrieval-Augmented Generation (ein Framework zur Verbesserung der Antwortqualität durch Verknüpfung des Modells mit externen Wissensquellen) sowie Named Entity Recognition (Identifikation und Extraktion von Schlüsselinformationen in einem Text).

Bei IBM konzentrieren wir uns voll und ganz darauf, Modelle zu entwickeln, die auf Unternehmen zugeschnitten sind. Die Granite-Modellfamilie bildet da keine Ausnahme, weshalb wir sie an verschiedenen Datensätzen trainierten – insgesamt 7 TB vor der Vorverarbeitung, 2,4 TB nach der Vorverarbeitung –, um 1 Billion Token zu erzeugen, die Sammlung von Zeichen, die semantische Bedeutung für ein Modell hat. Unsere Auswahl der Datensätze war auf die Bedürfnisse von Geschäftsanwendern ausgerichtet und umfasst Daten aus folgenden Bereichen:

• Internet: generische, unstrukturierte Sprachdaten aus dem öffentlichen Internet
• Akademisch: technische, unstrukturierte Sprachdaten mit Schwerpunkt auf Wissenschaft und Technologie
• Code: unstrukturierte Code-Datensätze, die verschiedene Codierungssprachen abdecken
• Rechtliche: unternehmensrelevante unstrukturierte Sprachdaten, die aus Rechtsgutachten und anderen öffentlichen Akten stammen
• Finanzen: unternehmensrelevante unstrukturierte Daten aus öffentlich zugänglichen Finanzdokumenten und -berichten

Durch das Training von Modellen auf unternehmensspezifischen Datensätzen helfen wir sicherzustellen, dass unsere Modelle mit der spezialisierten Sprache und dem Fachjargon dieser Branchen vertraut sind und Entscheidungen treffen, die auf relevantem Branchenwissen basieren.

Im Geschäftsleben ist Vertrauen die Voraussetzung für den Geschäftsbetrieb. „Vertrauen Sie uns“ ist kein Argument, besonders wenn es um KI geht. Als eines der ersten Unternehmen, das KI für Unternehmen entwickelt hat, orientiert sich IBM bei der KI-Entwicklung an Kernprinzipien, die auf Vertrauens- und Transparenzverpflichtungen beruhen. Mit den Produkten von IBM watsonx können Sie über die Rolle eines KI-Anwenders hinausgehen und zum KI-Wertschöpfer werden. Es verfügt über einen durchgängigen Prozess zum Aufbau und Testen von Foundation Models und generativer KI – von der Datenerfassung bis hin zu Kontrollpunkten zur Nachverfolgung der verantwortungsvollen Bereitstellungen von Modellen und Anwendungen – mit Fokus auf Governance, Risikobewertung, Vermeidung von Verzerrungen und Compliance.

Da die Granite-Modelle den Kunden zur Anpassung an ihre eigenen Anwendungen zur Verfügung stehen, durchläuft jeder im Training verwendete Datensatz einen definierten Governance-, Risiko- und Compliance-(GRC)-Überprüfungsprozess. Wir haben Governance-Verfahren zur Integration von Daten in den IBM Data Pile entwickelt, die mit den Prinzipien der IBM KI-Ethik übereinstimmen. Die Berücksichtigung der GRC-Kriterien für Daten erstreckt sich über den gesamten Lebenszyklus der Trainingsdaten. Unser Ziel ist es, eine überprüfbare Verbindung von einem trainierten Foundation Model bis zurück zu der spezifischen Datensatzversion herzustellen, auf der das Modell trainiert wurde.

Viele Medien haben sich (zu Recht) auf das Risiko konzentriert, dass generative KI hasserfüllte oder verleumderische Ausgaben produziert. Bei IBM wissen wir, dass sich Unternehmen solche Risiken nicht leisten können. Deshalb werden unsere granite Modelle mit Daten trainiert, die von unserem eigenen „HAP-Detektor“ geprüft werden. Dabei handelt es sich um ein von IBM trainiertes Sprachmodell, das hasserfüllte und obszöne Inhalte erkennt und ausmerzt. Es wird sowohl mit internen als auch mit öffentlichen Modellen verglichen. Nachdem jedem Satz in einem Dokument eine Punktzahl zugewiesen wurde, werden Analyse über die Sätze und Punktzahlen durchgeführt, um die Verteilung zu erkunden, die den Prozentsatz der zu filternden Sätze bestimmt.

Darüber hinaus wenden wir eine Vielzahl weiterer Qualitätsmaßnahmen an. Wir suchen und entfernen Duplikate, die die Qualität der Ausgabe verbessern, und verwenden Filter für die Dokumentenqualität, um Dokumente von geringer Qualität, die nicht für Schulungen geeignet sind, weiter zu entfernen. Wir bieten außerdem regelmäßige und fortlaufende Datenschutzmaßnahmen an, darunter die Überwachung von Webseiten, die für das Raubkopieren von Inhalten oder das Veröffentlichen anderer anstößiger Inhalte bekannt sind, und die Vermeidung dieser Webseiten. 

Und da sich die Landschaft der generativen KI-Technologien ständig verändert, wird sich unser End-to-End-Prozess kontinuierlich weiterentwickeln und verbessern, um Unternehmen Ergebnisse zu liefern, denen sie vertrauen können.

Der Schlüssel zu IBMs Vision von KI für Unternehmen ist der Gedanke der Befähigung. Jedes Unternehmen wird die Granite-Modelle bereitstellen, um seine eigenen Ziele zu erreichen, und jedes Unternehmen hat seine eigenen Vorschriften, die es einhalten muss, seien sie nun Gesetze, soziale Normen, Branchenstandards, Marktanforderungen oder architektonische Vorgaben. Wir sind der Ansicht, dass Unternehmen die Möglichkeit haben sollten, ihre Modelle (im Rahmen bestimmter Grenzen) unabhängig vom Standort ihrer Workloads mithilfe der watsonx-Tools entsprechend ihren eigenen Werten zu personalisieren.

Aber das ist noch nicht alles. Was auch immer Sie in Watsonx tun, Sie behalten das Eigentum an Ihren Daten. Wir verwenden Ihre Daten nicht, um unsere Modelle zu schulen. Sie behalten die Kontrolle über die von Ihnen erstellten Modelle und können sie überallhin mitnehmen.

Die ersten Granite-Modelle sind nur der Anfang: Weitere sind in anderen Sprachen geplant, und weitere von IBM trainierte Modelle sind ebenfalls in Vorbereitung. Parallel dazu fügen wir weiterhin Open-Source-Modelle zu watsonx hinzu. Wir haben kürzlich bekannt gegeben, dass IBM ausgewählten Kunden das Llama 2-Chat-Modell von Meta mit 70 Milliarden Parametern für einen frühen Zugriff anbietet und plant, es im Laufe des Septembers allgemein verfügbar zu machen. Darüber hinaus wird IBM StarCoder hosten, ein großes Sprachmodell für Code, das über 80+ Programmiersprachen, Git-Commits, GitHub-Issues und Jupyter-Notebooks umfasst.

Zusätzlich zu den neuen Modellen stellt IBM auch neue ergänzende Funktionen im watsonx.ai Studio vor. Später in diesem Monat erscheint die erste Version unseres Tuning Studios, die Prompt-Tuning beinhalten wird, eine effiziente und kostengünstige Möglichkeit für Kunden, Foundation Models an ihre individuellen Downstream-Aufgaben anzupassen, indem sie Modelle anhand ihrer eigenen vertrauenswürdigen Daten trainieren. Wir werden außerdem unseren Synthetic Data Generator auf den Markt bringen, der Anwendern dabei helfen wird, künstliche tabellarische Datensätze aus benutzerdefinierten Datenschemata oder internen Datensätzen zu erstellen. Mit dieser Funktion können Benutzer Erkenntnisse für das Training und die Feinabstimmung von KI-Modellen oder für Szenariosimulationen mit reduziertem Risiko gewinnen, was die Entscheidungsfindung verbessert und die Markteinführung beschleunigt.

Die Integration der Granite Foundation Models und anderer Funktionen in watsonx eröffnet aufregende neue Möglichkeiten in der KI für Unternehmen. Neue Modelle und neue Werkzeuge bringen neue Ideen und neue Lösungen mit sich. Und das Beste an allem? Wir haben gerade erst angefangen.