Große Sprachmodelle auf Open-Source-Basis: Vorteile, Risiken und Typen

Große Sprachmodelle (Large Language Models, LLMs) sind Foundation Models, die künstliche Intelligenz (AI), Deep Learning und riesige Datensätze, darunter Websites, Artikel und Bücher, nutzen, um Texte zu generieren, zwischen Sprachen zu übersetzen und viele Arten von Inhalten zu schreiben. Es gibt zwei Arten dieser generativen KI-Modelle: proprietäre große Sprachmodelle und Open-Source große Sprachmodelle.

In diesem Video erklärt Martin Keen kurz große Sprachmodelle, wie sie sich auf Foundation Model beziehen, wie sie funktionieren und wie sie zur Lösung verschiedener Geschäftsprobleme eingesetzt werden können.

Proprietäre LLMs sind Eigentum eines Unternehmens und können nur von Kunden verwendet werden, die eine Lizenz erwerben. Die Lizenz kann die Nutzung des LLM einschränken. Auf der anderen Seite sind Open-Source-LLMs kostenlos und für jeden zugänglich, für jeden Zweck nutzbar, zu verändern und zu verteilen.

Der Begriff „Open Source“ bezieht sich darauf, dass der LLM-Code und die zugrundeliegende Architektur öffentlich zugänglich sind. Das bedeutet, dass es Entwicklern und Forschern freisteht, das Modell zu verwenden, zu verbessern oder anderweitig zu verändern.

Früher schien es so, dass je größer ein LLM war, desto besser. Aber jetzt haben die Unternehmen erkannt, dass sie in Bezug auf Forschung und Innovation unerschwinglich teuer sein können. Als Reaktion darauf begann ein Open-Source-Modell-Ökosystem, das vielversprechend war und das LLM-Geschäftsmodell in Frage stellte.

Transparenz und Flexibilität

Unternehmen, die nicht über eigene Fachleute für maschinelles Lernen verfügen, können Open-Source-LLMs verwenden, die Transparenz und Flexibilität innerhalb ihrer eigenen Infrastruktur bieten, sei es in der Cloud oder lokal. Das gibt ihnen die volle Kontrolle über ihre Daten und bedeutet, dass sensible Informationen innerhalb ihres Netzwerks bleiben. All dies verringert das Risiko eines Datenlecks oder eines unbefugten Zugriffs.

Ein Open-Source-LLM bietet Transparenz in Bezug auf seine Funktionsweise, seine Architektur, seine Trainingsdaten und -methoden sowie Anwendungsmöglichkeiten. Die Möglichkeit, den Code zu inspizieren und Einblick in die Algorithmen zu erhalten, gibt einem Unternehmen mehr Vertrauen, hilft bei Audits und trägt zur Einhaltung ethischer und rechtlicher Vorschriften bei. Darüber hinaus kann die effiziente Optimierung eines Open Source LLM die Latenz verringern und die Leistung steigern.

Kosteneinsparungen

Sie sind in der Regel auf lange Sicht viel günstiger als proprietäre LLMs, da keine Lizenzgebühren anfallen. Die Kosten für den Betrieb eines LLM umfassen jedoch auch die Kosten für die Infrastruktur in der Cloud oder vor Ort, und sie sind in der Regel mit erheblichen Einführungskosten verbunden.

Hinzugefügte Funktionen und Beiträge der Community

Vortrainierte Open-Source-LLMs ermöglichen eine Feinabstimmung. Unternehmen können dem LLM Funktionen hinzufügen, die für ihre spezielle Anwendung von Nutzen sind, und die LLMs können auch auf bestimmten Datensätzen trainiert werden. Wenn Sie diese Änderungen oder Spezifikationen für ein proprietäres LLM vornehmen, müssen Sie mit einem Anbieter zusammenarbeiten, was Zeit und Geld kostet.

Während proprietäre LLMs bedeuten, dass sich ein Unternehmen auf einen einzigen Anbieter verlassen muss, kann es bei einem Open-Source-Modell von den Beiträgen der Community, mehreren Dienstleistern und möglicherweise internen Teams profitieren, die sich um Updates, Entwicklung, Wartung und Support kümmern. Open Source ermöglicht es Unternehmen, zu experimentieren und Beiträge von Menschen mit unterschiedlichen Perspektiven zu nutzen. Das kann zu Lösungen führen, die es Unternehmen ermöglichen, auf dem neuesten Stand der Technologie zu bleiben. Außerdem erhalten Unternehmen, die Open-Source-LLMs verwenden, mehr Kontrolle über ihre Technologie und die Entscheidungen, wie sie sie einsetzen.

Unternehmen können Open-Source-LLM-Modelle verwenden, um praktisch jedes Projekt zu erstellen, das für ihre Mitarbeiter nützlich ist oder, wenn die Open-Source-Lizenz es zulässt, als kommerzielles Produkt angeboten werden kann. Dazu gehören:

Textgenerierung

Mit Open-Source-LLM-Modellen können Sie eine App mit Sprachgenerierungsfähigkeiten erstellen, z. B. zum Schreiben von E-Mails, Blogbeiträgen oder kreativen Geschichten. Ein LLM wie Falcon-40B, das unter einer Apache 2.0-Lizenz angeboten wird, kann auf einen Prompt mit qualitativ hochwertigen Textvorschlägen antworten, die Sie dann verfeinern und polieren können.

Codegenerierung

Open-Source-LLMs, die auf bestehenden Code und Programmiersprachen geschult sind, können Entwickler bei der Erstellung von Anwendungen und der Suche nach Fehlern und sicherheitsrelevanten Fehlern unterstützen.

Virtuelle Nachhilfe

Mit Open-Source-LLMs können Sie Anwendungen erstellen, die personalisierte Lernerfahrungen bieten, die sich individuell anpassen und auf bestimmte Lernstile abstimmen lassen.

Inhaltszusammenfassung

Ein Open-Source-LLM-Tool, das lange Artikel, Nachrichten, Forschungsberichte und mehr zusammenfasst, kann die Extraktion von Schlüsseldaten erleichtern.

KI-gestützte Chatbots

Diese können Fragen verstehen und beantworten, Vorschläge machen und Gespräche in natürlicher Sprache führen.

Sprachübersetzung

Open-Source-LLMs, die auf multilingualen Datensätzen trainieren, können genaue und fließende Übersetzungen in vielen Sprachen liefern.

Stimmungsanalyse

LLMs können Text analysieren, um den emotionalen oder stimmungsvollen Ton zu bestimmen, was für das Reputationsmanagement der Marke und die Analyse von Kundenfeedback wertvoll ist.

Filterung und Moderation von Inhalten

LLMs können bei der Identifizierung und dem Herausfiltern von unangemessenen oder schädlichen Online-Inhalten wertvoll sein, was eine große Hilfe bei der Aufrechterhaltung einer sichereren Online-Umgebung ist.

Eine Vielzahl von Unternehmenstypen verwendet Open Source LLMs. IBM und die NASA haben zum Beispiel einen Open Source LLM entwickelt, der auf Geodaten geschult wurde, um Wissenschaftlern und ihren Organisationen bei der Bekämpfung des Klimawandels zu helfen.

Verleger und Journalisten verwenden Open Source LLMs intern, um Informationen zu analysieren, zu identifizieren und zusammenzufassen, ohne proprietäre Daten außerhalb der Redaktion zu teilen.

Einige Organisationen des Gesundheitswesens verwenden Open-Source-LLMs für Software für das Gesundheitswesen, einschließlich Diagnosetools, Behandlungsoptimierungen und Tools für den Umgang mit Patienteninformationen, öffentlicher Gesundheit und mehr.

Das Open-Source-LLM FinGPT wurde speziell für die Finanzbranche entwickelt.

Das Open LLM Leaderboard zielt darauf ab, Open-Source-LLMs und Chatbots anhand verschiedener Benchmarks zu verfolgen, einzustufen und zu bewerten.

• Ein leistungsfähiges Open-Source-LLM mit einer Lizenz, die Vereinbarungen zur kommerziellen Nutzung erlaubt, ist LLaMa 2 von Meta AI, das vortrainierte und fein abgestimmte generative Textmodelle mit 7 bis 70 Milliarden Parametern umfasst und im watsonx.ai-Studio verfügbar ist. Es ist auch über das Hugging-Face-Ökosystem und die Transformer-Bibliothek verfügbar.
• Vicuna und Alpaca wurden auf der Grundlage des LLaMa-Modells entwickelt und sind wie Bard von Google und ChatGPT von OpenAI darauf abgestimmt, Anweisungen zu folgen. Vicuna, das die Leistung von Alpaca übertrifft, entspricht der Leistung von GPT-4.
• Bloom (Link befindet sich außerhalb von ibm.com) von BigScience ist ein mehrsprachiges Sprachmodell, das von mehr als 1.000 KI-Forschern entwickelt wurde. Es ist der erste mehrsprachige LLM-Studiengang mit vollständiger Transparenz.
• Der Falcon (Link befindet sich außerhalb von ibm.com) LLM des Technology Innovation Institute (TII) kann mit Chatbots verwendet werden, um kreative Texte zu generieren, komplexe Probleme zu lösen und sich wiederholende Aufgaben zu reduzieren und zu automatisieren. Sowohl der Falcon 6B als auch der Falcon 40B sind als Rohmodelle für die Feinabstimmung oder als bereits mit Instruktionen versehene Modelle erhältlich, die ohne weitere Anpassungen verwendet werden können. Falcon benötigt nur etwa 75 % des Budgets für Trainingsberechnungen von GPT-3 und übertrifft es deutlich.
• MPT-7B und MPT-30B (Link befindet sich außerhalb von ibm.com) sind Open Source LLMs, die von MosaicML (kürzlich von Databricks übernommen) für die kommerzielle Nutzung lizenziert wurden. MPT-7B erreicht die Leistung von LlaMA. MPT-30B übertrifft GPT-3. Beide werden auf 1T-Token trainiert.
• FLAN-T5, das von Google AI ins Leben gerufen wurde, kann mehr als 1.800 verschiedene Aufgaben bewältigen.
• StarCoder (Link befindet sich außerhalb von ibm.com) von Hugging Face ist ein quelloffener LLM-Codierungsassistent, der auf permissiven Code von GitHub trainiert ist.
• RedPajama-INCITE (Link befindet sich außerhalb von ibm.com), lizenziert unter Apache-2, ist ein Sprachmodell mit 6,9 Mrd. Parametern, das von Together und führenden Vertretern verschiedener Institutionen entwickelt wurde, darunter die Universität von Montreal und das Stanford Center for Research on Foundation Models.
• Cerebras-GPT (Link befindet sich außerhalb von ibm.com) von Cerebras ist eine Familie von sieben GPT-Modellen mit zwischen 111 Millionen und 13 Milliarden Parametern.
• StableLM ist ein Open-Source-LLM von Stability AI, die den KI-Bildgenerator Stable Diffusion entwickelt haben. Es wurde auf einem Datensatz mit 1,5 Billionen Token namens „The Pile“ trainiert und mit einer Kombination aus Open-Source-Datensätzen von Alpaca, GPT4All (das eine Reihe von Modellen auf der Grundlage von GPT-J, MPT und LlaMa anbietet), Dolly, ShareGPT und HH feinabgestimmt.

Auch wenn die LLM-Ausgaben flüssig und aussagekräftig klingen, können Risiken bestehen, wie z.B. das Anbieten von Informationen, die auf „Halluzinationen“ beruhen, sowie Probleme mit Verzerrung, Zustimmung oder Sicherheit. Die Aufklärung über diese Risiken ist eine Antwort auf diese Fragen zu Daten und KI.

• Halluzinationen oder Unwahrheiten können dadurch entstehen, dass das LLM auf unvollständige, widersprüchliche oder ungenaue Daten trainiert wird oder dass das nächste richtige Wort auf der Grundlage des Kontexts vorhergesagt wird, ohne die Bedeutung zu verstehen.
• Verzerrungen treten auf, wenn die Datenquelle nicht vielfältig oder repräsentativ ist.
• Die Zustimmung bezieht sich darauf, ob die Trainingsdaten verantwortungsbewusst erhoben wurden, d. h. ob sie KI-Governance-Prozessen folgen, die sie mit Gesetzen und Vorschriften konform machen, und ob sie den Menschen Möglichkeiten bieten, Feedback einzubringen.
• Zu den Sicherheitsproblemen gehören das Durchsickern von personenbezogenen Daten, die Nutzung des LLM durch Cyberkriminelle für böswillige Zwecke wie Phishing und Spamming sowie die Veränderung der ursprünglichen Programmierung durch Hacker.

KI-Modelle, insbesondere LLMs, werden eine der transformativsten Technologien des nächsten Jahrzehnts sein. Da neue KI-Richtlinien den Einsatz von KI regeln, ist es nicht nur wichtig, die KI-Modelle zu verwalten und zu steuern, sondern auch, die Daten, die in die KI einfließen, zu kontrollieren.

Um Unternehmen dabei zu helfen, diese Bedürfnisse zu erfüllen und die Wirkung von KI zu vervielfachen, bietet IBM watsonx, unsere unternehmenstaugliche KI- und Datenplattform. Gemeinsam bietet watsonx Unternehmen folgende Möglichkeiten:

• Trainieren, optimieren und stellen Sie KI in Ihrem gesamten Unternehmen bereit – mit watsonx.ai
• Skalieren Sie KI-Workloads standortunabhängig für all Ihre Daten – mit watsonx.data
• Ermöglichen Sie verantwortungsvolle, transparente und erklärbare Daten- und KI-Workflows mit watsonx.governance

 Die dialogorientierte Suchfunktion von IBM watsonx Assistant baut auf den vorgefertigten Integrationen, dem Low-Code-Integration-Framework (Link befindet sich außerhalb von ibm.com) und der No-Code-Authoring-Erfahrung auf. Sowohl Entwickler als auch Geschäftsanwender können die Beantwortung von Fragen mit der Konversationssuche automatisieren und so mehr Zeit für die Entwicklung von höherwertigen Transaktionsabläufen und integrierten Digital Experiences mit ihren virtuellen Assistenten gewinnen.

Über die konversationelle Suche hinaus arbeitet watsonx Assistant weiterhin mit IBM Research und watsonx zusammen, um kundenspezifische watsonx LLMs zu entwickeln, die auf Klassifizierung, Schlussfolgerungen, Informationsextraktion, Zusammenfassung und andere konversationelle Anwendungsfälle spezialisiert sind. Watsonx Assistant hat bereits große Fortschritte in seiner Fähigkeit erzielt, Kunden mit weniger Aufwand zu verstehen, indem er große Sprachmodelle verwendet.