Unterstützte Grundmodelle in „ watsonx.ai “
In „ IBM “ ( watsonx.ai ) können Sie mit Foundation-Modellen von Drittanbietern sowie mit Modellen von „ IBM “ arbeiten.
So wählen Sie ein Modell aus
Informationen zu Faktoren, die Ihnen bei der Auswahl eines Modells helfen können, wie beispielsweise unterstützte Aufgaben und Sprachen, finden Sie unter „Auswahl eines Modells“ und „Benchmarks für Foundation-Modelle “.
Sie können zwischen Basis-Modellen, die mit „ watsonx.ai “ bereitgestellt werden, optimierten Modellen oder benutzerdefinierten Basis-Modellen wählen, die für einen speziellen Anwendungsfall geeignet sind. Weitere Informationen zu den verschiedenen Möglichkeiten, Modelle in „ watsonx.ai “ bereitzustellen, finden Sie unter „Bereitstellungsmethoden für Foundation-Modelle “.
Weitere Informationen zu den in „ watsonx.ai “ bereitgestellten Basismodellen für die Einbettung und Neurangfolge von Text finden Sie unter „Unterstützte Encoder-Modelle “.
Zugriff auf Modelle anderer Anbieter über das Modell-Gateway
Über das Modell-Gateway können Sie sicher auf Basismodelle verschiedener Modellanbieter zugreifen und mit diesen interagieren. Das Modell-Gateway stellt eine „ OpenAI-compatible “-API bereit, die Anfragen an diese Basismodelle weiterleitet. Nutzen Sie das Modell-Gateway, um effizient zwischen mehreren Modellanbietern zu wechseln, indem Sie Anfragen über eine einheitliche Schnittstelle weiterleiten und formatieren. Mit diesen Modellen können Sie KI-Agenten, RAG-Muster und vieles mehr erstellen und bereitstellen.
Weitere Informationen finden Sie unter „Modell-Gateway “.
Bereitgestellte, einsatzbereite Basismodelle
Sie können Grundmodelle aus einer von IBM kuratierten Modellsammlung unter watsonx.ai bereitstellen. Sie können diese Grundmodelle im „ Prompt Lab “ oder programmgesteuert aufrufen.
Sie können mit den folgenden Arten von bereitgestellten Fundamentmodellen arbeiten:
Alle „ IBM “-Grundmodelle unter watsonx.ai werden von IBM abgedeckt.
Informationen zu den GPU-Anforderungen für die unterstützten Foundation-Modelle finden Sie unter „Foundation-Modelle“ auf IBMwatsonx.ai in der Dokumentation zu „ IBM “ unter Software Hub.
IBM -Basismodelle
Sie können die folgenden unterstützten Grundmodelle ableiten, die von IBM bereitgestellt werden. Die Basismodelle müssen von einem Administrator in Ihrem Cluster bereitgestellt werden, damit sie verwendet werden können. Alle IBM -Modelle sind instruktionsoptimiert.
Neueste „ IBM “-Grundmodelle
In der folgenden Tabelle sind die neuesten „ IBM “-Grundmodelle in „ watsonx.ai “ für die Inferenz aufgeführt.
| Modellname | Kontextfenster (Eingabe- und Ausgabetoken) |
Unterstützte Tasks | Weitere Informationen |
|---|---|---|---|
| granite-4-1b-speech | 128.000 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Zusammenfassung • Retrieval-Augmented Generation • Extraktion • Übersetzung • Funktionsaufruf • Code |
• Granite Dokumentation zu „ 4.0 “ |
| granite-4-1b-speech | 128.000 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Zusammenfassung • Retrieval-Augmented Generation • Extraktion • Übersetzung • Funktionsaufruf • Code |
• Granite Dokumentation zu „ 4.0 “ |
| ibm-defense-4-0-small | 131.072 | • Klassifizierung• Extraktion• Generierung• Beantwortung von Fragen• Zusammenfassung• Retrieval-Augmented Generation• Funktionsaufruf |
• Das Verteidigungsmodell von IBM |
| ibm-defense-4-0-micro | 131.072 | • Klassifizierung• Extraktion• Generierung• Beantwortung von Fragen• Zusammenfassung• Retrieval-Augmented Generation• Funktionsaufruf |
• Das Verteidigungsmodell von IBM |
| granite-docling-258M | 8.192 | • Extraktion• Generierung• abrufgestützte Generierung |
• Granite Docling-Dokumentation |
| granite-4-h-tiny | 131.072 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Zusammenfassung • Retrieval-Augmented Generation • Code • Extraktion • Übersetzung • Funktionsaufruf |
• Granite Dokumentation zu „ 4.0 “ |
| granite-4-h-micro | 131.072 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Zusammenfassung • Retrieval-Augmented Generation • Code • Extraktion • Übersetzung • Funktionsaufruf • Code |
• Granite Dokumentation zu „ 4.0 “ |
| granite-4-h-small | 131.072 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Zusammenfassung • Retrieval-Augmented Generation • Code • Extraktion • Übersetzung • Funktionsaufruf • Code |
• Granite Dokumentation zu „ 4.0 “ |
| ibm-defense-3-3-8b-instruct | 128.000 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Zusammenfassung • Retrieval-Augmented Generation • Code • Extraktion • Übersetzung • Funktionsaufruf |
• Das Verteidigungsmodell von IBM |
| granite-vision-3-3-2b | 131.072 | • Beantwortung von Fragen • Generierung |
• Dokumentation zu „ Granite “ |
| granite-3-3-8b-instruct | 131.072 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Zusammenfassung • Retrieval-Augmented Generation • Code • Extraktion • Übersetzung • Funktionsaufruf |
• Blog zu den Modellen von „ Granite “ |
| granite-guardian-3-2-5b | 128.000 | Klassifizierung Extraktion Generierung Antworten auf Fragen Zusammenfassung |
• Dokumentation zu „ Granite “ von Guardian |
| Modellname | Kontextlänge – Mindestanzahl an Datenpunkten |
Weitere Informationen |
|---|---|---|
| granite-ttm-512-96-r2 |
512 | • Dokumentation zu Zeitreihen in Granite • Forschungsarbeit |
| granite-ttm-1024-96-r2 |
1.024 | • Dokumentation zu Zeitreihen in Granite • Forschungsarbeit |
| granite-ttm-1536-96-r2 |
1.536 | • Dokumentation zu Zeitreihen in Granite • Forschungsarbeit |
Ältere „ IBM “-Grundmodelle
In der folgenden Tabelle sind die älteren „ IBM “-Grundmodelle in „ watsonx.ai “ für die Inferenz aufgeführt. Wenn eine neuere Version eines Basismodells veröffentlicht wird, werden die bestehenden Basismodelle in den Status „Legacy“ versetzt. Sie können weiterhin auf diese älteren Modelle zugreifen und erhalten denselben Support wie bei den neuesten Versionen, allerdings wird ein Wechsel zu den neueren Modellen empfohlen.
| Modellname | Kontextfenster (Eingabe- und Ausgabetoken) |
Unterstützte Tasks | Weitere Informationen |
|---|---|---|---|
| granite-3-2-8b-instruct | 131.072 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Zusammenfassung • Retrieval-Augmented Generation • Code • Extraktion • Übersetzung • Funktionsaufruf |
• Website • Forschungsarbeit |
| granite-3-2b-instruct | 4.096 | • Klassifizierung • Extraktion • Funktionsaufruf • Generierung • Beantwortung von Fragen • Zusammenfassung |
• Website • Forschungsarbeit |
| granite-3-8b-instruct | 4.096 | • Klassifizierung • Extraktion • Funktionsaufruf • Generierung • Beantwortung von Fragen • Zusammenfassung |
• Website • Forschungsarbeit |
| granite-guardian-3-2b | 8.192 | Klassifizierung Extraktion Generierung Antworten auf Fragen Zusammenfassung |
• Website |
| granite-guardian-3-8b | 8.192 | Klassifizierung Extraktion Generierung Antworten auf Fragen Zusammenfassung |
• Website |
| granite-20b-code-base-schema-linking | 8.192 | Code | • Forschungsarbeit |
| granite-20b-code-base-sql-gen | 8.192 | Code | • Forschungsarbeit |
| granite-8b-code-instruct | 128.000 | • Code • Klassifizierung • Extraktion • Generation • Beantwortung von Fragen • Zusammenfassung |
• Website • Forschungsarbeit |
| granite-vision-3-2-2b | 131.072 | • Beantwortung von Fragen | • Website • Forschungsarbeit |
Basismodelle anderer Anbieter
Sie können die folgenden unterstützten Grundmodelle von Drittanbietern nutzen. Ein Administrator muss die Basismodelle in Ihrem Cluster bereitstellen, bevor Sie diese Modelle nutzen können.
Neueste Foundation-Modelle von Drittanbietern
In der folgenden Tabelle sind die unterstützten Basismodelle aufgeführt, die von Drittanbietern bereitgestellt werden.
| Modellname | Einbindung | Kontextfenster (Eingabe- und Ausgabetoken) |
Unterstützte Tasks | Weitere Informationen |
|---|---|---|---|---|
| voxtral-mini-2507 | Mistral AI | 32.000 | • Funktionsaufruf • Generierung • Beantwortung von Fragen • Zusammenfassung • • Übersetzung |
Blogbeitrag zu Ministral 3 |
| ministral-3-14b-instruct-2512-bf16 | Mistral AI | 256.000 | • Chat-Vervollständigung • Funktionsaufruf • Agenten und Konversationen • Strukturierte Ausgaben • OCR • Dokumenten QnA • Fill-in-the-middle (FIM) • Einbettungen |
Blogbeitrag zu Ministral 3 |
| ministral-3b-instruct-2512 | Mistral AI | 256.000 | • Chat-Vervollständigung • Agenten und Konversationen • Umstrukturierte Ausgaben • OCR • Einbettungen • Klassifizierung • Extraktion • Funktionsaufruf • Generierung • Beantwortung von Fragen • Retrieval-Augmented Generation • Zusammenfassung • Übersetzung |
Blogbeitrag zu Ministral 3 |
| nvidia-nemotron-nano-12b-v2-vl-fp8 | NVIDIA | 128.000 | • Klassifizierung • Extraktion • Generierung • Retrieval-Augmented Generation • Zusammenfassung • Übersetzung • Funktionsaufruf • Code zur Beantwortung von Fragen • |
Hugging Face |
| nvidia-nemotron-3-nano-30b-a3b-fp8 | NVIDIA | 256.000 | • Klassifizierung • Extraktion • Generierung • Retrieval-Augmented Generation • Zusammenfassung • Übersetzung • Funktionsaufruf • Code zur Beantwortung von Fragen • |
Hugging Face |
| magistral-small-2509 | Mistral AI | 128.000 | • Klassifizierung • Extraktion • Retrieval-Augmented Generation • Zusammenfassung • Übersetzung • Funktionsaufruf • Code zur Beantwortung von Fragen • |
|
| magistral-medium-2509 | Mistral AI | 128.000 | • Klassifizierung• Code• Code-Korrektur• Code-Erläuterung• Code-Generierung• Extraktion• abrufgestützte Generierung• Zusammenfassung• Übersetzung• Funktionsaufruf• Code zur Beantwortung von Fragen • |
|
| ministral-3-8b-instruct-2512 | Mistral AI | 256.000 | • Klassifizierung • Extraktion • Retrieval-Augmented Generation • Zusammenfassung • Übersetzung • Funktionsaufruf • Code zur Beantwortung von Fragen • |
|
| ministral-14b-instruct-2512 | Mistral AI | 262.144 | • Klassifizierung • Extraktion • Generierung • Retrieval-Augmented Generation • Zusammenfassung • Übersetzung • Funktionsaufruf • Beantwortung von Fragen |
Blogbeitrag zu Ministral 3 |
| mistral-large-2512 | Mistral AI | 131.072 | • Klassifizierung• Kodierung• Extraktion• Generierung• abrufgestützte Generierung• Zusammenfassung• Übersetzung• Funktionsaufruf |
• Blogbeitrag zu Mistral Large 3 |
| devstral-medium-2512 |
Mistral AI | 256.000 | Code | • Blogbeitrag für Devstral 2 Hinweis:
|
| devstral-small-2512 |
Mistral AI | 256.000 | Code | • Blogbeitrag für Devstral 2 |
| codestral-2508 |
Mistral AI | 256.000 | Code | • Blogbeitrag für Codestral 25.08 Hinweis:
|
| devstral-medium-2507 |
Mistral AI | 128.000 | Code | • Blogbeitrag für Codestral 25.01 Hinweis:
|
| mistral-medium-2508 | Mistral AI | 131.072 | classification code extraction generation retrieval-augmented generation summarization -Übersetzung |
• Blogbeitrag für Mistral Medium 3 Hinweis:
|
| mistral-small-3-2-24b-instruct-2506 | Mistral AI | 131.072 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Retrieval-Augmented Generation • Zusammenfassung • Funktionsaufruf • Code • Übersetzung |
• Forschungsarbeit |
| gpt-oss-20b | OpenAI | 131.072 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Retrieval-Augmented Generation • Zusammenfassung • Funktionsaufruf • Code • Übersetzung |
• Blog „ OpenAI “ |
| gpt-oss-120b | OpenAI | 131.072 | • Klassifizierung • Extraktion • Beantwortung von Fragen • Retrieval-Augmented Generation • Zusammenfassung • Funktionsaufruf • Code • Übersetzung |
• Blog „ OpenAI “ |
| voxtral-small-24b-2507 | Mistral AI | 32.000 | • Klassifizierung • Extraktion • Generierung • Beantwortung von Fragen • Retrieval-Augmented Generation • Zusammenfassung • Übersetzung • Funktionsaufruf • Audio-Verständnis |
• Voxtral-Blog |
| llama-4-maverick-17b-128e-instruct-fp8 | Meta | 131.072 | • Klassifizierung • Codierung • Extraktion • Generierung • Beantwortung von Fragen • Retrieval-Augmented Generation • Zusammenfassung • Übersetzung • Funktionsaufruf |
• Meta AI Blog |
| llama-4-maverick-17b-128e-instruct-int4 | Meta | 131.072 | • Klassifizierung • Codierung • Extraktion • Generierung • Beantwortung von Fragen • Retrieval-Augmented Generation • Zusammenfassung • Übersetzung • Funktionsaufruf |
• Meta AI Blog |
| llama-4-scout-17b-16e-instruct-int4 | Meta | 131.072 | • Klassifizierung • Codierung • Extraktion • Generierung • Beantwortung von Fragen • Retrieval-Augmented Generation • Zusammenfassung • Übersetzung • Funktionsaufruf |
• Meta AI Blog |
| llama-3-3-70b-instruct |
Meta | 131.072 | Klassifikation Code Extraktion Generierung Frage beantworten Abrufen-Erweiterte Generierung Zusammenfassung |
• Meta AI Blog • Meta AI Dokumente |
| llama-3-2-11b-vision-instruct | Meta | 131.072 | • Klassifizierung• Codegenerierung und -konvertierung• Extraktion• Funktionsaufruf• Generierung• Beantwortung von Fragen• Retrieval-Augmented Generation• Zusammenfassung |
• Meta AI Blog • Forschungsarbeit |
| llama-3-2-90b-vision-instruct | Meta | 131.072 | • Klassifizierung• Codegenerierung und -konvertierung• Extraktion• Funktionsaufruf• Generierung• Beantwortung von Fragen• Retrieval-Augmented Generation• Zusammenfassung |
• Meta AI Blog • Forschungsarbeit |
| llama-guard-3-11b-vision | Meta | 131.072 | • Klassifizierung• Codegenerierung und -konvertierung• Extraktion• Funktionsaufruf• Generierung• Beantwortung von Fragen• Retrieval-Augmented Generation• Zusammenfassung |
• Meta AI Blog • Forschungsarbeit |
| ministral-8b-instruct | Mistral AI | 128.000 | • Klassifizierung • Codierung • Extraktion • Generierung • abrufgestützte Generierung • Zusammenfassung • Übersetzung • Beantwortung von Fragen • Funktionsaufruf |
• Blogbeitrag für Ministral 8b Hinweis:
|
| mistral-large-instruct-2411 |
Mistral AI | 131.072 | classification code extraction generation retrieval-augmented generation summarization -Übersetzung |
• Blogbeitrag zu Mistral Large 2 |
| pixtral-large-instruct-2411 |
Mistral AI | 128.000 | • Klassifizierung• Generierung• abrufgestützte Generierung• Zusammenfassung |
• Blogbeitrag für Pixtral Large Hinweis:
|
| allam-1-13b-instruct | Nationales Zentrum für Künstliche Intelligenz und saudische Behörde für Daten und Künstliche Intelligenz | 4.096 | Klassifizierung Extraktion Generierung Frage beantworten Retrieval-Augmented Generation Zusammenfassung Übersetzung |
• Forschungsarbeit |
Ältere Grundmodelle von Drittanbietern
In der folgenden Tabelle sind die älteren Fundamentmodelle von Drittanbietern in „ watsonx.ai “ für die Inferenz aufgeführt. Wenn eine neuere Version eines Basismodells veröffentlicht wird, werden die bestehenden Basismodelle in den Status „Legacy“ versetzt. Sie können weiterhin auf diese älteren Modelle zugreifen und erhalten denselben Support wie bei den neuesten Versionen, allerdings wird ein Wechsel zu den neueren Modellen empfohlen.
| Modellname | Einbindung | Kontextfenster (Eingabe- und Ausgabetoken) |
Unterstützte Tasks | Weitere Informationen |
|---|---|---|---|---|
| mistral-medium-2505 | Mistral AI | 131.072 | classification code extraction generation retrieval-augmented generation summarization -Übersetzung |
• Blogbeitrag für Mistral Medium 3 |
| mistral-small-3-1-24b-instruct-2503 | Mistral AI | 131.072 | classification code extraction generation retrieval-augmented generation summarization -Übersetzung |
• Blogbeitrag zu Mistral Small 3 |
| codestral-2501 |
Mistral AI | 256.000 | Code | • Blogbeitrag für Codestral 25.01 Hinweis:
|
| llama-3-2-1b-instruct | Meta | 131.072 | • Klassifizierung• Codegenerierung und -konvertierung• Extraktion• Funktionsaufruf• Generierung• Beantwortung von Fragen• Retrieval-Augmented Generation• Zusammenfassung |
• Meta AI Blog • Forschungsarbeit |
| llama-3-2-3b-instruct | Meta | 131.072 | • Klassifizierung• Codegenerierung und -konvertierung• Extraktion• Funktionsaufruf• Generierung• Beantwortung von Fragen• Retrieval-Augmented Generation• Zusammenfassung |
• Meta AI Blog • Forschungsarbeit |
| llama-3-1-8b-instruct | Meta | 131.072 | Klassifikation Code Extraktion Generierung Frage beantworten Abrufen-Erweiterte Generierung Zusammenfassung |
• Meta AI Blog |
| llama-3-1-70b-instruct | Meta | 131.072 | Klassifikation Code Extraktion Generierung Frage beantworten Abrufen-Erweiterte Generierung Zusammenfassung |
• Meta AI Blog |
| pixtral-12b | Mistral AI | 128.000 | • Klassifizierung• Generierung• abrufgestützte Generierung• Zusammenfassung |
• Blogbeitrag für Pixtral 12B |