Einführung von VAKRA: Benchmark zur Bewertung von Multi-Hop-, Multi-Source-Tool-Calling-Funktionen in KI-Agenten

VAKRA – eValuating API and Knowledge Retrieval Agents using multi-hop, multi-source dialogues – ist ein toolbasierter, ausführbarer Benchmark, der entwickelt wurde, um zu bewerten, wie gut KI-Agenten in unternehmensähnlichen Umgebungen von Anfang bis Ende argumentieren. 

Anstatt einzelne Fähigkeiten zu testen, misst VAKRA das kompositorische Denkvermögen über APIs und Dokumente hinweg und nutzt dabei vollständige Ausführungsabläufe, um zu beurteilen, ob Agenten mehrstufige Workflows zuverlässig abschließen können – und nicht nur einzelne Schritte.

VAKRA bietet eine ausführbare Umgebung, in der Agenten mit über 8.000 lokal gehosteten APIs interagieren, die von echten Datenbanken aus 62 Domänen unterstützt werden, zusammen mit domänenspezifischen Dokumentensammlungen. Die Aufgaben können 3- bis 7-stufige Schlussfolgerungsketten erfordern, die eine strukturierte API-Interaktion mit unstrukturiertem Abruf unter den Einschränkungen der Verwendung von natürlichsprachlichen Werkzeugen kombinieren.

• Lokal gehostete, datenbankgestützte Tools gewährleisten deterministische, überprüfbare Antworten bei der Bewertung.
• Die Dokumentenrecherche erfolgt über domänenspezifische Indizes, wodurch eine quellenübergreifende Verknüpfung und Extraktion ermöglicht wird.
• Die Überprüfung auf Trajektorienebene spielt die vollständigen Agenten-Traces mit den Live-Tools ab und unterstützt so mehrere gültige Ausführungspfade – was für den Workflow von Unternehmen von entscheidender Bedeutung ist.

Enterprise-Umgebungen ähneln nicht Single-Turn Q & A oder einmaligen Funktionsaufrufen. Workflows in Bereichen wie Kundensupport, Business Intelligence und Compliance erfordern von den Mitarbeitern, dass sie Entscheidungen verketten, nicht übereinstimmende Schemata abgleichen und in natürlicher Sprache ausgedrückte Richtlinien zur Werkzeugnutzung befolgen. Fehler treten nicht nur während des Aufrufs der Werkzeuge auf, sondern auch bei der sprachvermittelten Argumentation zwischen den Werkzeugen – einschließlich der Entitätsdisambiguierung, der quellenübergreifenden Verankerung und der Parameter- oder Schemaabgleichung.

Betrachten wir eine Beschwerde über eine verspätete Bestellung im E-Commerce-Bereich. Um dieses Problem zu lösen, muss ein Agent Informationen aus verschiedenen Systemen korrekt miteinander verknüpfen – Kundendatensätze verbinden, Dokumentation interpretieren, Kennungen in Logistik-APIs abgleichen und in natürlicher Sprache ausgedrückte Richtlinien anwenden. Jede Entscheidung hängt von der vorhergehenden ab und erfordert daher ein kontinuierliches Abwägen verschiedener Werkzeuge, Datenquellen und Einschränkungen.

VAKRA wurde entwickelt, um genau aufzuzeigen, wo eine solche mehrstufige Argumentation erfolgreich ist oder versagt, und spiegelt damit die Realität wider, mit der Agenten in Produktionsumgebungen konfrontiert sind.

Inspiriert von Szenarien wie dem Beispiel mit der verspäteten Beschwerde von vorhin, organisiert VAKRA die Aufgaben in drei Stufen:

1. Diverse API-Interaktionsstile: Agenten müssen sich an verschiedene Schnittstellenabstraktionen anpassen, von Business-Intelligence-APIs, die kompositionelle oder erweiterte Funktionsschnittstellen bereitstellen – was Planung und sorgfältige Werkzeugauswahl erfordert – bis hin zu abfrageorientierten Endgeräten, die Berechnungen kapseln, aber dennoch eine genaue Abfrageinterpretation und korrekte Parametrisierung erfordern.
2. Multi-Hop-Argumentation über strukturierte APIs: Aufgaben erfordern 3–7 abhängige API-Aufrufe, bei denen die Ausgabe früherer Schritte korrekt interpretiert, transformiert und wiederverwendet werden muss, um nachfolgende Aktionen zu parametrisieren.
3. Multi-Hop, Multi-Source Reasoning mit Tool-Nutzungsrichtlinien: Aufgaben erfordern Multi-Hop-Reasoning über unstrukturierte Dokumente und strukturierte APIs, wobei Agenten entscheiden müssen, wann sie Informationen abrufen, wie sie die abgerufenen Informationen in nachgelagerte Tool-Aufrufe einbinden und die Richtlinien für die Verwendung von Tools in natürlicher Sprache einhalten.

VAKRA läuft in einer selbstgehosteten Umgebung: APIs, die von persistenten Datenbanken und Abrufindizes unterstützt werden, werden über eine Standardschnittstelle bereitgestellt, und Agenten können nur über diese Tools interagieren. Die Evaluierung spielt ganze Trajektorien ab, um jeden Zwischenschritt zu überprüfen – nicht nur endgültige Antworten –, damit Sie genau feststellen können, wo die Argumentation fehlerhaft ist: Entitätsdisambiguierung, quellenübergreifende Zuordnung oder Richtlinieninterpretation.

VAKRA ist für drei verschiedene Nutzer konzipiert:

• Forscher, die agentisches Denken, Multi-Tool-Planung und Verankerung untersuchen
• Entwickler- und Engineering-Teams evaluieren Basismodelle für Produktionsagenten-Workflows
• Führungskräfte suchen nach Benchmarks, die die Komplexität des Unternehmens widerspiegeln, nicht nach Spielaufgaben

VAKRA ist heute öffentlich verfügbar. Der Quellcode, die Aufgabenspezifikationen und die Evaluierungsumgebung sind als Open Source auf GitHub verfügbar und enthalten alles, was zur Reproduktion der Ergebnisse und zum vollständigen Ausführen neuer Agenten benötigt wird, einschließlich:

• Lokal gehostete, ausführbare API-Umgebungen, die von echten Datenbanken unterstützt werden
• Domain-spezifische Dokumentensammlungen für Retrieval-Augmented Reasoning
• Ein eigenständiger Evaluierungs-Runner, der komplette Agententrajektorien erneut abspielt und verifiziert
• Skripte zum Benchmarking neuer Modelle in API-only-, Multi-Hop- und Multi-Source-Task-Einstellungen

Wir starten außerdem einen Hugging Face Space, der die öffentliche VAKRA-Bestenliste beherbergen wird. Wir laden Forscher, Praktiker und Entwickler ein, Ergebnisse abzusenden und Feedback sowie Erweiterungen beizusteuern.

Auf GitHub erkunden

Weitere Autoren:

• Anupama Murthi, Senior Software Engineer
• Benjamin Elder, Forschungswissenschaftler
• Siyu Huo, Engineer für maschinelles Lernen
• Praveen Venkateswaran, wissenschaftlicher Mitarbeiter
• Dänischer Auftragnehmer, leitender wissenschaftlicher Mitarbeiter und Manager