Metrik zur Bewertung der genauen Übereinstimmung

Die genaue Übereinstimmungsbewertungsmetrik vergleicht Modellvorhersagestrings mit Referenzstrings, um zu messen, wie oft die Strings übereinstimmen.

Metrikdetails

Exact Match ist eine generative KI-Qualitätsbewertungsmetrik, die misst, wie gut generative KI-Assets Aufgaben ausführen.

Umfang

Die genaue Übereinstimmungsmetrik bewertet nur generative KI-Assets.

  • Arten von KI-Assets : Vorlagen für Aufforderungen
  • Aufgaben der generativen KI :
    • Beantwortung von Fragen
    • Entitätsextraktion
    • Retrieval Augmented Generation (RAG)
  • Unterstützte Sprachen : Arabisch (ar), Dänisch (da), Englisch (en), Französisch (fr), Deutsch (de), Italienisch (it), Japanisch (ja), Koreanisch (ko), Portugiesisch (pt), Spanisch (es).

Ergebnisse und Werte

Der genaue Übereinstimmungswert gibt den Anteil der perfekten Übereinstimmungen zwischen Modellvorhersagestrings und Referenzstrings an. Höhere Werte zeigen an, dass die Vorhersagestrings des Modells häufiger mit den Referenzstrings übereinstimmen.

  • Wertebereich : 0.0-1.0
  • Bestmögliche Punktzahl : 1.0
  • Kennzahlen:
    • Bei 0: Keine Übereinstimmung mit Referenz
    • Über 0: Mindestens eine genaue Übereinstimmung

Einstellungen

  • Schwellenwerte:
    • Untergrenze: 0.8
    • Obergrenze: 1
  • Parameter :
    • Zu ignorierende Regex-Ausdrücke: Regex-Ausdrücke von Zeichen, die bei der Berechnung der genauen Übereinstimmungen ignoriert werden sollen.
    • Groß-/Kleinschreibung ignorieren: Wenn "True", wird alles in Kleinbuchstaben umgewandelt, sodass Groß-/Kleinschreibung ignoriert wird.
    • Satzzeichen ignorieren: Wenn "Wahr", werden Satzzeichen vor dem Vergleich von Zeichenketten entfernt.
    • Zahlen ignorieren: Wenn "True", werden vor dem Vergleichen von Zeichenketten alle Ziffern entfernt.