Metrik zur Bewertung der Textqualität

Die Textqualitätsmetrik bewertet die Ausgabe eines Modells anhand von SuperGLUE -Datensätzen, indem sie den F1 -Score, die Genauigkeit und den Rückruf anhand der Modellvorhersagen und der zugrunde liegenden Daten misst.

Metrikdetails

Die Textqualität ist eine Metrik zur Qualitätsbewertung generativer KI, die misst, wie gut generative KI-Ressourcen Aufgaben ausführen.

Umfang

Die Textqualität bewertet nur generative KI-Assets.

  • Arten von KI-Assets : Vorlagen für Aufforderungen
  • Aufgaben der generativen KI :
    • Textausfassung
    • Inhaltsgenerierung
  • Unterstützte Sprachen : Arabisch (ar), Dänisch (da), Englisch (en), Französisch (fr), Deutsch (de), Italienisch (it), Japanisch (ja), Koreanisch (ko), Portugiesisch (pt), Spanisch (es).

Ergebnisse und Werte

Der Textqualitäts-Metrikwert gibt die Ähnlichkeit zwischen den Vorhersagen und den Referenzen an. Höhere Werte weisen auf eine höhere Ähnlichkeit zwischen den Vorhersagen und den Referenzen hin.

Einstellungen

  • Schwellenwerte:
    • Untergrenze: 0.8
    • Obergrenze: 1