Mesure d'évaluation de la densité
La métrique d'évaluation de la densité mesure le degré d'extraction du résumé dans la sortie du modèle de fondation par rapport à l'entrée du modèle en calculant la moyenne des fragments extractifs qui ressemblent étroitement à des extractions verbatim du texte d'origine.
Détails de la métrique
La densité est une mesure d'analyse de contenu pour les évaluations génératives de la qualité de l'IA qui évalue la sortie de votre modèle par rapport à l'entrée ou au contexte de votre modèle.
Portée
La mesure de la densité évalue uniquement les actifs d'IA générative.
- Types d'actifs IA : Modèles d'invites
- Tâches d'IA générative :
- Génération Augmentée de Récupération (RAG)
- Synthèse de texte
- Langues prises en charge : Anglais
Scores et valeurs
Le score de la métrique de densité indique le degré d'abstraction de la sortie du modèle et à quel point les fragments extraits ressemblent à des extraits verbatim du texte original. Des scores plus faibles indiquent que le résultat du modèle est plus abstrait et que, en moyenne, les fragments extraits ne correspondent pas étroitement aux extraits littéraux du texte original.
Plage de valeurs : La mesure de la densité n'est pas limitée et aura une valeur supérieure à 0. Il n'y a pas de valeur limite supérieure.