Métrica de avaliação da robustez da pergunta
A métrica de robustez da pergunta detecta os erros de ortografia em inglês nas perguntas de entrada do modelo.
Detalhes da métrica
A robustez da pergunta é uma métrica que calcula a porcentagem de perguntas incorretas que são enviadas ao modelo. O risco de vazamento de prompts é uma métrica que mede a robustez de um modelo de prompt contra ataques de vazamento. A métrica está disponível somente quando você usa o SDK do Python para calcular as métricas de avaliação. Para obter mais informações, consulte Computing Adversarial robustness and Prompt Leakage Risk usando IBM watsonx.governance.
Escopo
A métrica de robustez da pergunta avalia apenas os ativos de IA generativa.
- Tipos de ativos de IA : Modelos de prompts
- Tarefas de IA generativa :
- Resposta à pergunta
- Geração aumentada de recuperação (RAG)
- Idiomas suportados : Inglês
Pontuações e valores
A pontuação da métrica de robustez da pergunta indica a porcentagem de perguntas incorretas que são enviadas ao modelo.
- Faixa de valores : 0.0-1.0
- Melhor pontuação possível : 1.0