Termos para avaliações de ativos de IA

Conheça os termos e conceitos utilizados para avaliar recursos de IA, incluindo modelos tradicionais de aprendizado de máquina e recursos de IA generativa.

Equidade aceitável
: a porcentagem de resultados favoráveis que um grupo monitorado deve obter para atingir o limite de equidade. É calculado multiplicando-se a igualdade perfeita pelo limiar de equidade.

Alerta:
uma notificação indicando que uma métrica de desempenho está fora do intervalo aceitável especificado pelos monitores configurados.

Chave
API: um identificador único que permite que você se autentique automaticamente no site IBM Cloud Pak for Data ou em uma instância específica do serviço.

Conjunto de dados
equilibrado: um conjunto de dados que inclui as solicitações de classificação recebidas pelo modelo para a hora selecionada e os registros perturbados.

Dados de referência
: dados coletados antes da intervenção ou modificação. Esses dados servem de base para a comparação com os dados coletados posteriormente.

Implantação em lote
: processa os dados de entrada provenientes de um arquivo, conexão de dados ou dados armazenados em um bucket e grava os dados de saída em um destino selecionado. Um método para implementar modelos que processa os dados de entrada a partir de um arquivo e grava a saída em um arquivo.

Processamento em lote
: Se você precisar monitorar implantações que envolvam grandes volumes de dados de carga útil/feedback, recomenda-se o processamento em lote.

Viés
: quando um modelo de aprendizado de máquina produz um resultado para uma pessoa, grupo ou objeto monitorado que é considerado injusto quando comparado a um resultado de referência. Pode ser causado por um problema nos dados de treinamento de um modelo. O monitor de imparcialidade pode detectar preconceitos que fiquem abaixo de um limite definido por você. Termo relacionado: Remoção de viés.

Cloud Object Storage
Um serviço oferecido pelo IBM para armazenamento e acesso a dados. Se Cloud Object Storage for o repositório de recursos de IA, as credenciais de serviço associadas devem ser utilizadas para se conectar aos recursos para fins de avaliação.
Veja também: ID do recurso, chave da API.

Índice de confiança
: a probabilidade de que a previsão de um modelo de aprendizado de máquina esteja correta. Uma pontuação mais alta indica uma maior probabilidade de que o resultado previsto corresponda ao resultado real.

Explicação
contrastiva: explicações que indicam o conjunto mínimo de alterações nos valores das colunas de características necessárias para alterar a previsão do modelo. Isso é calculado para um único ponto de dados.

Espaço de trabalho
do data mart onde são salvos todos os metadados para as avaliações de ativos de IA.

Transações sem
viés As transações para as quais é gerado um resultado sem viés.

Eliminação de
viés: Mitigação do viés nas previsões do modelo por meio de algoritmos de equidade, de forma automática ou manual.

Implantação
Você implanta um recurso de IA para disponibilizar um endpoint, de modo a poder inserir novos dados no recurso e obter uma pontuação ou um resultado gerado.

Desvio
: quando o desempenho de um recurso de IA diminui ao longo do tempo devido a mudanças nos dados de entrada ou nos padrões de prompt.

Avaliação
: O processo de utilizar métricas para avaliar um recurso de IA e medir seu desempenho em aspectos como equidade, precisão ou confiabilidade.

Explicação
: Uma análise detalhada da avaliação de uma determinada métrica de um recurso de IA, ajudando os usuários a interpretar o comportamento preditivo ou generativo.

Equidade:
Determina se um recurso de IA produz resultados tendenciosos ou desequilibrados que favorecem um grupo monitorado em detrimento de um grupo de referência.

Lista de nomes das
colunas do conjunto de dados (colunas de características) utilizadas para treinar um modelo de aprendizado de máquina.
Exemplo: Em um modelo que prevê se uma pessoa se qualifica para um empréstimo, as características relacionadas à situação profissional e ao histórico de crédito podem receber maior peso do que o código postal.

Dados de
feedback: dados rotulados que correspondem ao esquema e à estrutura dos dados utilizados para treinar ou ajustar um recurso de IA.

Explicação global
: explica a previsão do modelo com base em uma amostra de dados.

Assinatura sem interface
Uma assinatura que conta com uma implantação em tempo real nos bastidores. Por meio da assinatura sem cabeçalho, o usuário pode monitorar a implantação utilizando os dados (carga útil/feedback) fornecidos à implantação, sem precisar enviar nenhum URL de pontuação.

Dados rotulados
: dados rotulados de maneira uniforme para que os algoritmos de IA possam reconhecê-los durante o treinamento ou o ajuste fino.
Exemplo: Uma tabela de dados com colunas rotuladas é comum na aprendizagem de máquina supervisionada. As imagens também podem ser rotuladas para uso em um problema de aprendizado de máquina.

Explicação
local: explica a previsão de um modelo por meio de exemplos específicos e individuais.

Metacampos: dados
específicos que variam de produto para produto.

O Monitor
Tracks acompanha os resultados de desempenho de diferentes avaliações de recursos de IA, como imparcialidade, desvio, qualidade e explicabilidade.
Exemplo: imparcialidade, desvio, qualidade, explicabilidade.

Grupo
monitorado Ao avaliar a equidade, o grupo monitorado representa os valores que correm maior risco de resultados tendenciosos.
Exemplo: Na seção de gênero, “Mulher” e “Não binário” podem ser definidos como grupos monitorados.

Implantação online
Método de acesso a uma implantação por meio de um ponto de extremidade de API que fornece uma pontuação ou solução em tempo real para novos dados.

Dados de
carga útil: quaisquer dados em tempo real fornecidos a um modelo. Consiste em solicitações a um modelo (entrada) e respostas do modelo (saída).

Registro de
carga útil: Persistência dos dados da carga útil.

Igualdade
perfeita: a porcentagem de resultados favoráveis obtidos por todos os grupos de referência. Para os conjuntos de dados equilibrados e sem viés, o cálculo inclui transações do grupo monitorado que foram alteradas para se tornarem transações do grupo de referência.

Perturbações:
Pontos de dados simulados em torno de pontos de dados reais durante o cálculo de diferentes métricas associadas a monitores — tais como equidade e explicabilidade.

Ambiente de
pré-produção: um ambiente utilizado para testar dados e comportamentos com o objetivo de validar recursos de IA antes da implantação.

Coluna de
previsão: a variável que um modelo de aprendizado de máquina supervisionado (treinado com dados rotulados) prevê quando recebe novos dados.
Veja também: Target.

Probabilidade: O grau
de confiança com que um modelo prevê o resultado. Aplicável a modelos de classificação.

Espaço de produção
: um espaço de implantação utilizado para colocar em operação recursos de IA em ambientes de produção.

Qualidade
: um indicador que avalia a capacidade de um recurso de IA de gerar ou prever resultados precisos e relevantes.

Registra
as transações nas quais os monitores são avaliados.

Grupo de referência
: Ao avaliar a equidade, o grupo de referência representa os valores que correm menor risco de resultados tendenciosos.
Exemplo: Para a característica “Idade”, você pode definir a faixa de 30 a 55 anos como grupo de referência e comparar os resultados de outras coortes com esse grupo.

Peso relativo
O peso relativo que uma característica tem na previsão da variável-alvo. Um peso maior indica maior importância. Conhecer o peso relativo ajuda a explicar os resultados do modelo.

ID do recurso
: O identificador exclusivo de um recurso armazenado em Cloud Object Storage. Para obter:

1. Acesse https://cloud.ibm.com/resources
2. Encontre e expanda o recurso (como um serviço de armazenamento)
3. Copie o valor do ID do recurso sem as aspas

Tempo de resposta
: o tempo necessário para que a implantação do recurso de IA processe uma solicitação de pontuação ou geração.

Dados de execução
: dados obtidos durante o ciclo de vida de um recurso de IA, incluindo cargas de trabalho de inferência ou geração.

Ponto final de
pontuação O ponto final HTTPS que os usuários podem chamar para receber a pontuação ou o resultado gerado de um recurso de IA implantado.

Solicitação de
pontuação: os dados inseridos em uma implantação.
Veja também: Carga útil.

Scoring
: Numa inferência de modelo, a ação de enviar uma solicitação ao modelo e obter uma resposta.

Transações do modelo
autogerenciado armazenadas em seu próprio data warehouse e avaliadas pelo seu próprio mecanismo de análise Spark.

Credenciais do serviço
: As credenciais de acesso necessárias para se conectar aos recursos d IBM Cloud.

Provedor de serviços
: um provedor de aprendizado de máquina (normalmente um mecanismo de modelos: Watson Machine Learning, Amazon Web Services, Azure, personalizado) que hospeda as implantações.

Assinatura:
uma implantação sendo monitorada. Existe uma relação de um para um entre a implantação e a assinatura.

Transações de modelo
gerenciadas pelo sistema, armazenadas em um banco de dados e avaliadas utilizando recursos de computação.

Alvo :
A característica, o rótulo ou a meta que o recurso de IA treinado prevê ou gera.
Veja também: Coluna de previsões.

Limite
Um parâmetro de referência para avaliar um recurso de IA; quando os resultados de desempenho ficam abaixo desse intervalo configurado, é acionado um alerta.

Dados de
treinamento: dados utilizados para ensinar, treinar ou ajustar o algoritmo de aprendizagem de um recurso de IA.

Transações:
os registros das avaliações de ativos de IA armazenados na tabela de registro de carga útil.

Dados não
rotulados: dados que não estão associados a rótulos que identifiquem características, classificações e propriedades. Dados não estruturados que não são rotulados de maneira uniforme.
Exemplo: E-mails ou imagens sem classificação são exemplos típicos de dados sem classificação. Dados não rotulados podem ser utilizados no aprendizado de máquina não supervisionado.

ID do usuário
: O ID do usuário associado à solicitação de pontuação.