Termos para avaliações de ativos de IA

Aprenda os termos e conceitos usados para avaliar os ativos de IA, incluindo os modelos tradicionais de aprendizado de máquina e os ativos de IA generativa.

Justiça aceitável
A porcentagem de resultados favoráveis que um grupo monitorado deve receber para atender ao limite de justiça. Ele é calculado multiplicando a igualdade perfeita pelo limite de justiça.

Alerta
Uma notificação de que uma métrica de desempenho está fora do intervalo aceitável especificado pelos monitores configurados.

Chave API
Um identificador único emitido pela IBM Cloud para conexão com recursos. Para obter, abra o https://cloud.ibm.com/resources, encontre e expanda o recurso, como um serviço de armazenamento e copie o valor para ID de recurso sem as aspas.

Conjunto de dados balanceados
Um conjunto de dados que inclui as solicitações de pontuação recebidas pelo modelo para a hora selecionada e os registros perturbados

Dados de base
Dados anteriores que são coletados antes da intervenção ou modificação. Esses dados servem como a base para a qual os dados futuros coletados são comparados.

Implementação em lote
Processa os dados de entrada de um arquivo, conexão de dados ou dados conectados em um balde de armazenamento e grava a saída em um destino selecionado. Um método de implementação de modelos que processa dados de entrada de um arquivo e grava a saída em um arquivo.

Processamento em lote '
Se você precisar monitorar implantações que envolvam grandes dados de carga útil/feedback, sugerimos o processamento em lote.

Bias
Quando um modelo de aprendizado de máquina produz um resultado para uma pessoa monitorada, grupo ou coisa que é considerada injusta quando comparado a um resultado de referência. Pode ser causado por um problema com os dados de treinamento de um modelo. O Monitor Justo pode detectar viés que cai sob um limite que você configura. Termo relacionado: Debiasing.

Cloud Object Storage
Um serviço oferecido pela IBM para armazenamento e acesso a dados. Se o Cloud Object Storage for o repositório de ativos de IA, as credenciais de serviço associadas deverão ser usadas para conectar-se aos ativos para avaliações.
Veja também: ID do recurso, chave API.

Pontuação de confiança
A probabilidade de que a predição do modelo de aprendizado de máquina esteja correta. Uma pontuação maior indica uma probabilidade maior de que o resultado previsto corresponda ao resultado real.

Explicação Contrastiva
Explicações que indicam o mínimo conjunto de variações de valor da coluna de recurso para alterar a previsão do modelo. Isto é computado para um único ponto de dados.

Data mart
Espaço de trabalho em que todos os metadados das avaliações de ativos de IA são salvos.

Transações Debiased
As transações para as quais o resultado debitado é gerado.

Debiasing
Atenuando o viés nas previsões de modelos usando algoritmos de justiça, automática ou manualmente.

Implantação
Você implanta um ativo de IA para disponibilizar um endpoint para que possa inserir novos dados no ativo e obter uma pontuação ou um resultado gerado.

Drift
Quando o desempenho do ativo de IA diminui ao longo do tempo devido a alterações nos dados de entrada ou nos padrões de solicitação.

Avaliação
O processo de usar métricas para avaliar um ativo de IA e medir seu desempenho em dimensões como justiça, precisão ou confiabilidade.

Explicação
Um insight sobre a avaliação de uma medida específica de um ativo de IA, ajudando os usuários a interpretar o comportamento preditivo ou generativo.

Equidade
Determina se um ativo de IA produz resultados tendenciosos ou desequilibrados que favorecem um grupo monitorado em relação a um grupo de referência.

Features
Lista de nomes de colunas de dataset (colunas de recursos) utilizados para treinar um modelo de aprendizado de máquina.
Exemplo: Em um modelo que prevê se uma pessoa se qualifica para um empréstimo, os recursos para status de emprego e histórico de crédito podem receber maior peso do que o CEP.

Dados de feedback
Dados rotulados que correspondem ao esquema e à estrutura dos dados usados para treinar ou ajustar um ativo de IA.

Explicação global
Predição do modelo de Explosão em uma amostra de dados.

Headless subscrição
Uma assinatura que tem uma implementação em tempo real nos bastidores. Por meio da assinatura headless, o usuário pode monitorar a implantação usando os dados (carga útil/feedback) que estão sendo fornecidos à implantação sem fornecer nenhuma pontuação URL.

Dados rotulados
Dados rotulados de maneira uniforme para que os algoritmos de IA reconheçam durante o treinamento ou o ajuste fino.
Exemplo: Uma tabela de dados com colunas rotuladas é típica para aprendizado de máquina supervisionada. As imagens também podem ser rotuladas para uso em um problema de aprendizado de máquina.

Explicação local
Explora uma predição de um modelo usando exemplos específicos e individuais.

Meta-campos
Dados especializados que são exclusivos entre produtos.

Monitorar
Rastreia os resultados de desempenho para diferentes avaliações de ativos de IA, como justiça, desvio, qualidade e explicabilidade.
Exemplos: Equidade, desvio, qualidade, explicabilidade.

Grupo Monitorado
Ao avaliar a equidade, o grupo monitorado representa os valores que estão mais em risco para resultados tendidos a serem tendidos a tendidos.
Exemplo: No recurso sexual, Female e Nonbinary podem ser configurados como grupos monitorados.

Implementação online
Método de acesso a uma implementação através de um terminal de API que fornece uma pontuação ou solução em tempo real em novos dados.

Dados da carga útil
Qualquer dado em tempo real fornecido a um modelo. Consiste em solicitações para um modelo (entrada) e respostas de um modelo (saída).

Registro de carga útil
Persistem dados de carga útil.

Igualdade perfeita
A porcentagem de resultados favoráveis entregues a todos os grupos de referência. Para os conjuntos de dados balanceados e sem propensão, o cálculo inclui as transações do grupo monitorado que foram alteradas para se tornar transações do grupo de referência.

Perturbações
Pontos de dados que são simulados em torno de pontos de dados reais durante o cálculo de diferentes métricas que estão associadas a monitores-como equidade, explicabilidade.

Espaço de pré-produção
Um ambiente usado para testar dados e comportamento para validações de ativos de IA antes da implementação.

Coluna de Previsão
A variável que um modelo de aprendizado de máquina supervisionado (treinado com dados rotulados) prevê quando apresentado com novos dados.
Veja também: Alvo.

Probabilidade
A confiança com a qual um modelo prevê a saída. Aplicável para modelos de classificação.

Espaço de produção
Um espaço de implantação usado para operacionalizar ativos de IA em ambientes de produção.

Qualidade
Um monitor que avalia a capacidade de um ativo de IA gerar ou prever resultados precisos e relevantes.

Registros
Transações em que os monitores são avaliados.

Grupo de referência
Ao avaliar a equidade, o grupo de referência representa os valores que são menos em risco para resultados tendente a biased.
Exemplo: Para o recurso Idade, você pode configurar 30-55 como o grupo de referência e comparar resultados para outras coortes a esse grupo.

Peso Relativo
O peso relativo que um recurso tem em prever a variável de destino. Um peso maior indica mais importância. Saber o peso relativo ajuda a explicar os resultados do modelo.

ID do recurso
O identificador único para um recurso armazenado em Cloud Object Storage. Para obter:

Abrir https://cloud.ibm.com/resources
Encontre e expanda o recurso (como um serviço de armazenamento)
Copie o valor para ID do Recurso sem as aspas

Tempo de resposta
O tempo necessário para processar uma solicitação de pontuação ou geração pela implementação do ativo de IA.

Dados de tempo de execução
Dados obtidos da execução do ciclo de vida de um ativo de IA, incluindo cargas de trabalho de inferência ou geração.

Ponto de extremidade de pontuação
O ponto de extremidade HTTPS que os usuários podem chamar para receber a pontuação ou a saída gerada de um ativo de IA implantado.

Solicitação de pontuação
A entrada para uma implementação.
Veja também: Carga de carga.

Scoring
Em uma inferência de modelo, a ação de enviar solicitação para modelar e obter uma resposta.

Self gerenciado
Transações Model armazenadas em seu próprio data warehouse e avaliadas pelo seu próprio motor de analítica Spark.

Credenciamento de serviço
Os IDs de acesso necessários para se conectar aos recursos do IBM Cloud .

Provedor de serviços
Um provedor de aprendizado de máquina (normalmente um mecanismo de modelo: Watson Machine Learning, Amazon Web Services, Azure, Personalizado) que hospeda as implantações.

Assinatura '
Uma implantação que está sendo monitorada. Há um mapeamento de 1-1 entre implementação e assinatura.

Transações de modelo '
gerenciadas pelo sistema armazenadas em um banco de dados e avaliadas usando recursos de computação.

Alvo
O recurso, rótulo ou meta que o ativo de IA treinado prevê ou gera.
Veja também: Coluna de predição.

Threshold
Uma referência para avaliar um ativo de IA; quando os resultados de desempenho ficam abaixo desse intervalo configurado, um alerta é acionado.

Dados de treinamento
Dados usados para ensinar, treinar ou ajustar o algoritmo de aprendizado de um ativo de IA.

Transações
Os registros das avaliações de ativos de IA que são armazenados na tabela de registro de carga útil.

Dados não rotulados
Dados que não são associados a etiquetas que identificam características, classificações e propriedades. Dados não estruturados que não são rotulados de maneira uniforme.
Exemplo: Email ou imagens não rotuladas são típicas de dados não rotulados. Os dados não rotulados podem ser usados em aprendizado de máquina não supervisionada.

ID do usuário
O ID do usuário associado à solicitação de pontuação.