Manipulando campos com valores ausentes

Se a maioria dos valores ausentes estiver concentrada em um pequeno número de campos, é possível endereçá-los no nível do campo, em vez de no nível do registro. Essa abordagem também permite experimentar a importância relativa de determinados campos antes de você decidir sobre uma abordagem para manipular valores omissos. Se um campo não for importante na modelagem, provavelmente não vale a pena mantê-lo, independentemente de quantos valores ausentes ele tenha.

Por exemplo, uma empresa de pesquisa de mercado pode coletar dados de um questionário geral com 50 questões. Duas das questões abordam idade e opinião política, informações que muitas pessoas relutam em fornecer. Nesse caso, Age e Political_persuasion têm muitos valores ausentes.

Nível de medição de campo

Ao determinar qual método usar, também é necessário considerar o nível de medição dos campos com valores omissos.

Campos numéricos. Para tipos de campos numéricos, como Continuous, você deve sempre eliminar quaisquer valores não numéricos antes de construir um modelo, pois muitos modelos não funcionarão se os espaços em branco forem incluídos em campos numéricos.

Campos categóricos. Para campos categóricos, como Nominal e Flag, alterar valores ausentes não é necessário mas vai aumentar a precisão do modelo. Por exemplo, um modelo que utiliza o campo Sex ainda funcionará com valores sem sentido, como Y e Z, mas removendo todos os valores diferente de M e F aumentará a precisão do modelo.

Triagem ou remoção de campos

Para rastrear campos com muitos valores omissos, você tem várias opções:

  • Você pode usar um nó de auditoria de dados para filtrar campos com base na qualidade
  • Você pode usar um Nó de Seleção de Recursos para tela fora de campos com mais de uma porcentagem especificada de valores ausentes e para classificar campos com base em importância relativa a um destino especificado
  • Em vez de remover os campos, você pode usar um nó de tipo para configurar a função de campo para Nenhum. Isso manterá os campos no conjunto de dados, mas os excluirá dos processos de modelagem