Metadados de dados

Esta seção descreve como configurar os atributos do modelo de dados com base no pyspark.sql.StructField.

Objetos spss.datamodel.Role

Esta classe enumera funções válidas para cada campo em um modelo de dados.

BOTH: indica que este campo pode ser um antecedente ou um consequente.

FREQWEIGHT: indica que este campo deve ser usado como um peso de frequência; isso não é exibido para o usuário.

INPUT: indica que este campo é um preditor ou um antecedente.

NONE:indica que este campo não é usado diretamente durante a modelagem.

TARGET: indica que este campo é previsto ou subsequente.

PARTITION: indica que este campo identifica a partição de dados.

RECORDID: indica que este campo identifica o ID do registro.

SPLIT: indica que este campo divide os dados.

Objetos spss.datamodel.Measure

Esta classe enumera níveis de medição para campos em um modelo de dados.

UNKNOWN: indica que o tipo de medida é desconhecido.

CONTINUOUS: indica que o tipo de medida é contínuo.

NOMINAL: indica que o tipo de medida é nominal.

FLAG: indica que o valor do campo é um de dois valores.

DISCRETE: indica que o valor do campo deve ser interpretado como uma coleção de valores.

ORDINAL: indica que o tipo de medida é ordinal.

TYPELESS: indica que o campo pode ter qualquer valor compatível com o seu armazenamento.

Objetos pyspark.sql.StructField

Representa um campo em um StructType. Um objeto StructField compreende quatro campos:
  • name (string): nome de um StructField
  • dataType (pyspark.sql.DataType): tipo de dado específico
  • nullable (bool): se os valores de um StructField puderem conter valores None
  • metadata (dictionary): um dicionário python que armazena os atributos de opção
É possível usar a instância do dicionário de metadados para armazenar a medida, função ou atributo de rótulo para o campo específico. As palavras-chave para esses atributos são:
  • measure: a palavra chave para o atributo measure
  • role: a palavra chave para o atributo role
  • displayLabel: a palavra chave para o atributo label
Exemplo
from spss.datamodel.Role import Role
from spss.datamodel.Measure import Measure
_metadata = {}
_metadata['measure'] = Measure.TYPELESS
_metadata['role'] = Role.NONE
_metadata['displayLabel'] = "field label description"
StructField("userName", StringType(), nullable=False, 
metadata=_metadata)