Metadatos de datos

Esta sección describe cómo configurar los atributos del modelo de datos basándose en pyspark.sql.StructField.

Objetos spss.datamodel.Role

Esta clase enumera roles válidos para cada campo en un modelo de datos.

BOTH: Indica que este campo puede ser un antecedente o un consecuente.

FREQWEIGHT: Indica que este campo se utiliza para ser la ponderación de frecuencia; esto no se muestra al usuario.

INPUT: Indica que este campo es un predictor o un antecedente.

NONE: Indica que este campo no se utiliza directamente durante el modelador.

TARGET: Indica que este campo se ha predicho o es un consecuente.

PARTITION: Indica que este campo se utiliza para identificar la partición de datos.

RECORDID: Indica que este campo se utiliza para identificar el ID de registro.

SPLIT: Indica que este campo se utiliza para dividir los datos.

Objetos spss.datamodel.Measure

Esta clase enumera niveles de medición para campos en un modelo de datos.

UNKNOWN: Indica que el tipo de medida es desconocido.

CONTINUOUS: Indica que el tipo de medida es continuo.

NOMINAL: Indica que el tipo de medida es nominal.

FLAG: Indica que el valor del campo es uno de dos valores.

DISCRETE: Indica que el valor del campo debería interpretarse como una colección de valores.

ORDINAL: Indica que el tipo de medida es ordinal.

TYPELESS: Indica que el campo puede tener algún valor compatible con su almacenamiento.

Objetos pyspark.sql.StructField

Representa un campo en un StructType. Un objeto StructField engloba cuatro campos:
  • name (string): nombre de un StructField
  • dataType (pyspark.sql.DataType): tipo de datos específico
  • nullable (bool): si los valores de un StructField pueden contener valores None
  • metadata (dictionary): un diccionario Python utilizado para almacenar los atributos de la opción
Puede utilizar la instancia del diccionario de metadatos para almacenar el atributo de medida, rol o etiqueta para el campo específico. Las palabras clave para estos atributos son:
  • measure: la palabra clave para el atributo measure
  • role: la palabra clave para el atributo role
  • displayLabel: la palabra clave para el atributo label
Ejemplo:
from spss.datamodel.Role import Role
from spss.datamodel.Measure import Measure
_metadata = {}
_metadata['measure'] = Measure.TYPELESS
_metadata['role'] = Role.NONE
_metadata['displayLabel'] = "field label description"
StructField("userName", StringType(), nullable=False, 
metadata=_metadata)