propriedades extensionprocessnode

Ícone Transformar nó ícone Com o nó Extensão Transforme, é possível tirar dados de um fluxo e aplicar transformações nos dados usando o R scripting ou Python para scripting Spark.

Exemplo de Python for Spark

import modeler.api
stream = modeler.script.stream()
node = stream.create("extension_process", "extension_process")
node.setPropertyValue("syntax_type", "Python")

process_script = """
import spss.pyspark.runtime
from pyspark.sql.types import *

cxt = spss.pyspark.runtime.getContext()

if cxt.isComputeDataModelOnly():
    _schema = StructType([StructField("Age", LongType(), nullable=True), \
                      StructField("Sex", StringType(), nullable=True), \
                      StructField("BP", StringType(), nullable=True), \
                      StructField("Na", DoubleType(), nullable=True), \
                      StructField("K", DoubleType(), nullable=True), \
                      StructField("Drug", StringType(), nullable=True)])
    cxt.setSparkOutputSchema(_schema)
else:
    df = cxt.getSparkInputData()
    print df.dtypes[:]
    _newDF = df.select("Age","Sex","BP","Na","K","Drug")
    print _newDF.dtypes[:]
    cxt.setSparkOutputData(_newDF)
"""

node.setPropertyValue("python_syntax", process_script)

Exemplo de R

node.setPropertyValue("syntax_type", "R")
node.setPropertyValue("r_syntax", """day<-as.Date(modelerData$dob, format="%Y-%m-%d")
next_day<-day + 1
modelerData<-cbind(modelerData,next_day)
var1<-c(fieldName="Next day",fieldLabel="",fieldStorage="date",fieldMeasure="",fieldFormat="",
fieldRole="")
modelerDataModel<-data.frame(modelerDataModel,var1)""")

Tabela 1. propriedades extensionprocessnode
propriedades `extensionprocessnode`	Tipo de dados	Descrição da propriedade
`syntax_type`	R Python	Especifique qual script é executado - R ou Python (R é o padrão).
`r_syntax`	sequência	A sintaxe de script do R a ser executada.
`python_syntax`	sequência	A sintaxe de script Python a ser executada.
`use_batch_size`	sinalização	Ative o uso do processamento em lote.
`batch_size`	Número inteiro	Especifique o número de registros de dados para incluir em cada lote.
`convert_flags`	`StringsAndDoubles LogicalValues`	Opção para converter os campos de sinalização.
`convert_missing`	sinalização	Opção para converter valores ausentes para o R`NA`valor.
`convert_datetime`	sinalização	Opção para converter variáveis com os formatos de data ou data/hora em formatos de data/hora R.
`convert_datetime_class`	`POSIXct POSIXlt`	Opções para especificar em qual formato as variáveis com os formatos de data ou data/hora serão convertidas.