拡張モデルノードプロパティ

拡張モデル・ノード・アイコン Extension Modelノードを使用すると、Rまたは Python for Sparkスクリプトを実行して結果を構築し、スコアリングすることができます。

このページの多くのプロパティおよび情報は、 SPSS Modeler Desktop ストリームにのみ適用されることにご注意ください。

Python Sparkの例

import modeler.api
stream = modeler.script.stream()
node = stream.create("extension_build", "extension_build")
node.setPropertyValue("syntax_type", "Python")

build_script = """
import json
import spss.pyspark.runtime
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.linalg import DenseVector
from pyspark.mllib.tree import DecisionTree

cxt = spss.pyspark.runtime.getContext()
df = cxt.getSparkInputData()
schema = df.dtypes[:]

target = "Drug"
predictors = ["Age","BP","Sex","Cholesterol","Na","K"]

def metaMap(row,schema):
    col = 0
    meta = []
    for (cname, ctype) in schema:
        if ctype == 'string':
            meta.append(set([row[col]]))
        else:
            meta.append((row[col],row[col]))
        col += 1        
    return meta

def metaReduce(meta1,meta2,schema):
    col = 0
    meta = []
    for (cname, ctype) in schema:
        if ctype == 'string':
            meta.append(meta1[col].union(meta2[col]))
        else:
            meta.append((min(meta1[col][0],meta2[col][0]),max(meta1[col][1],meta2[col][1])))
        col += 1
    return meta

metadata = df.rdd.map(lambda row: metaMap(row,schema)).reduce(lambda x,y:metaReduce(x,y,schema))

def setToList(v):
    if isinstance(v,set): 
        return list(v)
    return v

metadata = map(lambda x: setToList(x), metadata)
print metadata

lookup = {}
for i in range(0,len(schema)):
    lookup[schema[i][0]] = i

def row2LabeledPoint(dm,lookup,target,predictors,row):
    target_index = lookup[target]
    tval = dm[target_index].index(row[target_index])
    pvals = []
    for predictor in predictors:
        predictor_index = lookup[predictor]
        if isinstance(dm[predictor_index],list):        
            pval = dm[predictor_index].index(row[predictor_index])
        else:
            pval = row[predictor_index]
        pvals.append(pval)
    return LabeledPoint(tval,DenseVector(pvals))

# count number of target classes
predictorClassCount = len(metadata[lookup[target]])

# define function to extract categorical predictor information from datamodel 
def getCategoricalFeatureInfo(dm,lookup,predictors):
    info = {}
    for i in range(0,len(predictors)):
        predictor = predictors[i]
        predictor_index = lookup[predictor]
        if isinstance(dm[predictor_index],list):
            info[i] = len(dm[predictor_index])
    return info

# convert dataframe to an RDD containing LabeledPoint
lps = df.rdd.map(lambda row: row2LabeledPoint(metadata,lookup,target,predictors,row))

treeModel = DecisionTree.trainClassifier(
    lps,
    numClasses=predictorClassCount,
    categoricalFeaturesInfo=getCategoricalFeatureInfo(metadata, lookup, predictors),
    impurity='gini',
    maxDepth=5,
    maxBins=100)

_outputPath = cxt.createTemporaryFolder()
treeModel.save(cxt.getSparkContext(), _outputPath)
cxt.setModelContentFromPath("TreeModel", _outputPath)
cxt.setModelContentFromString("model.dm",json.dumps(metadata), mimeType="application/json")\
   .setModelContentFromString("model.structure",treeModel.toDebugString())

"""

node.setPropertyValue("python_build_syntax", build_script)

Rの例

node.setPropertyValue("syntax_type", "R")
node.setPropertyValue("r_build_syntax", """modelerModel <- lm(modelerData$Na~modelerData$K,modelerData)
modelerDataModel
modelerModel 
""")

表 1. extensionmodelnode プロパティー
`extensionmodelnode` プロパティ－	値	プロパティーの説明
`syntax_type`	R Python	実行するスクリプトを指定します。Rまたは Python （Rがデフォルト）
`r_build_syntax`	ストリング	モデル構築のためのRスクリプト構文。
`r_score_syntax`	ストリング	モデルスコアリング用のRスクリプト構文。
`python_build_syntax`	ストリング	モデル構築のための Python スクリプト構文。
`python_score_syntax`	ストリング	Python モデルスコアリング用のスクリプト構文。
`convert_flags`	`StringsAndDoubles` `LogicalValues`	フラグフィールドを変換するオプション。
`convert_missing`	フラグ	欠損値を R に変換するオプション`NA`移ります。
`convert_datetime`	フラグ	日付または日時形式の変数をRの日付/時刻形式に変換するオプション。
`convert_datetime_class`	`POSIXct` `POSIXlt`	日付または日時形式の変数をどの形式に変換するかを指定するオプション。
`output_html`	フラグ	Rモデルナゲットにグラフを表示するオプション。
`output_text`	フラグ	Rコンソールテキスト出力をRモデルナゲットに書き込むオプション。