Origens de dados para implementações de escoragem de lote

Descrição de dados sequenciais

Os dados de entrada do tipo sequenciais para processamento em lote são especificados na carga útil da tarefa de implementação do lote. Por exemplo, pode-se passar um arquivo CSV como a entrada de implementação na interface com o usuário ou como um valor para o parâmetro scoring.input_data em um notebook. Quando a tarefa de implementação de lote for concluída, a saída é gravada para o parâmetro de metadados scoring.predictions da tarefa. correspondente.

Descrição de referência de dados

Os dados de entrada e saída do tipo referência de dados que é usado para o processamento de lote podem ser armazenados:

• Em uma fonte de dados remota, por exemplo, um bucket de armazenamento em nuvem ou um banco de dados SQL ou não SQL.
• Como um ativo de dados local ou gerenciado em um espaço de implementação

Os detalhes para referências de dados incluem:

• A referência de origem de dados type depende do tipo de ativo. Consulte a seção Tipos de referência de origem de dados em Incluindo ativos de dados em um espaço de implementação

• Para o tipo data_asset , a referência para os dados de entrada deve ser especificada como um href /v2/assets no parâmetro input_data_references.location.href na carga útil da tarefa de implementação O ativo de dados especificado é uma referência a um ativo de dados local ou conectado. Além disso, se os dados de saída do trabalho de implantação em lote precisarem ser mantidos em uma fonte de dados remota, as referências aos dados de saída deverão ser especificadas como um parâmetro output_data_reference.location.name na carga útil do trabalho de implantação.

• Qualquer referência de entrada e saída data_asset deve estar no mesmo id do espaço que a implementação de lote.

• Se os dados de saída do job de implementação do lote devem ser persistidos em um espaço de implementação como um ativo local, output_data_reference.location.name deve ser especificado. Quando a tarefa de implementação em lote for concluída com êxito, o ativo com o nome especificado será criado no espaço

• Os dados de saída podem conter informações sobre onde em um banco de dados remoto o ativo de dados está localizado. Nessa situação, você pode especificar se deve anexar a saída do lote à tabela ou truncar a tabela e atualizar os dados de saída. Use o parâmetro output_data_references.location.write_mode para especificar os valores truncate ou append.

  • Especificar truncate como valor trunca a tabela e insere os dados de saída de lote.
  • Especificar append como valor anexa os dados de saída de lote à tabela de banco de dados remoto.
  • write_mode é aplicável apenas para o parâmetro output_data_references.
  • write_mode é aplicável somente a ativos de dados em bancos de dados remotos. Esse parâmetro não é aplicável a ativos de dados locais ou ativos localizados em um bucket de armazenamento em nuvem local.

"input_data_references": [{
    "type": "data_asset",
    "connection": {
    },
    "location": {
        "href": "/v2/assets/<asset_id>?space_id=<space_id>"
    }
}]

"input_data_references": [{
    "type": "connection_asset",
    "connection": {
        "id": "<connection_guid>"
    },
    "location": {
        "bucket": "<bucket name>",
        "file_name": "<directory_name>/<file name>"
    }
    <other wdp-properties supported by runtimes>
}]

Preparando uma carga útil que corresponda ao esquema de um modelo existente

Consulte este código de amostra:

model_details = client.repository.get_details("<model_id>")  # retrieves details and includes schema
columns_in_schema = []
for i in range(0, len(model_details['entity']['schemas']['input'][0].get('fields'))):
    columns_in_schema.append(model_details['entity']['schemas']['input'][0].get('fields')[i]['name'])

X = X[columns_in_schema] # where X is a pandas dataframe that contains values to be scored
#(...)
scoring_values = X.values.tolist()
array_of_input_fields = X.columns.tolist()
payload_scoring = {"input_data": [{"fields": [array_of_input_fields],"values": scoring_values}]}