Flight service nos cadernos " Python "

Você pode usar o Flight service e o protocolo de voo Apache Arrow para ler e gravar dados em ativos de dados em um projeto ou espaço no Python. Esses recursos de dados podem ser arquivos no armazenamento associado ao seu projeto ou espaço atual, ou dados acessados por meio de uma conexão com um banco de dados.

Utilizando código gerado para Flight service

Quando você usa o código gerado para carregar dados de um arquivo ou de uma conexão a partir do painel “Trechos de código” em um caderno, o código gerado utiliza pyarrow para chamar o método ` Flight service `. No entanto, as chamadas de função para não pyarrow são visíveis porque estão encapsuladas em funções de nível superior fornecidas por outra biblioteca chamada itc_utils.

Essa itc_utils biblioteca vem pré-instalada em todos os ambientes de execução de notebooks fornecidos pelo IBM, com o objetivo de reduzir o tamanho do código e torná-lo mais legível. Para atingir esse objetivo, a itc_utils biblioteca utiliza informações do ambiente de execução e da ibm_watson_studio_lib biblioteca.

Outra vantagem significativa do código gerado é que a solicitação de dados possui propriedades específicas, a saber, 'connection_name', 'connected_data_name' ou 'data_name', dependendo do tipo de ativo para o qual você gera o código. itc_utils converte essas propriedades em um asset_id, além de um project_id ou space_id, antes de criar um descritor de voo.

Exemplo de código gerado para você carregar dados:

import itc_utils.flight_service as itcfs

readClient = itcfs.get_flight_client()

MyConnection_data_request = {
    'connection_name': """MyConnection""",
    'interaction_properties': {
        'row_limit': 5000,
        'schema_name': '<schema>',
        'table_name': '<table>'
    }
}

flightInfo = itcfs.get_flight_info(readClient, nb_data_request=MyConnection_data_request)

data_df_1 = itcfs.read_pandas_and_concat(readClient, flightInfo, timeout=240)
data_df_1.head(10)

Você pode ler mais sobre outras funções da biblioteca em itc_utils “Usando o itc_utils com seu próprio código ”.

Saiba mais