Solicitações de dados de voo

Sintaxe e propriedades da solicitação de dados

Para saber quais propriedades de interação são suportadas por cada conector, consulte a API Data and AI Common Core. Você também pode chamar o v2/datasources_types endpoint para acessar os tipos de fonte de dados definidos na lista da API Data and AI Common Core.

Uma solicitação de dados tem a seguinte estrutura. Na prática, as solicitações de dados geralmente não incluem todas as propriedades listadas e podem utilizar outras propriedades de interação específicas de uma determinada fonte de dados.

Exemplo de uma solicitação para /v2/datasource_types:

curl --request GET --url 'https://<host:port>/v2/datasource_types?connection_properties=true&interaction_properties=true' --header 'Accept: application/json' --header 'Authorization: Bearer ${TOKEN}'

Exemplo de uma solicitação para /v2/connections:

curl --request GET --url 'https://<host:port>/v2/connections?entity.name=<your_connection_name>' --header 'Accept: application/json' --header 'Authorization: Bearer ${TOKEN}'

Sintaxe do objeto de solicitação de dados

A seguinte solicitação de dados mostra a sintaxe na notação d Python. A descrição também se aplica a R.

data_request = {

    # The Flight Service expects assets to be identified by their GUID.
    # "asset_id" is the ID of connected data asset or a connection asset.
    "asset_id": "ASSET_GUID",
    "project_id|space_id|catalog_id": "GUID",

    # itc_utils.flight_service adds support for using asset names
    # use either one of ...
    "data_name" : "name of a plain data asset",
    "connection_name" : "name of a connection asset",
    "connected_data_name" : "name of a 'connected data' asset",
    # by default the assets will be looked up in the current project
    # itc_utils will set "asset_id" from the provided name.

    # "asset_id" and "connection_properties" are mutually exclusive
    "connection_properties": { # optional
        # not needed in most cases
    },

    "interaction_properties": {
        # commonly used properties, all optional
        "file_name" : "file in a connected data source",
        "schema_name" : "schema of a table in a connected database",
        "table_name" : "name of a table in a connected database",
        "row_limit" : NROWS,
        "infer_schema" : false|true,
        "invalid_data_handling" : "fail|row|column",
        ...
    },
    "fields": [...] # optional
    "num_partitions": N, # optional
    "batch_size": NROWS, # optional
    "commit_frequency" : NROWS # optional

}

Propriedades, valores e descrições suportados

Propriedade fields

A fields propriedade enumera os campos, também conhecidos como colunas, a serem selecionados de uma fonte de dados. Ao ler um arquivo de formato " CSV " ou delimitado, esta lista de campos define os nomes e os tipos dos campos contidos no arquivo. A disposição dos valores no arquivo deve corresponder exatamente à lista de campos. Cada campo deve especificar tanto o nome quanto o tipo de dados.

Os valores permitidos para o type atributo em fields são (os nomes não diferenciam maiúsculas de minúsculas): ARRAY, BIGINT, BINARY, BIT, BLOB, BOOLEAN, CHAR, CLOB, DATALINK, DATE, DECIMAL, DISTINCT, DOUBLE, FLOAT, INTEGER, JAVA_OBJECT, LONGNVARCHAR, LONGVARBINARY, LONGVARCHAR, NCHAR, NCLOB, NULL, NUMERIC, NVARCHAR, OTHER, REAL, REF, REF_CURSOR, ROWID, SMALLINT, SQLXML, STRUCT, TIME, TIME_WITH_TIMEZONE, TIMESTAMP, TIMESTAMP_WITH_TIMEZONE, TINYINT, VARBINARY, VARCHAR, VECTOR
Os valores para o type atributo em fields são os nomes usados pelo Flight service Quando os dados são lidos, esses tipos são mapeados para os tipos de dados utilizados no Arrow Flight de código aberto. Para obter mais informações, consulte Tipos de dados e Modelo de dados em memória. Por exemplo, TINYINT é mapeado para int8() e BIGINT para int64().

No entanto, com algumas fontes de dados, por exemplo, ao ler um arquivo Parquet ou uma tabela em um banco de dados SQL externo, a lista de campos pode especificar um subconjunto das colunas a serem lidas da fonte.

Flight service não vai ler outras colunas. Por padrão, todas as colunas da tabela seriam recuperadas. Cada campo deve especificar tanto o nome quanto o tipo de dados. O tipo pode substituir o tipo da coluna na tabela externa. Por exemplo, uma coluna armazenada como VARCHAR(10) pode ser mapeada para bigint no Flight. Essa fields propriedade não é utilizada ao gravar em um banco de dados; em vez disso, o ` Flight service ` utiliza o esquema fornecido em do_put(...). O exemplo a seguir mostra como usar a fields propriedade na notação d Python. No entanto, a descrição também se aplica a R.

```json {: .codeblock}
    "fields": [{"name":"a","type":{"type":"bigint"}},
           {"name":"b","type":{"type":"varchar"}}
          ]
```

: O valor do atributo `type` é outro dicionário que contém outro atributo `type`.

Se a fields propriedade for fornecida na solicitação de dados, ela infer_schema será implicitamente definida como false, pois a fields propriedade já define os tipos de dados.

:

Se você usa o pandas DataFrames e deseja verificar a correspondência entre os tipos de dados no Flight e no pandas, consulte Diferenças entre tipos.

A fields propriedade especifica o nome e o tipo de dados de uma coluna, além de outros detalhes. O exemplo a seguir mostra a estrutura do fields modelo na notação d Python. No entanto, a descrição também se aplica a R.

{
    "name": "fieldname",
    "type": {
        "type": "typename",
        "length": L ,     # integer, depends on type
        "scale": S,       # integer depends on type, only numeric and decimal
        "signed": true or false   # for numeric types
    }
}

A combinação de length e scale define a precisão e a escala de um tipo de dados numérico ou decimal.

A propriedade signed influencia o tipo e o intervalo de valores considerados válidos.

• {"type":"TINYINT","signed":true} é mapeado para o tipo int8() em Flight. Os valores válidos são -128 <= signed tinyint <= 127.

• {"type":"TINYINT","signed":False} é mapeado para o tipo uint8() em Flight. Os valores válidos são 0 <= unsigned tinyint <= 255. |

Saiba mais

• Exemplos de solicitações de dados do ` Flight service ` com o ` Python `
• Exemplos de consultas de dados do ` Flight service ` com o R