Richieste di dati di volo

Sintassi e proprietà delle richieste di dati

Per scoprire quali proprietà di interazione sono supportate da ciascun connettore, consultare l'API Data and AI Common Core. È inoltre possibile richiamare v2/datasources_types l'endpoint per i tipi di origine dati definiti nell'elenco delle API comuni per dati e IA.

Una richiesta di dati ha la seguente struttura. Le richieste di dati effettive, in genere, non includono tutte le proprietà elencate e potrebbero utilizzare altre proprietà di interazione specifiche di una determinata fonte di dati.

Esempio di richiesta a /v2/datasource_types:

curl --request GET --url 'https://<host:port>/v2/datasource_types?connection_properties=true&interaction_properties=true' --header 'Accept: application/json' --header 'Authorization: Bearer ${TOKEN}'

Esempio di richiesta a /v2/connections:

curl --request GET --url 'https://<host:port>/v2/connections?entity.name=<your_connection_name>' --header 'Accept: application/json' --header 'Authorization: Bearer ${TOKEN}'

Sintassi dell'oggetto di richiesta dati

La seguente richiesta di dati mostra la sintassi nella notazi Python. La descrizione vale anche per R.

data_request = {

    # The Flight Service expects assets to be identified by their GUID.
    # "asset_id" is the ID of connected data asset or a connection asset.
    "asset_id": "ASSET_GUID",
    "project_id|space_id|catalog_id": "GUID",

    # itc_utils.flight_service adds support for using asset names
    # use either one of ...
    "data_name" : "name of a plain data asset",
    "connection_name" : "name of a connection asset",
    "connected_data_name" : "name of a 'connected data' asset",
    # by default the assets will be looked up in the current project
    # itc_utils will set "asset_id" from the provided name.

    # "asset_id" and "connection_properties" are mutually exclusive
    "connection_properties": { # optional
        # not needed in most cases
    },

    "interaction_properties": {
        # commonly used properties, all optional
        "file_name" : "file in a connected data source",
        "schema_name" : "schema of a table in a connected database",
        "table_name" : "name of a table in a connected database",
        "row_limit" : NROWS,
        "infer_schema" : false|true,
        "invalid_data_handling" : "fail|row|column",
        ...
    },
    "fields": [...] # optional
    "num_partitions": N, # optional
    "batch_size": NROWS, # optional
    "commit_frequency" : NROWS # optional

}

Proprietà, valori e descrizioni supportati

fields Proprietà

La fields proprietà elenca i campi, detti anche colonne, da selezionare da un'origine dati. Quando si legge da un file in formato « CSV » o delimitato, questo elenco di campi definisce i nomi e i tipi dei campi presenti nel file. La disposizione dei valori nel file deve corrispondere esattamente all'elenco dei campi. Ogni campo deve specificare sia il nome che il tipo di dati.

I valori supportati per type l'attributo in fields sono (i nomi non distinguono tra maiuscole e minuscole): ARRAY, BIGINT, BINARY, BIT, BLOB, BOOLEAN, CHAR, CLOB, DATALINK, DATE, DECIMAL, DISTINCT, DOUBLE, FLOAT, INTEGER, JAVA_OBJECT, LONGNVARCHAR, LONGVARBINARY, LONGVARCHAR, NCHAR, NCLOB, NULL, NUMERIC, NVARCHAR, OTHER, REAL, REF, REF_CURSOR, ROWID, SMALLINT, SQLXML, STRUCT, TIME, TIME_WITH_TIMEZONE, TIMESTAMP, TIMESTAMP_WITH_TIMEZONE, TINYINT, VARBINARY, VARCHAR, VECTOR
I valori type dell'attributo in fields sono i nomi utilizzati dall' Flight service e. Quando i dati vengono letti, questi tipi vengono mappati ai tipi di dati utilizzati nell' Arrow Flight open source. Per ulteriori informazioni, consultare la sezione "Tipi di dati e modello di dati in memoria". Ad esempio, TINYINT viene mappato su int8() e BIGINT su int64().

Tuttavia, con alcune origini dati, ad esempio quando si legge da un file Parquet o da una tabella in un database SQL esterno, l'elenco dei campi può specificare un sottoinsieme delle colonne da leggere dall'origine.

Flight service non leggerà le altre rubriche. Per impostazione predefinita, verrebbero recuperate tutte le colonne della tabella. Ogni campo deve specificare sia il nome che il tipo di dati. Il tipo può sovrascrivere il tipo della colonna nella tabella esterna. Ad esempio, una colonna memorizzata come VARCHAR(10) può essere mappata su bigint in Flight. Questa fields proprietà non viene utilizzata durante la scrittura nel database; al suo posto, Flight service utilizza lo schema fornito in do_put(...). L'esempio seguente mostra come utilizzare la fields proprietà nella notazione Python. Tuttavia, la descrizione vale anche per R.

```json {: .codeblock}
    "fields": [{"name":"a","type":{"type":"bigint"}},
           {"name":"b","type":{"type":"varchar"}}
          ]
```

: Il valore dell'attributo «type» è un altro dizionario contenente un altro attributo «type».

Se la fields proprietà è specificata nella richiesta di dati, la infer_schema proprietà viene implicitamente impostata su false poiché la fields proprietà definisce già i tipi di dati.

:

Se utilizzi pandas DataFrames e desideri verificare la corrispondenza tra i tipi di dati in Flight e pandas, consulta la sezione "Differenze tra i tipi".

La fields proprietà specifica il nome e il tipo di dati di una colonna, oltre ad altri dettagli. L'esempio seguente mostra la struttura del fields modello nella notazione Python. Tuttavia, la descrizione vale anche per R.

{
    "name": "fieldname",
    "type": {
        "type": "typename",
        "length": L ,     # integer, depends on type
        "scale": S,       # integer depends on type, only numeric and decimal
        "signed": true or false   # for numeric types
    }
}

La combinazione di length e scale definisce la precisione e la scala di un tipo di dati numerico o decimale.

La proprietà signed influisce sul tipo e sull'intervallo dei valori considerati validi.

• {"type":"TINYINT","signed":true} è mappato al tipo int8() in Flight. I valori validi sono -128 <= signed tinyint <= 127.

• {"type":"TINYINT","signed":False} è mappato al tipo uint8() in Flight. I valori validi sono 0 <= unsigned tinyint <= 255. |

Ulteriori informazioni

• Esempi di richieste di dati " Flight service " con " Python "
• Esempi di richieste di dati dall' Flight service e con R