Demandes de données de vol

Syntaxe et propriétés des requêtes de données

Pour savoir quelles propriétés d'interaction sont prises en charge par chaque connecteur, consultez l'API Data and AI Common Core. Vous pouvez également appeler le v2/datasources_types point de terminaison correspondant aux types de sources de données définis dans la liste des API Data and AI Common Core.

Une requête de données présente la structure suivante. En pratique, les requêtes de données ne contiennent généralement pas toutes les propriétés répertoriées et peuvent utiliser d'autres propriétés d'interaction spécifiques à une source de données donnée.

Exemple de demande adressée à /v2/datasource_types:

curl --request GET --url 'https://<host:port>/v2/datasource_types?connection_properties=true&interaction_properties=true' --header 'Accept: application/json' --header 'Authorization: Bearer ${TOKEN}'

Exemple de demande adressée à /v2/connections:

curl --request GET --url 'https://<host:port>/v2/connections?entity.name=<your_connection_name>' --header 'Accept: application/json' --header 'Authorization: Bearer ${TOKEN}'

Syntaxe de l'objet de requête de données

La requête de données suivante présente la syntaxe en notation « Python ». Cette description s'applique également à R.

data_request = {

    # The Flight Service expects assets to be identified by their GUID.
    # "asset_id" is the ID of connected data asset or a connection asset.
    "asset_id": "ASSET_GUID",
    "project_id|space_id|catalog_id": "GUID",

    # itc_utils.flight_service adds support for using asset names
    # use either one of ...
    "data_name" : "name of a plain data asset",
    "connection_name" : "name of a connection asset",
    "connected_data_name" : "name of a 'connected data' asset",
    # by default the assets will be looked up in the current project
    # itc_utils will set "asset_id" from the provided name.

    # "asset_id" and "connection_properties" are mutually exclusive
    "connection_properties": { # optional
        # not needed in most cases
    },

    "interaction_properties": {
        # commonly used properties, all optional
        "file_name" : "file in a connected data source",
        "schema_name" : "schema of a table in a connected database",
        "table_name" : "name of a table in a connected database",
        "row_limit" : NROWS,
        "infer_schema" : false|true,
        "invalid_data_handling" : "fail|row|column",
        ...
    },
    "fields": [...] # optional
    "num_partitions": N, # optional
    "batch_size": NROWS, # optional
    "commit_frequency" : NROWS # optional

}

Propriétés, valeurs et descriptions prises en charge

fields Propriété

Cette fields propriété répertorie les champs, également appelés colonnes, à sélectionner dans une source de données. Lors de la lecture d'un fichier au format « CSV » ou d'un fichier délimité, cette liste de champs définit les noms et les types des champs contenus dans le fichier. La disposition des valeurs dans le fichier doit correspondre exactement à la liste des champs. Chaque champ doit indiquer à la fois son nom et son type de données.

Les valeurs prises en charge pour type l'attribut dans fields sont les suivantes (les noms ne sont pas sensibles à la casse) : ARRAY, BIGINT, BINARY, BIT, BLOB, BOOLEAN, CHAR, CLOB, DATALINK, DATE, DECIMAL, DISTINCT, DOUBLE, FLOAT, INTEGER, JAVA_OBJECT, LONGNVARCHAR, LONGVARBINARY, LONGVARCHAR, NCHAR, NCLOB, NULL, NUMERIC, NVARCHAR, OTHER, REAL, REF, REF_CURSOR, ROWID, SMALLINT, SQLXML, STRUCT, TIME, TIME_WITH_TIMEZONE, TIMESTAMP, TIMESTAMP_WITH_TIMEZONE, TINYINT, VARBINARY, VARCHAR, VECTOR
Les valeurs de type l'attribut dans fields sont les noms utilisés par l' Flight service Lors de la lecture des données, ces types sont convertis en types de données utilisés dans l' Arrow Flight open source. Pour plus d'informations, consultez les sections « Types de données » et « Modèle de données en mémoire ». Par exemple, TINYINT est mappé sur int8() et BIGINT sur int64().

Cependant, avec certaines sources de données, par exemple lors de la lecture d'un fichier Parquet ou d'une table dans une base de données SQL externe, la liste des champs peut spécifier un sous-ensemble des colonnes à lire à partir de la source.

Flight service ne lira pas les autres chroniques. Par défaut, toutes les colonnes du tableau seraient récupérées. Chaque champ doit indiquer à la fois son nom et son type de données. Le type peut remplacer celui de la colonne dans la table externe. Par exemple, une colonne enregistrée sous la forme VARCHAR(10) peut être mappée à bigint dans Flight. Cette fields propriété n'est pas utilisée lors de l'écriture dans une base de données; à la place, Flight service utilise le schéma fourni dans do_put(...). L'exemple suivant montre comment utiliser la fields propriété en notation Python. Cependant, cette description s'applique également à R.

```json {: .codeblock}
    "fields": [{"name":"a","type":{"type":"bigint"}},
           {"name":"b","type":{"type":"varchar"}}
          ]
```

: La valeur de l'attribut « type » est un autre dictionnaire comportant un autre attribut « type ».

Si la fields propriété est fournie dans la requête de données, elle infer_schema est implicitement définie sur « false », car la fields propriété définit déjà les types de données.

:

Si vous utilisez pandas DataFrames et que vous souhaitez vérifier la correspondance entre les types de données dans Flight et pandas, consultez la section « Différences entre les types ».

Cette fields propriété indique le nom et le type de données d'une colonne, ainsi que d'autres détails. L'exemple suivant illustre la structure du fields modèle en notation Python. Cependant, cette description s'applique également à R.

{
    "name": "fieldname",
    "type": {
        "type": "typename",
        "length": L ,     # integer, depends on type
        "scale": S,       # integer depends on type, only numeric and decimal
        "signed": true or false   # for numeric types
    }
}

La combinaison de length et scale définit la précision et l'échelle d'un type de données numérique ou décimal.

Cette propriété signed détermine le type et l'étendue des valeurs considérées comme valides.

• {"type":"TINYINT","signed":true} est mappé au type int8() dans Flight. Les valeurs valides sont -128 <= signed tinyint <= 127.

• {"type":"TINYINT","signed":False} est mappé au type uint8() dans Flight. Les valeurs valides sont 0 <= unsigned tinyint <= 255. |

En savoir plus

• Exemples de requêtes de données « Flight service » avec « Python »
• Exemples de requêtes de données « Flight service » avec R