Integración con watsonx.data en Cloud Pak for Data ( Analytics Engine powered by Apache Spark )

Puedes integrar Analytics Engine powered by Apache Spark con watsonx.data en Cloud Pak for Data.

Antes de empezar

Antes de poder configurar una instancia de Analytics Engine powered by Apache Spark para watsonx.data, debes:

Configuración de una instancia de « Analytics Engine powered by Apache Spark » para « watsonx.data »

Para configurar una instancia de Analytics Engine powered by Apache Spark para watsonx.data

  1. Configura tu instancia de « Analytics Engine powered by Apache Spark » con tu instancia de « watsonx.data »:

    1. Genera un token de acceso para establecer la configuración predeterminada de la instancia de Analytics Engine powered by Apache Spark. Consulte Generación de una señal de autorización de API.

    2. Ejecute la API para establecer la configuración predeterminada de la instancia:

      curl -X PATCH --location --header "Authorization: ZenApiKey ${TOKEN}" --header "Accept: application/json" --header "Content-Type: application/merge-patch+json" --data '{
<CONFIGURATION_DETAILS>
}' "<https://<CloudPakforData_URL>/v4/analytics_engines/<INSTANCE_ID>/default_configs"

  2. CONFIGURATION_DETAILS: Copie los siguientes detalles de configuración y sustituya los valores siguientes:

    • <hms-thrift-endpoint-from-watsonx.data>: obtenga el punto final HMS de la instancia de watsonx.data .
    • <hms-user-from-watsonx.data>: Nombre de usuario para el clúster de Cloud Pak for Data. IBM Cloud Pak for Data es el nombre de usuario del usuario con el rol de administrador de Metastore. Para obtener más información, consulte «Gestión del acceso al Metastore de Hive ».
    • <hms-password-from-watsonx.data>: Cloud Pak for Data contraseña de administrador del clúster o contraseña de administrador del metastore. Con ibmlhapikey_, debes utilizar una clave API de instancia. Para obtener más información, consulta «Generación de claves API para la autenticación ». 
    {
"spark.sql.catalogImplementation": "hive",
"spark.driver.extraClassPath": "/opt/ibm/connectors/iceberg-lakehouse/iceberg-3.3.2-1.2.1-hms-4.0.0-shaded.jar",
"spark.sql.extensions": "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions",
"spark.sql.iceberg.vectorization.enabled": "false",
"spark.sql.catalog.lakehouse": "org.apache.iceberg.spark.SparkCatalog",
"spark.sql.catalog.lakehouse.type": "hive",
"spark.sql.catalog.lakehouse.uri": "thrift://<hms-thrift-endpoint-from-watsonx.data>",
"spark.hive.metastore.client.auth.mode": "PLAIN",
"spark.hive.metastore.client.plain.username": "<hms-user-from-watsonx.data>", #(for example, admin or metastoreadmin)
"spark.hive.metastore.client.plain.password": "<hms-password-from-watsonx.data>",
"spark.hive.metastore.use.SSL": "true",
"spark.hive.metastore.truststore.type": "JKS",
"spark.hive.metastore.truststore.path" : "file:///opt/ibm/jdk/lib/security/cacerts"
"spark.hive.metastore.truststore.password" : "changeit"
}

Más información