Integração com o watsonx.data em Cloud Pak for Data ( Analytics Engine powered by Apache Spark )

Você pode integrar o Analytics Engine powered by Apache Spark com o watsonx.data no site Cloud Pak for Data.

Antes de iniciar

Antes de configurar uma instância do ` Analytics Engine powered by Apache Spark ` para o ` watsonx.data `, é necessário:

Configurando uma instância do ` Analytics Engine powered by Apache Spark ` para o ` watsonx.data `

Para configurar uma instância do Analytics Engine powered by Apache Spark para o watsonx.data

  1. Configure sua instância do ` Analytics Engine powered by Apache Spark ` com sua instância do ` watsonx.data `:

    1. Gere um token de acesso para definir a configuração padrão da instância do Analytics Engine powered by Apache Spark. Consulte Gerando um token de autorização da API.

    2. Execute a API para definir a configuração padrão da instância:

      curl -X PATCH --location --header "Authorization: ZenApiKey ${TOKEN}" --header "Accept: application/json" --header "Content-Type: application/merge-patch+json" --data '{
<CONFIGURATION_DETAILS>
}' "<https://<CloudPakforData_URL>/v4/analytics_engines/<INSTANCE_ID>/default_configs"

  2. CONFIGURATION_DETAILS: Copie os seguintes detalhes de configuração e substitua os seguintes valores:

    • <hms-thrift-endpoint-from-watsonx.data>: Obtenha o terminal HMS da instância watsonx.data .
    • <hms-user-from-watsonx.data>: Nome de usuário para o cluster Cloud Pak for Data. Para ` IBM Cloud Pak for Data `, o nome de usuário do usuário com a função de administrador do Metastore. Para obter mais informações, consulte “Gerenciamento do acesso ao Metastore do Hive ”.
    • <hms-password-from-watsonx.data>: Senha de administrador do cluster do Cloud Pak for Data ou senha de administrador do metastore. Com ibmlhapikey_, você deve usar a chave de API da instância. Para obter mais informações, consulte Geração de chaves de API para autenticação. 
    {
"spark.sql.catalogImplementation": "hive",
"spark.driver.extraClassPath": "/opt/ibm/connectors/iceberg-lakehouse/iceberg-3.3.2-1.2.1-hms-4.0.0-shaded.jar",
"spark.sql.extensions": "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions",
"spark.sql.iceberg.vectorization.enabled": "false",
"spark.sql.catalog.lakehouse": "org.apache.iceberg.spark.SparkCatalog",
"spark.sql.catalog.lakehouse.type": "hive",
"spark.sql.catalog.lakehouse.uri": "thrift://<hms-thrift-endpoint-from-watsonx.data>",
"spark.hive.metastore.client.auth.mode": "PLAIN",
"spark.hive.metastore.client.plain.username": "<hms-user-from-watsonx.data>", #(for example, admin or metastoreadmin)
"spark.hive.metastore.client.plain.password": "<hms-password-from-watsonx.data>",
"spark.hive.metastore.use.SSL": "true",
"spark.hive.metastore.truststore.type": "JKS",
"spark.hive.metastore.truststore.path" : "file:///opt/ibm/jdk/lib/security/cacerts"
"spark.hive.metastore.truststore.password" : "changeit"
}

Saiba mais