Uso de Google Cloud BigQuery con IBM App Connect Enterprise

Google Cloud BigQuery es una solución de almacenamiento de datos analíticos que permite a las organizaciones analizar datos entre nubes. IBM® App Connect Enterprise ofrece un nodo de solicitud Google Cloud BigQuery, que puede utilizar para conectarse a Google Cloud BigQuery y enviar solicitudes para realizar acciones sobre objetos como conjuntos de datos, trabajos, tablas y vistas.

1. En el kit de herramientas de « IBM App Connect Enterprise », crea un flujo que contenga un nodo « Google Cloud » y un nodo « BigQuery Request ».
2. Seleccione el nodo Google Cloud BigQuery Request en el flujo para mostrar las propiedades del nodo en el editor.
3. En el separador Básico , pulse Iniciar descubrimiento de conector.
   Se visualiza un panel en el que se especifica el nombre del proyecto de política y los detalles de almacenamiento que se utilizarán durante el descubrimiento del conector.
4. Especifique los detalles del proyecto de política y almacenamiento que se utilizará durante el descubrimiento del conector:
   1. En el campo Proyecto de política , especifique el proyecto de política que se utiliza para almacenar las políticas que se crean durante el descubrimiento del conector.
      De forma alternativa, puede crear un nuevo proyecto de política pulsando Nuevo y especificando el nombre del nuevo proyecto de política. A continuación, pulse Finalizar.
   2. Especifique la caja fuerte que se utilizará durante el descubrimiento del conector. De forma predeterminada, las credenciales que se utilizan durante el descubrimiento del conector se almacenan en una caja fuerte de directorio externo, que es una caja fuerte de App Connect Enterprise que puede utilizar cualquier servidor de integración. De forma alternativa, puede almacenar las credenciales en una caja fuerte del servidor de integración, que se crea en el directorio de trabajo del servidor de integración y que sólo puede utilizar ese servidor de integración específico.
      Para especificar la caja fuerte que se utilizará para almacenar las credenciales, realice los pasos de la sección Utilización del asistente Descubrimiento de conector de uno de los temas siguientes:

      • Configuración de un almacén de directorios externo
      • Configuración de un almacén del servidor de integración
   3. En el campo Clave de caja fuerte , especifique la clave de caja fuerte que se utiliza para acceder a las credenciales almacenadas en la caja fuerte. La clave de almacenamiento debe tener al menos 8 caracteres de longitud.
   4. Opcional: De forma predeterminada, la ubicación de caja fuerte especificada y la clave de caja fuerte se guardan como preferencias en el kit de herramientas para que los valores estén preestablecidos al iniciar el descubrimiento de conector. Si no desea que se guarden las preferencias, deseleccione Guardar en las preferencias de almacenamiento.
5. Pulse Iniciar descubrimiento para iniciar el asistente Descubrimiento de conector para el conector Google Cloud BigQuery .
   Se visualiza la ventana Descubrimiento de conector . Si hay disponibles conexiones (cuentas) de Google Cloud BigQuery existentes, se muestra una lista de dichas conexiones. Si no hay conexiones existentes, el estado del conector Google Cloud BigQuery se muestra como Not connected.
   • Si hay disponibles una o más conexiones (cuentas) de Google Cloud BigQuery , realice los pasos siguientes:
     1. Seleccione la conexión (cuenta) que desea utilizar, haciendo clic en ella.
     2. Pulse el tipo de objeto necesario y, a continuación, seleccione la acción que desea realizar en el objeto. Por ejemplo, para recuperar conjuntos de datos de Google Cloud Gran consulta, haga clic conjuntos de datos y luego Recuperar conjuntos de datos.
   • Si no hay conexiones (cuentas) existentes, realice los pasos siguientes:
     1. Pulse el tipo de objeto necesario y, a continuación, seleccione la acción que desea realizar en ese objeto. Por ejemplo, para recuperar conjuntos de datos de Google Cloud Gran consulta, haga clic conjuntos de datos y luego Recuperar conjuntos de datos.
     2. Pulse Conectar.
        Se visualiza una ventana en la que se especifican los detalles de conexión para la cuenta de Google Cloud BigQuery . Especifique la siguiente información:

        • ID de proyecto: Su Google Cloud BigQuery ID de proyecto.
        • ID de conjunto de datos: ID (nombre de esquema) del conjunto de datos que contiene las tablas y vistas con las que desea trabajar en el proyecto Google Cloud BigQuery . Para trabajar con tablas o vistas de otro conjunto de datos, debe crear una cuenta diferente utilizando ese ID de conjunto de datos específico.
        • Correo electrónico del cliente: También se conoce como ID de cuenta de servicio. Puede encontrar o crear este valor en la sección 'API & Services' o 'IAM & Admin' de la consola de Google Cloud . Por ejemplo, abc-222@bigqueryproject-22xxx.iam.gserviceaccount.com.
        • Clave privada: clave que se utiliza para establecer la identidad de la cuenta de servicio. Busque o cree este valor en la página Cuentas de servicio de la consola de Google Cloud . Para obtener más información, consulte https://ibm.biz/googlebigquery_privatekey.
        • Nombre del proxy : Seleccione o especifique el nombre del proxy que desea que utilice App Connect para transmitir las llamadas del conector. Este campo solo es obligatorio si las llamadas deben pasar por un proxy. Al utilizar el kit de herramientas « IBM App Connect Enterprise », el nombre del servidor proxy debe indicarse de la siguiente forma: {PolicyProjectName}:HTTPProxyPolicyName

        Para obtener más información sobre cómo acceder a estos datos de conexión o generarlos, consulte «Cómo utilizar IBM App Connect con GoogleCloudBigQuery » en la documentación sobre entrega continua (CD) de IBM App Connect in containers.

     3. Pulse Conectar.
6. Establezca las propiedades de conector necesarias en el asistente.
   Para las acciones de recuperación o actualización, puede añadir condiciones para la recuperación de los datos pulsando Añadir condición y, a continuación, seleccionando la propiedad por la que desea filtrar.

   Si añade condiciones para las acciones de recuperación o actualización, puede utilizar opcionalmente el filtrado de condiciones para refinar las condiciones que se aplican. Para utilizar el filtrado por condiciones, salga del asistente de detección de conectores haciendo clic en el botón Cerrar (X) y, a continuación, siga las instrucciones que se indican en «Uso del filtrado por condiciones ».

   Para crear acciones, puede utilizar opcionalmente la modalidad avanzada. En la vista de edición predeterminada para una acción, algunas aplicaciones tienen campos ocultos porque no son necesarios para casos de uso generales. Para casos de uso más avanzados, puede conmutar a la edición en modalidad avanzada, que proporciona prestaciones adicionales para editar flujos. Para utilizar el modo avanzado, salga del asistente de detección de conectores haciendo clic en el botón Cerrar (X) y, a continuación, siga las instrucciones que se indican en «Uso del modo avanzado ».

   También puede establecer propiedades que especifiquen el número máximo de registros que se van a recuperar y la acción que se va a realizar si se supera ese límite.

7. Cuando haya terminado de especificar las propiedades en el asistente Descubrimiento de conector, pulse Guardar.
   Las credenciales que se utilizan para conectarse a Google Cloud BigQuery se almacenan en el almacén, y el resto de datos de conexión se guardan en la política de BigQuery de GoogleCloud. Los valores de las propiedades que se configuran en el asistente se devuelven al nodo de solicitud « Google Cloud » ( BigQuery ) del kit de herramientas « IBM App Connect Enterprise ».
8. Cuando haya terminado el descubrimiento y guardado los valores de propiedad, salga del asistente Descubrimiento de conector pulsando la X en la esquina superior derecha de la ventana o pulsando Alt+F4.
9. Volver a editar el nodo « Google Cloud » ( BigQuery ) en el kit de herramientas « IBM App Connect Enterprise ».
   Las propiedades de conector que se han establecido en el asistente Descubrimiento de conector (en el paso 6) ahora están visibles en el nodo Google Cloud BigQuery Request en el editor de propiedades. La pestaña Básico muestra los valores de las propiedades Acción y Objeto que ha establecido en el asistente. Por ejemplo, si ha seleccionado «Conjuntos de datos > Recuperar conjuntos de datos» en el asistente, las siguientes propiedades aparecerán en la pestaña «Básico» del nodo:

   • Acción - RETRIEVEALL
   • Objeto - Dataset

   Los valores de las propiedades Acción y Objeto se visualizan en formato de solo lectura. Si desea cambiar estos valores, puede hacerlo pulsando de nuevo Iniciar el descubrimiento del conector y estableciendo nuevos valores en el asistente de descubrimiento de conectores.

   La propiedad Nombre base de esquema especifica el nombre base de los archivos de esquema que describen el formato de los mensajes de solicitud y respuesta que se envían y reciben desde el conector Google Cloud BigQuery . El nombre base de esquema se establece automáticamente la primera vez que ejecuta el descubrimiento para el nodo, y se basa en el nombre de flujo y el nombre de nodo actuales. Si establece esta propiedad manualmente antes de ejecutar el descubrimiento por primera vez, se utilizará el valor que establezca. Si cambia el nombre de los esquemas después del descubrimiento, debe editar esta propiedad para que coincida con el nombre base del esquema que utilizan los esquemas renombrados en el proyecto. Si cambia esta propiedad después del descubrimiento, debe renombrar los nombres de esquema para que coincidan o volver a ejecutar el descubrimiento.

   En función de la acción que se haya seleccionado durante el descubrimiento, el asistente Descubrimiento de conector genera un esquema de solicitud y un esquema de respuesta, o sólo un esquema de respuesta. Un esquema de solicitud sólo se genera si la acción y el objeto seleccionados requieren un mensaje de solicitud. El esquema de solicitud generado se utiliza para la validación del mensaje de solicitud. Si la acción era RETRIEVE o DELETE, el conector sólo devuelve el esquema de respuesta.

   Los archivos de esquema generados se añaden al proyecto y los puede utilizar un nodo Mapping para transformar datos de entrada o salida. El nombre de archivo completo del esquema se deriva del nombre base del esquema (por ejemplo, gen/MyMessageFlow.Google_Cloud_BigQuery_Request), con el sufijo response.schema.json o request.schema.json. Puede abrir el esquema pulsando Abrir esquema de solicitud o Abrir esquema de respuesta.

10. Compruebe que los valores de propiedad en el nodo Google Cloud BigQuery Request son correctos y, a continuación, guarde el flujo de mensajes.
11. En el separador Conexión del nodo Google Cloud BigQuery Solicitud , la propiedad Política muestra el nombre de la política que contiene los detalles de la identidad de seguridad que se utilizará para la conexión. La política tiene un tipo de Google Cloud BigQuery.
    Para obtener más información, consulte la política de BigQuery en GoogleCloud.
12. Opcional: Establezca la propiedad Tiempo de espera en el separador Conexión para especificar el tiempo (en segundos) que el nodo espera a que Google Cloud BigQuery procese la operación.
13. El separador Filtro del nodo Google Cloud BigQuery Solicitud contiene propiedades que controlan la forma en que el flujo de mensajes selecciona los datos. Los valores iniciales de estas propiedades se toman de los valores de propiedad que se han establecido para el conector Google Cloud BigQuery en el asistente Descubrimiento de conectores, incluidas las propiedades de opciones de filtro y las condiciones que se han especificado (tal como se describe en el paso 6). Si posteriormente vuelve al asistente Descubrimiento de conector y cambia los valores de las propiedades (añadiendo condiciones nuevas, por ejemplo), estas actualizaciones se reflejan en las propiedades establecidas en el nodo.

    Las propiedades Opciones de filtro controlan los objetos que deben utilizarse cuando se ejecuta el nodo Google Cloud BigQuery Request . Las propiedades Límite de filtro controlan el número máximo de elementos que se deben recuperar y la acción que se debe realizar si se supera el límite.

    Puede modificar los valores pulsando Editar junto al valor que desea modificar en la sección Opciones de filtro y cambiando los valores de propiedad que se han establecido en la sección Límite de filtro .

    Los valores de propiedad pueden ser valores de texto o expresiones ESQL o XPATH que se resuelven a partir del contenido del mensaje que se pasa al nodo Google Cloud BigQuery Request a medida que se ejecuta.

14. En la pestaña Solicitud , establezca la propiedad Ubicación de datos para especificar la ubicación en el árbol de mensajes de entrada que contiene los datos de objeto que se van a crear en Google Cloud BigQuery. Estos datos forman la solicitud que se envía desde el nodo Google Cloud BigQuery Solicitud a Google Cloud BigQuery.
15. En la pestaña Resultado , establezca la propiedad Ubicación de datos de salida para especificar la ubicación en el árbol de mensajes de salida que contendrá los datos del registro que se crea en Google Cloud BigQuery.
16. De forma predeterminada, los mensajes de solicitud se validan en el esquema de solicitud que se ha generado durante el descubrimiento del conector. Puede desactivar la validación de solicitud o cambiar los valores de validación utilizando las propiedades Validación del nodoGoogle Cloud BigQuery Request .
17. Guarde el flujo de mensajes.