Tutorial de integración de datos: Observar datos

Modificar el valor en el WHERE clause puede dar lugar a que se genere un número incorrecto de filas en el archivo de destino. Este problema podría pasar desapercibido hasta mucho más adelante en el proceso, lo que podría dar lugar a la propagación de datos inexactos en fases posteriores. Para asegurarse de que el problema se detecte en una fase temprana del proceso, puede configurar una alerta de métricas del sistema. Con esta alerta, puede observar si hay alguna discrepancia en la operación especificada entre las ejecuciones de los trabajos. Antes de la modificación de la etapa del código de estado del filtro, el número de rows written era 41. Es nuestro valor de referencia. Queremos que la alerta se active cuando el número de rows written sea inferior o superior al 30 % del valor de referencia. Siga estos pasos para crear una alerta de métrica del sistema para el trabajo « DataStage » (Comprobación de la integridad de los archivos de sistema):

1. En el menú de navegación, selecciona «Datos» > « Data Observability ». Haz clic en «Copiar al portapapeles» para copiarlo.

2. Ve a la Data Observability página y haz clic en Nueva alerta.

3. Especifique su tipo: Métrica del sistema y haga clic en Siguiente.

4. Para seleccionar el trabajo de « DataStage » (Comprobación de la integridad de los activos) para el que desea crear la alerta, haga clic en «Select assets» (Seleccionar activos).

5. Seleccione el espacio de trabajo en el que se creó el trabajo (en este tutorial, el nombre del espacio de trabajo es « Data Observability tutorial », aunque es posible que su trabajo tenga un nombre diferente).

6. Seleccione el trabajo (en este tutorial, el nombre del trabajo es «Data Integration.DataStage », aunque es posible que el suyo tenga un nombre diferente).

7. Haga clic en Añadir activos.

8. En la sección Métrica, seleccione la métrica que desea observar. Para este escenario: Lookup_1 > Link_10 > Sequential_file_1 (Filas escritas)

9. Pulse Siguiente.

10. Configure la condición. Debe decidir el tipo de umbral: valor fijo o desviación porcentual. Si selecciona un valor fijo, la alerta se activa cuando hay una discrepancia entre la métrica seleccionada en el conjunto de datos entre las ejecuciones. En cuanto a la desviación porcentual, el sistema permite cierta discrepancia en las métricas (definida por el usuario). La alerta se activa si el valor de la métrica es superior o inferior al valor de desviación porcentual definido. Para este escenario:

    1. Seleccione Desviación porcentual.

    2. Establezca el valor de referencia en 41 (el número de filas de nuestro conjunto de datos de origen).

    3. Establezca la desviación porcentual en 30, que es un rango aceptable para este caso de uso.

Cuando se establecen estos valores, el gráfico muestra el rango de valores aceptables para los que no se activará la alerta. En este caso, la alerta no se activará para valores superiores a 54 o inferiores a 28. Los valores proporcionados son el resultado del siguiente cálculo: 30 % de 41 = 12,3 41-12,3 = 28,7 41+12,3 = 53,3 Cualquier valor inferior a 28 o superior a 54 activa una alerta.

1. Opcional : también puede seleccionar el número de ejecuciones para las que desea ver la tendencia de la tarea.

2. Pulse Siguiente.

3. Configure otros detalles, tales como:

   1. Gravedad, que se establece solo con fines informativos.
   2. Nombre, que debe ser único.
   3. Opcional : Descripción.

4. Pulse Siguiente

Como no hemos creado ningún receptor de alertas en este tutorial, haga clic en Crear para crear la alerta. Su alerta está lista. La próxima vez que ejecute su trabajo en DataStage,, se activará.

Puede configurar un receptor de alertas. Como resultado, ya no es necesario iniciar sesión para comprobar las alertas, ya que el sistema envía cada alerta activada directamente a la herramienta que usted elija. En Data Observability, siga estos pasos para crear un receptor de alertas de Slack :

1. Haga clic en Nuevo receptor de alertas.

2. Selecciona Slack y haz clic en Siguiente.

3. Proporcione toda la información requerida:

   1. Pega el webhook de Slack URL que has obtenido de la interfaz de usuario de Slack.

   2. El nombre del canal y de la conversación de Slack se proporcionan únicamente con fines informativos. Puede proporcionarlos con o sin #.

   3. Cuando completes los datos necesarios, la conexión del webhook de Slack se activará. Pulse el botón. Si la conexión se establece correctamente, se envía un mensaje al canal o conversación de Slack proporcionado.

   4. Pulse Siguiente.

4. Seleccione la alerta que creó en la Tarea 1 para asignar el receptor de la alerta.

5. Pulse Crear.

Se crea el receptor de alertas.

Vuelva a su lienzo DataStage y ejecute el trabajo.

El sistema ejecuta la tarea « DataStage ». Recibirás al instante un mensaje en Slack con la alerta activada. Siga estos pasos para investigar la alerta:

1. Vaya a la pestaña Alertas activadas en la página Data Observability. Ya se muestra la alerta. Dado que un número diferente de rows written no constituye un error, el sistema no muestra ningún mensaje de error ni registros de errores.

2. Opcional : Para informar a otros usuarios de que se está trabajando en la alerta, seleccione la alerta y haga clic en Reconocer.

3. Haga clic en Detalles de ejecución del trabajo para acceder a los registros del trabajo, las métricas de ejecución y los parámetros.

4. En la sección Detalles de la ejecución, haga clic en el flujo asociado para mostrar el flujo del trabajo. El número de filas para el enlace 10 (entre la etapa de búsqueda 1 y la etapa secuencial 1) es igual a 9, lo que está por debajo del porcentaje de desviación permitido.

5. En el flujo, busca la etapa «Código de estado del filtro» y haz doble clic en ella.

6. Pulse Editar.

7. Cambiar la cláusula «Where» = CO por la cláusula «Where» = CA.

8. Pulse Aplicar y volver.

9. Pulse Guardar.

10. Compile y ejecute el trabajo.

1. Vuelve a la pestaña Alertas activadas y cambia el estado de la alerta a Resuelta.