Contenido


Carga y Streaming online de Datapower en Log Analysis (IOALA) usando Logstash

Como cargar en línea data de Datapower en IOALA (IBM Operations Analytics Log Analysis).

Comments

IOALA (IBM Operations Analytics log Analysis).

IOALA es un software que nos permite ingestar logs en línea y fuera de línea cualquier tipo de software que pueda generar algún log, con esta información ingestada se pueden representar los errores de forma gráfica para poder ver en línea las diferentes anomalías sobre una determinada plataforma (conjunto de servidores que forman parte de un servicio más grande).

A continuación, les mostramos como se puede ingestar en línea información de DataPower 7.1 utilizando IOALA 1.3.3 y como mostrar esta información en Dashboards (Default Log y Ext Latency) utilizando el método de ingesta de información:

1. Logstash

1. Resultados al final de la implementación - Dashboards:

1.1 Default Log – Dashboard

Default Logs son analizados para entender la salud del sistema de la siguiente forma:

  • Analizar información de los objetos que están produciendo mensajes de error.
  • Cantidad de información (records) por Categoría de Log (Log Category)
  • Todas las filas de una transacción.
  • Tendencia de los tipos de mensajes trends (info/debug/error).

Los Insight Packs para Datapower generan los siguientes Dashboards para un mejor entendimiento de la información.

1
1

1.2 Extended Latency Dashboards

Estos los son utilizados para encontrar issues, errores relacionados a transacciones que se dan en DataPower a continuación se detalla la información que un administrador de IOALA puede realizar:

  • Ver todos los servicios relacionados con la transacción.
  • Estimar el total de tiempo que toma una transacción.
  • Mostrar un resumen de tiempo de duración de las transacciones.
  • Observar la distribución del tiempo que tomo cada uno de los servicios en una transacción determinada
  • Buscar Hot Spots (Servicios que estan demasiado tiempo) en una transacción.
  • Generar alertas cuando el tiempo de una transacción pasa el umbral base.

Dashboard 360 de Transacciones – 15 ultimos minutos

1
1

Dashboard 360 de Transacciones – 1 ultima hora

1
1

Dashboard 360 de Transacciones – Ultimo día

1
1

2. Arquitectura de flujo de información desde DataPower a Log Analysis server

2
2

3. PRE – REQUISITOS

  • Una instalación de IOALA en distribuido de preferencia versión 1.3.3.
  • Contar con las credenciales del usuario owner de la instalación de IOALA, usuario non- root.
  • Apertura unidireccional del puerto 22 desde el servidor IOALA hacia los servidores DataPower.

4. CONFIGURACIÓN LECTURA DE LOGS ONLINE CON LOGSTASH

1.- Con el usuario non-root ir a la ruta install_IOALA/IBM/LogAnalysis/remote_install_tool/

2
2

2.- Ejecutar el comando ./install.sh

3.- Ingresar los siguientes valores para iniciar la configuración del Logstash:

- Enter remote hostname or IP: localhost

- Enter username: usuario con privilegios al app IOALA.

- Enter password: password del user.

2
2

4.- Ingresar el directorio donde se desea instalar logstash:

2
2

5.- En la opción de despliegue colocar “N” en los dos primeros subsistemas, la tercera opción (logstash 2.2.1) colocar “Y”:

2
2

6.- Al finalizar se visualizará el ID del proceso logstash ejecutandose:

2
2

7.- Una vez instalado se realiza la configuración de los INPUT – FILTER – OUTPUT (secciones) en el archivo de configuración “logstash_scala.conf”, ubicado en la ruta:

/home/ioala/remoteInstall/Logstash/logstash-2.2.1/logstash-scala/logstash/config

8.- En este ejemplo se visualiza la configuración de 6 appliance Datapower:

2
2
2
2
2
2

9.- Luego de la configuración realizar el reinicio del servicio Logstash en la siguiente ruta y bajo el siguiente comando:

install_IOALA/ioala/remoteInstall/utilities

2
2

10.- Para confirmar que el reinicio se realizó de manera correcta, ejecutar el siguiente comando para constatar el estado del proceso:

2
2

11.- Una vez realizada la configuración en el servidor IOALA, se debe de realizar la configuración del Log_Target en los appliance DataPower y al final presionar el botón “Apply”:

Nota: Este proceso es repetitivo por cada Datapower que se desea ingestar en IOALA sus logs.

2
2

*Se recomienda ingresar los siguientes valores como subscripción de eventos:

2
2

12.- Luego presionas “Save Configuration” para que tome la configuración creada:

2
2

13.- Ingresamos a la consola del IOALA (IBM Operations Analytics Log Analysis):

2
2

14.- Vamos a la opción “Administrative Settings”:

2

15.- Creamos un nuevo Data Source:

2

16.- Escogemos la opción “Custom” e ingresamos la IP del host DataPower que se está configurando:

2
2

17.- En la opción de “Select Data” ingresar el nombre del “File path” y “Type” del insigh DataPower:

2
2

18.- En el campo “Set Attributes” registrar el nombre del DataSource y presionar el botón “Finish”:

2
2

19.- Una vez finalizado debe de aparecerte el siguiente mensaje:

2
2

20.- Vamos a la consola Log Analysis y realizamos una nueva búsqueda del datasource creado:

2
2

21.- Finalmente aparecerá toda la información brindada por el appliance DataPower:

2
2

22.- Con la información cargada ya se pueden elaborar los dashboards que se necesiten.

5. Referencias


Recursos para Descargar


Comentarios

Inicie Sesión o Regístrese para agregar comentarios.

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=90
Zone=Cloud computing
ArticleID=1048565
ArticleTitle=Carga y Streaming online de Datapower en Log Analysis (IOALA) usando Logstash
publish-date=08092017