Tre pilastri dell'osservabilità: log, metriche e tracce

Molte strutture e organi governativi si basano su tre pilastri per garantire il successo. Le pratiche di responsabilità aziendale si concentrano sulla sostenibilità ambientale, sociale e finanziaria per orientare le pratiche aziendali. 

Le aziende che desiderano intraprendere una trasformazione digitale spesso utilizzano tre pilastri: persone, processi e tecnologia per raggiungere la transizione. Questo framework incoraggia i decisori a trattenere esperti creativi e collaborativi (persone), a utilizzare pratiche strutturate e meticolose di gestione dei dati e sicurezza (processo) e ad affidarsi a strumenti e piattaforme avanzati per promuovere il progresso. 

E i tre pilastri alla base di Scrum (una serie di framework e principi che consentono una gestione agile dei progetti) sono la trasparenza, l'ispezione e l'adattabilità. In ognuno di questi casi, i pilastri sono distinti ed essenziali, ma incompleti. Ciascuno ha la sua autonomia e le sue priorità, ma il vero potere risiede nel modo in cui collabora e interagisce con gli altri per sostenere obiettivi più ampi. Lo stesso vale per l'osservabilità.

In un contesto IT, l'osservabilità utilizza tre pilastri dei dati di telemetria (cioè metriche, log e tracce) per rendere le vaste reti informatiche più facili da visualizzare e comprendere. Consente agli sviluppatori di capire lo stato interno di un sistema basandosi sui suoi output esterni. Quando una rete è osservabile, il personale IT può identificare la causa principale di qualsiasi problema di prestazioni esaminando i dati che produce, senza ulteriori test o codifica.

Le soluzioni di osservabilità utilizzano i dati di output grezzi di un sistema per completare le analisi dei dati, fornendo ai team la visibilità di rete end-to-end e gli insight attuabili di cui hanno bisogno per la risoluzione dei problemi e il debugging.

Le architetture osservabili aiutano i team di ingegneria e gli amministratori di rete a gestire la complessità delle reti informatiche moderne. E, di questi tempi, questo significa mantenere enormi reti informatiche altamente dinamiche che spesso includono configurazioni di cloud ibrido e multi-cloud e una gamma di applicazioni, microservizi e container Kubernetes cloud-native.

Gli strumenti di osservabilità, come la soluzione open source OpenTelemetry, forniscono alle aziende una visione completa e contestualizzata dello stato di salute. La visibilità full stack aiuta i team a identificare i modelli di dati anomali e i colli di bottiglia nelle prestazioni prima che abbiano ripercussioni sugli utenti finali. Come tale, l'osservabilità aiuta le aziende a ridurre al minimo il tempo di inattività della rete e a mantenere l'affidabilità del servizio in vari caso d'uso.

Tuttavia, indipendentemente dalla complessità della rete, l'osservabilità dipende dagli "eventi" del sistema e dai suoi tre pilastri principali. I pilastri consentono alle piattaforme di osservabilità di raccogliere e analizzare dati da applicazioni front-end, servizi di backend, pipeline CI/CD e pipeline di dati di streaming che operano su sistemi distribuiti.

L'osservabilità richiede una raccolta meticolosa di dati da ogni componente di una rete per determinare il "cosa", il "dove" e il "perché" degli eventi di sistema e per chiarire in che modo gli eventi potrebbero influire sulle performance dell'intera architettura. Pertanto, gli eventi sono alla base del monitoraggio e della telemetria.

Gli eventi sono occorrenze distinte su una rete che si verificano in momenti specifici e che, in genere, producono dati preziosi per i log, le metriche e le tracce, rendendoli parte integrante dell'osservabilità tanto quanto i tre pilastri. Gli eventi esistono all'interno di un contesto più ampio.

Quando, ad esempio, un cliente richiede risorse da un server aziendale, indirizza la richiesta all'endpoint API appropriato utilizzando l'URL dell'endpoint. Il server riceve la richiesta, controlla le credenziali di autenticazione (come una chiave API) e le autorizzazioni del client e, se sono valide, elabora la richiesta in base alle specifiche dell'API (ad esempio, assicurandosi che la risposta sia formattata correttamente). Il server invia quindi una risposta al client con i dati richiesti.

Gli eventi innescano azioni distinte in momenti precisi. Gli strumenti di osservabilità si affidano quindi a loro per avviare i processi di monitoraggio, analisi e correlazione che aiutano i team DevOps a visualizzare i loro ambienti IT e ottimizzare le loro reti.

Le metriche forniscono insight quantitativi sulle prestazioni del sistema misurando vari parametri di rete. Aiutano i team a capire il "cosa" dei problemi di sistema. I tipi di metriche includono:

• Metriche dell'host: utilizzo della memoria, del disco e della CPU
• Metriche delle prestazioni di rete: tempo di attività, latenza, throughput
• Metriche dell'app: tempi di risposta, richieste e tassi di errore
• Metriche del pool di server: istanze totali, numero di istanze in esecuzione
• Metriche delle dipendenze esterne: disponibilità, stato del servizio

Le metriche comuni, come l'utilizzo della memoria e la latenza, si allineano in modo intuitivo allo stato di salute. Tuttavia, molte altre metriche e indicatori chiave di prestazione (KPI) possono rivelare problemi di sistema. Ad esempio, gli handle del sistema operativo esauriti possono rallentare un sistema e spesso richiedono un riavvio per ripristinare la funzionalità.

Le metriche sono spesso aggregate per fornire una visualizzazione riassuntiva che utilizzi dashboard e altre visualizzazioni (come grafici di serie temporali) per aiutare gli sviluppatori a valutare rapidamente lo stato di salute del sistema, analizzare le tendenze dei dati e rispondere ai problemi di rete. Inoltre, informano le decisioni sulla scalabilità e l'allocazione delle risorse, rendendo le metriche essenziali per un'efficace pianificazione della capacità e per la gestione del carico.

È fondamentale che i team selezionino attentamente le metriche da monitorare e le analizzino continuamente, poiché alcune possono aiutarli ad anticipare potenziali problemi prima che si verifichino.

I team possono stabilire soglie di metriche che, in caso di violazione, attivano avvisi per notificare al personale IT problemi attuali o imminenti. Le metriche consentono inoltre agli strumenti di osservabilità di rilevare i problemi che si accumulano nel tempo, come le perdite degli handle del sistema operativo, molto prima che interrompano l'esperienza.

Tuttavia, le metriche spesso forniscono un contesto limitato, quindi generalmente devono essere correlate con registri e tracce per fornire agli sviluppatori una comprensione completa degli eventi di sistema. Le metriche ad alta risoluzione generano anche enormi quantità di dati che possono essere difficili da memorizzare e gestire in modo efficiente. Quindi, l'osservabilità richiede spesso soluzioni di storage a lungo termine di alta qualità in grado di gestire le metriche e contribuire garantire che rimangano disponibili per l'analisi.

I log sono registrazioni immutabili ed esaustive di eventi discreti che si verificano all'interno di un sistema. Aiutano i team a capire il "perché" dei problemi di sistema.

I file di log memorizzano informazioni dettagliate sul comportamento del sistema e sui processi delle applicazioni, tra cui:

• Timestamp degli eventi
• ID delle transazioni
• Indirizzi IP e ID degli utenti
• Dettagli dell'evento e del processo
• Messaggi di errore
• Tentativi di connessione
• Modifiche alla configurazione

I log degli eventi possono essere binari, non strutturati (come nel caso del testo normale) o strutturati (come nel formato JSON). Tutti i file di registro sono utili nel giusto contesto, ma gli approcci di registrazione strutturata strutturano il testo e i metadati man mano che vengono generati, rendendoli più semplici da analizzare.

Le caratteristiche della registrazione all'interno degli strumenti di osservabilità aggregano i file di registro dei sistemi operativi, dei dispositivi di rete, delle applicazioni interne e di terze parti e dei dispositivi IoT per aiutare i team di sviluppo a diagnosticare gli errori e comprendere i guasti del sistema. Quando si verifica un errore, una violazione di sicurezza o un problema di conformità, i log forniscono i dettagli necessari per rintracciare la causa principale e capire cosa è andato storto.

I log offrono informazioni preziose sugli eventi e sui problemi del sistema, ma da soli dipingono un quadro incompleto. Come nel caso delle metriche, gli strumenti di osservabilità devono analizzare e correlare i dati di registro con le metriche e le tracce per massimizzare il proprio valore. E, come le metriche, i log aumentano notevolmente il volume dei dati, quindi le aziende devono spesso investire in strumenti di log management per gestire il carico dei dati.

Inoltre, una registrazione completa degli eventi può nascondere informazioni importanti sotto dati meno pertinenti, creando "rumore" che complica l'identificazione dei problemi per il personale IT. Ecco perché le moderne soluzioni di osservabilità si basano su workflow di automazione basati su AI e apprendimento automatico (ML) per perfezionare le pratiche di avviso e distinguere tra avvisi critici e rumore.

Le tracce, che combinano alcune delle caratteristiche di metriche e log, mappano i dati tra i componenti di rete per mostrare il workflow di una richiesta. Rappresentano il percorso end-to-end di una richiesta attraverso la rete, registrando il percorso e la durata di ogni componente coinvolto nell'elaborazione della richiesta. In breve, la tracciabilità aiuta i tecnici dell'affidabilità del sito (SRE) e i team di ingegneridel software a capire il «dove» e il «come» degli eventi e dei problemi del sistema.

I dati di tracciamento possono includere:

• La durata degli eventi e delle operazioni di rete
• Il flusso di pacchetti di dati attraverso l'architettura
• L'ordine in cui le richieste attraversano i servizi di rete
• La causa principale degli errori di sistema

Il tracciamento, e in particolare il tracciamento distribuito, è utile nelle architetture di microservizi, in cui le richieste possono attraversare più servizi geograficamente dispersi prima di raggiungere la loro destinazione. Fornisce insight sulle dipendenze e sulle interazioni tra diversi componenti e servizi e può aiutare i team IT a capire quanto tempo impiegano gli utenti per completare azioni specifiche.

Le caratteristiche di tracciamento negli strumenti di osservabilità sono essenziali per le analisi di latenza, che aiutano gli ingegneri a identificare componenti problematici e servizi con prestazioni insufficienti che possono creare colli di bottiglia per gli utenti.

Facilitano i processi di debug illustrando i flussi di richiesta-risposta e le relazioni causali tra gli elementi della rete. Inoltre, durante l'analisi della causa principale, le tracce aiutano i team a individuare l'origine dei problemi di rete in workflow complessi per una risoluzione dei problemi più rapida e accurata.

A differenza delle metriche e dei log, le tracce possono fornire informazioni contestuali per aiutare ad arricchire gli insight. Tuttavia, una traccia da sola non può rivelare tendenze o pattern nei dati. La configurazione di tracce distribuite richiede anche la strumentazione tra le implementazioni dei servizi, il che può rendere il processo particolarmente lungo e complesso. E, se non viene gestito correttamente, il tracciamento (e la potenza di calcolo che richiede) può introdurre maggiore latenza nell'ambiente.

La combinazione di tutti e tre i pilastri consente ai team di sviluppo e Operazioni di ottenere una visione olistica e una comprensione granulare del comportamento del sistema complesso. Mentre le metriche vengono utilizzate per avvisare i team dei problemi, le tracce mostrano il loro percorso di esecuzione e i registri forniscono il contesto necessario per risolverli.

Insieme, aiutano ad accelerare l'identificazione e la risoluzione dei problemi, offrendo ai team strumenti complementari per affrontare i problemi, ottimizzare le prestazioni della rete e abilitare la Full Stack Observability.

Le metriche, i log e le tracce sono ampiamente noti come i pilastri principali dell'osservabilità, ma ciò non preclude l'esistenza di altri componenti. Alcuni sostengono che anche il contesto, la correlazione e gli avvisi siano pilastri dell'osservabilità.

Dopotutto, il contesto arricchisce le metriche, i log e le tracce fornendo informazioni aggiuntive sull'ambiente di rete (ad esempio topologia, ruoli dei dispositivi e dipendenze delle applicazioni). Senza contesto, i dati di osservabilità non avrebbero alcun significato fruibile.

La correlazione unisce metriche, registri, tracce e informazioni contestuali per presentare una visione coesa degli eventi su diversi livelli dello stack. E senza avvisi, gli strumenti di osservabilità non sarebbero in grado di inviare notifiche prompt in caso di problemi.

Tuttavia, la profilazione sta emergendo come un'altra caratteristica principale dell'osservabilità.

La profilazione, detta anche profilazione continua, è il processo di esecuzione di un'applicazione e di raccolta continua di dati dettagliati sullo stato dell'esecuzione del codice in momenti specifici. Per esempio, i profili possono rivelare se i thread Java si trovano in stato di RUNNING o WAIT, e, se un'applicazione ha problemi di perdita di memoria, aiutano a chiarire quale parte del codice sta consumando troppe risorse.

Pertanto, i profili fungono da radiografie del funzionamento interno dei singoli componenti del sistema.

La profilazione è utile per individuare problemi di basso livello, come quelli che interessano singole funzioni o blocchi di codice. Aiuta i team IT a identificare i percorsi di codice occupati, a individuare e deprecare quelli inutilizzati e a stabilire la priorità dei percorsi critici per eventi e interazioni futuri.

Sebbene i profili non siano uno dei tre pilastri, le funzionalità di profilazione si sono evolute in modo notevole. Progetti come l'extended Berkeley Packet Filter (eBPF) per il kernel Linux hanno semplificato lo sviluppo dei profiler, semplificando i processi di profilazione per i team di sviluppo.

I team di sviluppo possono utilizzare i profili di tracciamento, campionamento e strumentazione per ottenere visualizzazioni più approfondite e granulari del codice dell'applicazione. Inoltre, se utilizzata insieme ad altri pilastri dell'osservabilità, la profilazione può fornire insight in tempo reale sulle prestazioni delle applicazioni, accelerare il ciclo di vita dello sviluppo del software e aiutare le aziende a ottimizzare le strategie DevOps.