Cos'è Apache Avro?

Avro facilita lo scambio di big data tra programmi scritti in qualsiasi linguaggio. Con il servizio di serializzazione, i programmi possono serializzare in modo efficiente i dati in file o in messaggi. Il data storage è compatto ed efficiente. Avro memorizza sia la definizione dei dati che i dati stessi in un unico messaggio o file.

Avro memorizza la definizione dei dati in formato JSON, facilitandone la lettura e l'interpretazione, mentre i dati stessi sono memorizzati in formato binario, il che li rende compatti ed efficienti. I file Avro includono indicatori che possono essere utilizzati per suddividere set di dati di grandi dimensioni in sottoinsiemi adatti per l'elaborazione di Apache MapReduce. Alcuni servizi di scambio dati utilizzano un generatore di codici per interpretare la definizione dei dati e produrre codice per accedere ai dati. Avro non richiede questo passaggio, il che lo rende ideale per i linguaggi di scripting.

Una caratteristica fondamentale di Avro è il solido supporto per gli schemi di dati che cambiano nel tempo, spesso denominati evoluzione dello schema. Avro gestisce le modifiche allo schema, come campi mancanti, campi aggiunti e campi modificati; di conseguenza, i vecchi programmi possono leggere nuovi dati e i nuovi programmi possono leggere vecchi dati. Avro include API per Java, Python, Ruby, C, C++ e altro. I dati memorizzati tramite Avro possono essere trasmessi da programmi scritti in linguaggi diversi, perfino da un linguaggio compilato come C a un linguaggio di scripting come Apache Pig.