Avro è un progetto open source che fornisce servizi di serializzazione e scambio di dati per Apache Hadoop. Questi servizi possono essere utilizzati insieme o in modo indipendente.
Avro facilita lo scambio di big data tra programmi scritti in qualsiasi linguaggio. Con il servizio di serializzazione, i programmi possono serializzare in modo efficiente i dati in file o in messaggi. Il data storage è compatto ed efficiente. Avro memorizza sia la definizione dei dati che i dati stessi in un unico messaggio o file.
Avro memorizza la definizione dei dati in formato JSON, facilitandone la lettura e l'interpretazione, mentre i dati stessi sono memorizzati in formato binario, il che li rende compatti ed efficienti. I file Avro includono indicatori che possono essere utilizzati per suddividere set di dati di grandi dimensioni in sottoinsiemi adatti per l'elaborazione di Apache MapReduce. Alcuni servizi di scambio dati utilizzano un generatore di codici per interpretare la definizione dei dati e produrre codice per accedere ai dati. Avro non richiede questo passaggio, il che lo rende ideale per i linguaggi di scripting.
Una caratteristica fondamentale di Avro è il solido supporto per gli schemi di dati che cambiano nel tempo, spesso denominati evoluzione dello schema. Avro gestisce le modifiche allo schema, come campi mancanti, campi aggiunti e campi modificati; di conseguenza, i vecchi programmi possono leggere nuovi dati e i nuovi programmi possono leggere vecchi dati. Avro include API per Java, Python, Ruby, C, C++ e altro. I dati memorizzati tramite Avro possono essere trasmessi da programmi scritti in linguaggi diversi, perfino da un linguaggio compilato come C a un linguaggio di scripting come Apache Pig.
Attiva i dati per l'AI e l'analytics con una catalogazione intelligente e una gestione delle policy. IBM Knowledge Catalog è un software di governance dei dati che fornisce un catalogo di dati per automatizzare la gestione della qualità dei dati, la protezione dei dati e il data discovery.
Trasforma rapidamente i dati non elaborati in insight fruibili, unifica governance, qualità, lineage e condivisione dei dati e offri agli utenti dati affidabili e contestualizzati.
Sblocca il valore dei dati aziendali con IBM Consulting e crea un'organizzazione basata su insight in grado di generare vantaggi aziendali.