Qu’est-ce qu’Apache Avro ?

Avro facilite l’échange de big data entre tous les programmes, quel que soit le langage utilisé. Grâce au service de sérialisation, les programmes peuvent sérialiser efficacement les données dans des fichiers ou des messages. Le stockage des données est compact et efficace. Avro stocke à la fois la définition des données et les données dans un seul message ou fichier.

Avro stocke la définition des données au format JSON, ce qui facilite sa lecture et son interprétation. Les données elles-mêmes sont stockées dans un format binaire, ce qui les rend compactes et efficaces. Les fichiers Avro incluent des marqueurs qui peuvent être utilisés pour diviser de grands jeux de données en sous-ensembles adaptés au traitement Apache MapReduce . Certains services d’échange de données utilisent un générateur de code pour interpréter la définition des données et produisent du code pour accéder aux données. Avec Avro, cette étape est inutile, ce qui le rend idéal pour les langages de script.

L’une des principales caractéristiques d’Avro, c’est la prise en charge robuste des schémas de données qui changent au fil du temps, ce que l’on appelle souvent l’évolution du schéma. Avro gère les changements apportés au schéma : champs manquants, champs ajoutés et champs modifiés. Par conséquent, les anciens programmes peuvent lire de nouvelles données, et les nouveaux programmes peuvent lire les anciennes données. Avro inclut des API pour Java, Python, Ruby, C, C++ et d’autres langages. Les données stockées à l’aide d’Avro peuvent être transmises à partir de programmes écrits dans différents langages, même à partir d’un langage compilé comme C vers un langage de script comme Apache Pig.