O que é o Apache Avro?

O Avro facilita a troca de big data entre programas escritos em qualquer linguagem. Com o serviço de serialização, os programas podem serializar dados de forma eficiente em arquivos ou em mensagens. O armazenamento de dados é compacto e eficiente. O Avro armazena a definição de dados e os dados juntos em uma mensagem ou arquivo.

O Avro armazena a definição de dados no formato JSON, facilitando a leitura e a interpretação; os dados em si são armazenados em formato binário, tornando-os compactos e eficientes. Os arquivos do Avro incluem marcadores que podem ser usados para dividir grandes conjuntos de dados em subconjuntos adequados para o processamento do Apache MapReduce. Alguns serviços de troca de dados usam um gerador de código para interpretar a definição de dados e produzir código para acessar os dados. O Avro não exige essa etapa, o que o torna ideal para linguagens de script.

Uma característica fundamental do Avro é o suporte robusto para esquemas de dados que mudam ao longo do tempo, muitas vezes chamados de evolução do esquema. O Avro lida com alterações de esquema, como campos ausentes, campos adicionados e campos alterados; como resultado, programas antigos podem ler dados novos e programas novos podem ler dados antigos. O Avro inclui APIs para Java, Python, Ruby, C, C++ e muito mais. Os dados armazenados usando o Avro podem ser transmitidos de programas escritos em diferentes linguagens, mesmo de uma linguagem compilada como C, para uma linguagem de script como o Apache Pig.