Avro는 Apache Hadoop을 위한 데이터 직렬화 및 데이터 교환 서비스를 제공하는 오픈 소스 프로젝트입니다. 이러한 서비스는 함께 사용할 수도 있고 독립적으로 사용할 수도 있습니다.
Avro는 모든 언어로 작성된 프로그램 간에 빅 데이터 교환을 용이하게 합니다. 직렬화 서비스를 사용하면 프로그램에서 데이터를 파일이나 메시지로 효율적으로 직렬화할 수 있습니다. 데이터 스토리지는 작고 효율적입니다. Avro는 데이터 정의와 데이터를 모두 하나의 메시지 또는 파일에 저장합니다.
Avro는 데이터 정의를 JSON 형식으로 저장하여 읽고 해석하기 쉽게 하며, 데이터 자체는 바이너리 형식으로 저장되어 콤팩트하고 효율적입니다. Avro 파일에는 대규모 데이터 세트를 Apache MapReduce 처리에 적합한 하위 세트로 분할하는 데 사용할 수 있는 마커가 포함되어 있습니다. 일부 데이터 교환 서비스는 코드 생성기를 사용하여 데이터 정의를 해석하고 데이터에 액세스하기 위한 코드를 생성합니다. Avro는 이 단계가 필요하지 않으므로 스크립팅 언어에 적합합니다.
Avro의 핵심 기능은 시간이 지남에 따라 변경되는 데이터 스키마에 대한 강력한 지원(흔히 스키마 진화라고 함)입니다. Avro는 누락된 필드, 추가된 필드, 변경된 필드와 같은 스키마 변경 사항을 처리하므로 이전 프로그램에서 새 데이터를 읽고 새 프로그램에서 이전 데이터를 읽을 수 있습니다. Avro에는 Java, Python, Ruby, C, C++ 등을 위한 API가 포함되어 있습니다. Avro를 사용하여 저장된 데이터는 다른 언어로 작성된 프로그램, 심지어 C와 같은 컴파일된 언어에서 Apache Pig와 같은 스크립팅 언어까지 전달될 수 있습니다.
최신 AI 뉴스 + 인사이트
주간 Think 뉴스레터에서 전문가들이 선별한 AI, 클라우드 등에 관한 인사이트와 소식을 살펴보세요.
리소스
지능형 카탈로그 작업과 정책 관리를 통해 AI와 분석에 사용할 데이터를 활성화하세요. IBM Knowledge Catalog는 데이터 디스커버리, 데이터 품질 관리, 데이터 보호를 자동화하기 위한 데이터 카탈로그를 제공하는 데이터 거버넌스 소프트웨어입니다.
원시 데이터를 실행 가능한 인사이트로 신속하게 변환하고 데이터 거버넌스, 품질, 리니지 및 공유를 통합하며, 안정적이고 컨텍스트화된 데이터로 데이터 소비자를 지원할 수 있습니다.
IBM Consulting을 통해 기업 데이터의 가치를 극대화해 비즈니스에 이득이 되는 인사이트 중심의 조직을 구축하세요.