오브젝트 스토리지란 무엇인가요?

현대의 디지털 통신 데이터는 대부분 구조화되지 않았습니다. 즉, 행과 열로 구성된 기존 관계형 데이터베이스에 맞지 않으며 쉽게 구성할 수도 없습니다. 여기에는 이메일, 동영상, 사진, 웹 페이지, 오디오 파일, 센서 데이터, 기타 유형의 미디어 및 웹 콘텐츠(텍스트 또는 비텍스트)가 포함됩니다.

이러한 모든 콘텐츠는 소셜 미디어, 검색 엔진, 휴대폰 및 스마트 디바이스에서 지속적으로 스트리밍됩니다. 예를 들어, Netflix와 같은 스트리밍 서비스는 오브젝트 스토리지를 사용하여 방대한 영화 및 프로그램 라이브러리를 저장하고 전 세계 사용자에게 제공하므로, 어디서나 모든 디바이스에서 즉시 액세스할 수 있습니다.

오브젝트 스토리지를 사용하면 테라바이트(TB)에서 페타바이트(PB), 그리고 오늘날 가장 큰 클라우드 플랫폼과 데이터 집약적인 애플리케이션을 지원하는 엑사바이트 규모의 배포까지 다양한 데이터 용량을 저장하고 관리할 수 있습니다

오늘날 기업은 방대한 양의 데이터를 효율적이고 비용 효율적으로 저장하고 관리하는 것과 관련된 지속적인 과제에 직면해 있습니다. 오브젝트 스토리지는 기존 파일 또는 블록 기반 스토리지에 비해 사실상 무제한의 확장성을 제공하므로, 최신 데이터 스토리지 요구 사항을 충족하는 강력한 솔루션을 제공합니다.

DataIntelo의 연구에 따르면 2023년 전 세계 오브젝트 스토리지 시장은 미화 약 68억 달러로 추산됩니다. 이 연구는 또한 2032년까지 연평균 복합 성장률(CAGR) 15.7%¹로 거의 미화 250억 달러 규모로 성장할 것이라 예상하고 있습니다. 이러한 성장은 비정형 데이터 처리 필요성의 증가, 클라우드 도입 증가, 빅 데이터 분석 의존도 증대를 반영하고 있습니다.

오브젝트 스토리지는 2000년대 초에 도입된 이후 크게 발전해 왔습니다. 주요 성과로는 Amazon이 2006년 S3를 출시하여 클라우드 객체 스토리지 애플리케이션 프로그래밍 인터페이스(API)에 대한 사실상의 표준을 수립한 것이 포함됩니다. 그 뒤를 이어 2010년 OpenStack Swift와 같은 오픈소스 솔루션이 등장했고, 2010년대 중반에는 하이브리드 클라우드 배포가 부상했습니다.

초기에는 웹 규모 애플리케이션을 위해 개발된 현대식 오브젝트 스토리지는 클라우드 컴퓨팅 및 컨테이너화된 환경에 필수적인 요소가 되었습니다. 오늘날의 구현은 지능형 데이터 티어링, 버전 관리 기능, 그리고 컨테이너 오케스트레이션을 자동화하는 Kubernetes 및 기타 플랫폼과의 통합과 같은 고급 기능을 지원합니다. 가장 최근의 혁신으로는 머신 러닝(ML) 알고리즘이 스토리지 비용과 성능을 최적화하는 AI 기반 데이터 관리와 데이터를 소비되는 위치에 더 가깝게 가져오는 엣지 오브젝트 스토리지 기능이 있습니다.

클라우드 네이티브 환경에서 객체 스토리지가 인기를 얻던 무렵, 많은 조직이 전통적인 스토리지 아키텍처에 대한 의존도를 재고하기 시작했습니다.

역사적으로 기업은 증가하는 데이터 양을 관리하기 위해 값비싼 스토리지 영역 네트워크(SAN)를 사용했으며, 하드웨어 및 IT 인프라에 대한 막대한 자본 투자가 필요한 경우가 많았습니다. 데이터 수요가 급증함에 따라 이러한 접근 방식을 유지하기가 점점 더 어려워졌습니다. 클라우드 스토리지 서비스는 조직이 필요에 따라 용량을 확장하거나 축소할 수 있도록 보다 유연한 대안을 제공했습니다.

이제 기업들은 대규모 사내 스토리지 네트워크를 유지하는 대신, 서비스형 스토리지(STaaS)를 활용하여 비용을 절감하고 속도와 확장성을 높일 수 있습니다 Amazon Web Services(AWS), Google Cloud, IBM® Cloud, Microsoft Azure를 포함한 모든 주요 퍼블릭 클라우드 서비스 제공업체는 오브젝트 스토리지 기능을 제공합니다. 이러한 변화는 조직이 온프레미스 스토리지를 여러 클라우드 공급업체와 전략적으로 결합하여 성능, 비용 및 규정 준수 요구 사항을 최적화하는 하이브리드 멀티클라우드 접근 방식으로 진화했습니다.

클라우드 스토리지는 파일, 블록 및 오브젝트 스토리지를 비롯한 다양한 아키텍처를 포함합니다. 각각은 데이터 관리 및 접근성에 대한 다른 접근 방식을 제공합니다. 현대의 조직은 특정 요구 사항과 데이터 유형에 따라 다양한 스토리지 아키텍처를 사용합니다.

정형 데이터와 트랜잭션 워크로드는 기존 파일 및 블록 스토리지에 의존하는 경우가 많지만, 비정형 디지털 콘텐츠의 확산으로 인해 오브젝트 스토리지는 오늘날의 데이터 환경에 필수적인 요소가 되었습니다. 이 세 가지 스토리지 방법을 이해하면 자신의 요구사항에 맞는 적절한 방식을 선택하는 데 도움이 됩니다.

오브젝트 스토리지, 파일 스토리지, 블록 스토리지를 비교해서 자세히 알아보겠습니다.

파일 스토리지는 폴더 내에 데이터를 구성하고 저장합니다. 파일에는 이름이 지정되고 메타데이터(일반적으로 파일 이름, 파일 유형, 파일 생성 및 마지막 업데이트 시간)로 태그가 지정되며, 디렉토리 및 하위 디렉토리의 계층 구조 하에 있는 폴더에 보관됩니다.

파일 스토리지는 파일 캐비닛에 실제 종이 파일을 보관하는 것과 같은 방식으로 생각하면 됩니다. 서랍(디렉토리)이 여러 개 있고 각 서랍(하위 디렉토리) 안에 라벨이 붙은 파일 폴더가 있는 것입니다.

파일 캐비닛에서 특정 파일 폴더를 찾으려면 해당 서랍을 꺼내 폴더 라벨을 확인하면 됩니다. 마찬가지로 파일 스토리지 시스템의 데이터에 액세스하려면 컴퓨터 시스템에 해당 데이터를 찾을 수 있는 경로(디렉토리 및 하위 디렉토리)만 있으면 됩니다.

이와 같은 계층적 스토리지 시스템은 비교적 소량의 데이터를 쉽게 정리할 수 있는 경우에 적합합니다. 그러나 파일 수가 늘어나면 검색 및 조회 프로세스가 번거로워지고 시간이 많이 소요될 수 있습니다.

블록 스토리지 는 파일 기반 스토리지의 대안으로서 향상된 효율성과 성능을 제공합니다. 블록 스토리지는 파일을 동일한 크기의 데이터 청크로 분할하고 이러한 데이터 블록을 고유한 주소에서 개별적으로 저장합니다. 파일 폴더 구조가 필요하지 않으며, 대신 블록 컬렉션을 시스템 내 어디에나 저장하여 효율성을 극대화할 수 있습니다.

파일에 액세스할 때는 서버 운영 체제가 고유 주소를 사용하여 블록을 다시 가져와 파일로 조립합니다. 시스템이 데이터 블록에 액세스하기 위해 디렉토리와 파일 계층 구조를 탐색할 필요가 없으므로 효율성을 높일 수 있습니다. 블록 스토리지는 짧은 지연 시간, 세분화되거나 더욱 세부적인 데이터 액세스, 일관된 고성능을 필요로 하는 중요한 비즈니스 애플리케이션과 트랜잭션 데이터베이스 및 가상 머신에 적합합니다.

오브젝트 스토리지는 파일을 블록으로 나누거나 계층 폴더에 정리하는 대신, 각 데이터를 주소 지정이 가능한 개별 단위로 취급합니다. 데이터를 파편화하는 디렉토리 구조나 블록 스토리지에 의존하는 파일 시스템과 달리, 오브젝트 스토리지는 각 스토리지 단위 내에서 완전한 데이터 무결성을 유지합니다.

오브젝트 스토리지는 블록 및 파일 솔루션의 실질적인 한계를 뛰어넘는 비정형 데이터에 대한 비용 효율적이고 대규모 확장 가능한 스토리지를 제공합니다. 이는 규정 준수 기록, 미디어 라이브러리, 백업 데이터와 같이 자주 수정할 필요가 없는 정적 데이터를 보관하는 데 이상적입니다.

오브젝트는 오브젝트 스토리지 시스템에 흔히 쓰이는 구조적으로 평면적인 데이터 환경에 저장되는 개별 데이터 단위입니다. 기존 파일 시스템과 달리, 진짜 폴더나 디렉터리, 복잡한 계층 구조가 없지만, 이름 규칙을 사용해 폴더와 유사한 구조를 시뮬레이션할 수 있습니다.

각 개체는 데이터 자체, 관련 메타데이터(개체에 대한 설명 정보) 및 개체 키라고도 하는 고유 식별자를 포함하는 독립형 단위입니다. 이 고유 ID는 스토리지 시스템 내의 오브젝트를 구분하고 파일 경로와 유사할 수 있지만 실제 디렉토리 구조를 나타내지는 않습니다.

저장소 정보를 통해 애플리케이션은 오브젝트를 찾고 액세스할 수 있습니다. 오브젝트 스토리지 디바이스를 더 큰 스토리지 풀로 통합하고 이러한 스토리지 풀을 여러 위치에 분산할 수 있습니다. 이 기능을 사용하면 무제한 확장과 향상된 데이터 복원력 및 재해 복구가 가능합니다.

오브젝트 스토리지는 계층적 파일 시스템의 복잡성과 확장성 문제를 해결할 수 있습니다. 오브젝트는 온프레미스 데이터 센터, 클라우드 서버 또는 하이브리드 및 멀티클라우드 환경에 로컬로 저장할 수 있으며, 전 세계 어디서나 액세스할 수 있습니다. 최신 배포에서는 컨테이너 오케스트레이션과 분산 인프라를 사용하여 오브젝트 스토리지를 구동하는 기본 시스템을 관리하는 경우가 많습니다.

각각 데이터, 메타데이터, 고유 ID로 구성된 오브젝트는 API를 통해 오브젝트 스토리지 시스템에서 액세스됩니다. 오브젝트 스토리지의 기본 API는 일반적으로 HTTP 기반 RESTful API(RESTful 웹 서비스라고도 함)입니다. 또한 대부분의 제공업체는 다양한 프로그래밍 언어에서 이러한 API와의 상호작용을 단순화하는 소프트웨어 개발 키트(SDK)를 제공합니다.

이러한 API는 개체의 고유 식별자(또는 키)를 사용하여 개체를 검색하고 메타데이터를 쿼리할 수도 있습니다. API는 인터넷 기반이므로 네트워크 연결이 가능한 모든 기기에서 어디서나 객체에 액세스할 수 있습니다.

RESTful API는 "PUT" 또는 "POST"와 같은 HTTP 명령을 사용하여 개체를 업로드하고, "GET"을 사용하여 개체를 검색하고, "DELETE"를 사용하여 제거합니다. (HTTP는 'Hypertext Transfer Protocol'의 약자로, 인터넷에서 텍스트, 그래픽 이미지, 사운드, 비디오 및 기타 멀티미디어 파일을 전송하기 위한 규칙 집합입니다.)

API에서 호출할 오브젝트 스토리지 인스턴스에는 정적 파일을 얼마든지 저장할 수 있습니다. 최근에는 오브젝트 생성, 검색, 업데이트, 삭제를 넘어서 더 다양한 RESTful API 표준이 등장하고 있습니다. 이러한 표준을 사용하면 애플리케이션이 오브젝트 스토리지, 컨테이너, 계정, 멀티 테넌시, 보안, 청구 등을 관리할 수 있습니다.

예를 들어 대형 도서관 시스템의 모든 책을 단일 플랫폼에 저장하려 한다고 가정해 보겠습니다. 그러면 책의 내용(데이터)뿐만 아니라 저자, 발행일, 출판사, 제목, 저작권 및 기타 세부 정보와 같은 관련 정보도 저장해야 합니다. 이 모든 데이터와 메타데이터를 디렉토리 및 하위 디렉토리 계층 구조 하에 폴더로 구성된 관계형 데이터베이스에 저장할 수 있습니다.

그러나 수백만 권의 책이 있다면 검색하고 조회하는 프로세스가 번거롭고 시간이 많이 소요될 것입니다. 이 경우, 데이터가 정적이거나 고정되어 있기 때문에 오브젝트 스토리지 시스템이 효과적으로 작동합니다 이 예시의 경우 책의 내용은 변경되지 않습니다.

오브젝트는 플랫 구조의 '패키지'로 저장되며 단일 API 호출로 쉽게 찾고 검색할 수 있습니다. 또한 책의 수가 계속 늘어날수록 스토리지 디바이스를 더 큰 스토리지 풀로 통합하고, 이러한 스토리지 풀을 분산하여 무제한으로 확장할 수 있습니다.

간단한 API 호출을 사용하여 오브젝트 스토리지에서 파일을 업로드하고 검색할 수 있지만, 애플리케이션이 storage에서 적절한 오브젝트 스토리지를 찾으려면 오브젝트 스토리지의 메타데이터도 필요합니다. 여기서 오브젝트 스토리지 데이터베이스가 중요한 역할을 합니다. 이 데이터베이스는 오브젝트의 메타데이터를 사용하여 분산 스토리지 시스템에서 적절한 데이터 파일을 찾을 수 있는 일종의 디렉토리를 제공합니다.

각 오브젝트 스토리지 그룹에는 테이블 두 개가 포함된 오브젝트 스토리지 데이터베이스가 있습니다.

• 오브젝트 디렉토리 테이블

• 오브젝트 스토리지 테이블

오브젝트 디렉터리 테이블에는 각 객체에 대한 설명 정보(메타데이터)가 포함되어 있습니다. 이 디렉토리는 컬렉션 이름 식별자, 객체 이름 및 기타 관련 정보를 기록하여 스토리지 계층 구조의 모든 객체를 추적합니다. 예를 들어 일반적인 오브젝트 스토리지 방식에서는 오브젝트 디렉토리 테이블에 다음과 같은 세 개의 주요 인덱스가 포함됩니다.

• 오브젝트 생성 타임스탬프

• 컬렉션 이름 식별자(이름 ID) 및 개체 생성 타임스탬프

• 오브젝트 이름 및 컬렉션 이름 식별자

오브젝트 스토리지 테이블은 데이터 콘텐츠 또는 파일 자체(오브젝트)를 포함합니다. 데이터(비디오 및 이미지 파일 또는 대규모 문서 라이브러리와 같은 고정 디지털 콘텐츠)는 오브젝트 저장소에 보관됩니다. 한편 메타데이터(이름 ID를 포함한 데이터에 대한 맥락 정보)는 데이터베이스 또는 오브젝트 디렉터리 테이블에 있습니다.

애플리케이션은 파일을 '게시(POST)'하면서 메타데이터를 생성하여 오브젝트 스토리지 데이터베이스 내의 오브젝트 디렉토리 테이블에 저장하고, 파일을 오브젝트 스토리지 테이블에 '넣는' 작업도 함께 수행합니다. 애플리케이션은 추후 파일을 검색하기 위해 오브젝트 디렉토리 또는 데이터베이스에서 메타데이터를 조회하고, 해당 설명 및 식별 정보를 사용하여 데이터를 찾거나 '가져오기(GET)'합니다.

오픈 소스 기술은 클라우드 서비스 제공업체 및 기타 공급업체의 독점 솔루션에 대한 대안으로서 또는 클라우드 서비스 공급업체의 독점 솔루션과 함께 통합되어 데이터 관리 및 스토리지 옵션에 대한 유연성과 제어를 제공합니다.

개방형 소스 도구와 개방형 API에 대한 액세스를 통해 기존 독점 시스템과의 호환성을 유지하면서 조직의 특정 요구 사항에 맞게 코드를 사용자 정의할 수 있습니다. 이 접근 방식은 소유한 기존 하드웨어를 사용하거나 다른 공급업체의 하드웨어를 혼합할 수 있는 자유를 제공하는 동시에 더 넓은 개발자 커뮤니티의 기여를 활용할 수 있습니다.

모든 주요 오픈 소스 오브젝트 스토리지 솔루션은 Amazon의 Simple Storage Service(Amazon S3) 오브젝트 스토리지 프로토콜을 준수합니다. 2006년에 처음 도입된 이 프로토콜은 이제 사실상 클라우드 스토리지 API의 표준이 되었습니다.

널리 사용되는 오픈 소스 솔루션으로는 Ceph®, MinIO 및 OpenStack Swift가 있습니다. 이러한 솔루션은 서로 다른 기능, 정책 옵션 및 방법론을 제공하지만 각각 S3 호환 RESTful API를 사용하여 비정형 디지털 데이터를 대규모로 저장할 수 있다는 동일한 목표를 달성합니다.

또한 많은 업체들이 S3의 대안으로 자체 API를 제공합니다. 예를 들어, OpenStack Swift는 Amazon의 S3 API를 지원할 뿐만 아니라 고유한 기능을 갖춘 자체 Swift API도 제공합니다. Ceph Object Storage는 S3와 호환될 뿐만 아니라, 애플리케이션이 스토리지 시스템과 상호 작용하는 방식에 유연성을 더하는 OpenStack Swift API의 대규모 하위 집합도 지원합니다.

• 확장성: 오브젝트 기반 데이터 스토리지의 가장 큰 장점은 무제한 확장입니다. 오브젝트 또는 개별 데이터 단위(수량에 관계없음)는 서버와 같은 스토리지 디바이스 내에서 플랫 구조의 데이터 환경에 저장됩니다. 오브젝트 스토리지 클러스터에 병렬로 더 많은 디바이스 또는 서버를 추가하기만 하면 추가적인 처리가 가능하고 동영상이나 이미지와 같은 대용량 파일에 필요한 더 높은 처리량을 지원할 수 있습니다.

• 복잡성 감소: 오브젝트 스토리지는 폴더와 디렉토리가 있는 계층적 파일 시스템에서 발생하는 복잡성 문제를 해결할 수 있습니다. 탐색할 폴더, 디렉토리 또는 복잡한 계층 구조가 없기 때문에 성능 지연 가능성이 적고 데이터를 검색할 때 효율성을 높일 수 있습니다. 이 기능은 특히 대량의 데이터를 관리할 때 성능을 개선합니다.

• 고가용성 및 내구성: 오브젝트 스토리지 시스템은 여러 노드 또는 클러스터에 걸쳐 데이터를 복제하도록 구성할 수 있습니다. 디스크 또는 노드에 장애가 발생하면 시스템은 이러한 중복성으로 인해 데이터 손실 없이 계속 작동할 수 있습니다. 데이터 복제는 동일한 데이터 센터 내에서 또는 지리적으로 분산된 위치에서 발생할 수 있으므로, 고가용성 및 오프사이트 재해 복구를 모두 보장됩니다.

• 검색 가능성: 각 개체는 연결된 메타데이터 또는 설명 정보를 포함하는 독립형 저장소입니다. 이 메타데이터는 특정 속성이나 사용자 정의 태그를 기반으로 개체를 더 쉽게 찾고 검색할 수 있도록 하여 검색 가능성을 향상시킵니다. 데이터 라이프사이클 관리 및 데이터 보호 전략을 지원하는 것 외에도 메타데이터를 사용자 정의하여 컨텍스트를 추가할 수 있으므로 시장 동향 등과 관련된 비즈니스 인사이트를 위한 고급 검색, 필터링 및 분석이 가능합니다.

• 비용 효율성: 오브젝트 스토리지 서비스 제공업체는 일반적으로 사전 자본 투자를 없애는 사용량 기반 가격 책정을 제공합니다. 비용은 스토리지 볼륨, 데이터 검색, 대역폭 및 API 요청과 같은 실제 사용량을 기반으로 합니다. 가격은 다양한 스토리지 클래스와 스토리지 계층을 기반으로 계층화되거나 볼륨 기반으로 제공됩니다. 접근 빈도가 낮은 데이터나 대용량 데이터의 비용을 낮추기 위해 설계되었습니다. 많은 오브젝트 스토리지 솔루션이 공급업체 중립적인 표준 하드웨어에서 실행될 수 있으므로 새로운 인프라나 독점 인프라의 필요성이 줄어듭니다. 이러한 유연성을 통해 조직은 기존 서버를 재사용하여 저렴하게 확장할 수 있습니다.

• 보안: 오브젝트 스토리지는 저장 중이거나 전송 중인 데이터 암호화 같은 포괄적인 보안 기능과 IAM 정책을 통한 강력한 접근 제어를 제공합니다. 또한 많은 솔루션이 다단계 인증, 데이터 손실 방지(DLP) 기능, 중앙 집중식 모니터링 및 위협 탐지를 위한 엔터프라이즈 보안 도구와의 통합을 제공합니다.

• 클라우드 호환성: 오브젝트 스토리지는 멀티테넌트 스토리지를 서비스로 제공하는 클라우드 또는 호스팅 환경과 밀접하게 연결되어 있습니다. 이를 통해 여러 회사 또는 회사 내 여러 부서가 동일한 스토리지 저장소를 공유할 수 있으며, 각 회사 또는 부서는 스토리지 공간의 개별 영역에 액세스할 수 있습니다. 이 공유 스토리지 접근 방식은 본질적으로 확장성과 비용을 최적화합니다. 저비용 클라우드 스토리지를 사용하여 조직의 온사이트 IT 인프라를 줄이면서도 필요할 때마다 데이터에 계속 액세스할 수 있습니다. 예를 들어 기업에서는 클라우드 기반 오브젝트 스토리지 솔루션을 사용하여 스마트 장치 앱을 위한 대량의 비정형 사물인터넷(IoT) 및 모바일 데이터를 수집하고 저장할 수 있습니다.