클러스터 컴퓨팅이란 무엇인가요?

컴퓨팅 클러스터는 일반적으로 로컬 영역 네트워크(LAN) 또는 광역 네트워크(WAN)를 통해 통신하는 서버, 워크스테이션 및 개인용 컴퓨터(PC)로 구성됩니다.

클러스터 컴퓨팅은 분산 컴퓨팅의 한 종류로, 네트워크 상에서 여러 컴퓨터를 연결하여 계산 작업을 수행하고, 계산 능력을 높이고, 단일 컴퓨터처럼 기능하는 컴퓨팅 유형입니다. 컴퓨터 네트워크의 각 컴퓨터 또는 '노드'에는 소프트웨어가 제대로 실행되는 데 필요한 작업을 처리하는 운영 체제(OS)와 중앙 처리 장치(CPU) 코어가 있습니다.

클러스터 컴퓨팅은 성능과 클러스터 가용성으로 인해 클라우드 컴퓨팅, 인공 지능(AI), 연구, 빅 데이터 분석 등 다양한 애플리케이션에 활용되고 있습니다.

가장 기본적인 수준에서 클러스터 컴퓨팅은 LAN을 사용하여 네트워크에서 여러 개의 독립적인 컴퓨터를 연결합니다. 클러스터의 아키텍처에서 네트워크의 각 컴퓨터는 '노드'라고 하며 각 컴퓨터 간의 통신을 가능하게 하는 소프트웨어인 미들웨어에 의해 제어됩니다. 클러스터 사용자는 LAN을 통해 연결된 개별 머신이 아닌, 마치 단일 머신인 것처럼 각 컴퓨터의 리소스를 사용할 수 있습니다.

컴퓨팅 클러스터는 최소 2개의 노드부터 최대 수천 개의 노드까지 연결할 수 있습니다. 예를 들어, Beowulf 클러스터는 일반적으로 LAN을 통해 연결된 상용 등급의 PC를 사용하며 특정 작업을 위해 슈퍼컴퓨터 대신 비교적 저렴한 비용으로 사용할 수 있습니다^.1

한편 Kubernetes는 컨테이너 관련 기술이자 클러스터 기반 기술로서 클라우드 컴퓨팅에 필수적이며, 최대 5,000개의 독립적이지만 상호 연결된 노드로 구성된 클러스터를 지원합니다. Kubernetes는 하이브리드 클라우드 및 멀티 클라우드 아키텍처, DevOps, 애플리케이션 현대화 등 다양한 형태의 클라우드 배포에 사용됩니다.

클러스터 컴퓨팅 아키텍처는 상호 연결된 개별 컴퓨터 그룹이 단일 머신처럼 함께 작동하는 것으로 구성됩니다. 각 컴퓨팅 리소스는 LAN과 같은 고속 연결을 통해 연결되며 시스템 아키텍처에서는 단일 노드라고 합니다. 각 노드에는 OS, 메모리, 입출력(I/O) 기능이 있습니다.

클러스터 아키텍처에는 개방형과 폐쇄형의 두 가지 유형이 있습니다. 개방형 클러스터에서 각 컴퓨터는 고유한 IP 주소를 갖습니다. 폐쇄형 클러스터에서는 각 노드가 게이트웨이 노드 뒤에 숨겨져 있습니다. 게이트웨이 노드가 다른 노드에 대한 액세스를 제어하고 인터넷에서 IP 주소를 찾을 수 있기 때문에 클러스터는 노드에 대한 보안 위험이 적습니다.

클러스터 컴퓨팅 외에도, 연결된 컴퓨터 네트워크를 특징으로 하는 두 가지 일반적으로 사용되는 분산 컴퓨팅 유형이 있습니다. 바로 그리드 컴퓨팅과 피어 투 피어 컴퓨팅입니다.

그리드 컴퓨팅: 컴퓨터 과학에서 그리드 컴퓨팅 인프라는 서로 다른 물리적 위치에 있는 컴퓨팅 리소스를 결합하기 위해 설정됩니다. 다양한 머신에서 사용 가능한 컴퓨팅 리소스를 결합하여 함께 사용해 문제를 해결합니다. 클러스터와 마찬가지로 그리드 컴퓨팅은 여러 대의 상호 연결된 컴퓨터의 리소스를 사용합니다.

그러나 클러스터와는 달리 그리드 아키텍처로 연결된 컴퓨터에서 사용되지 않는 리소스만 활용됩니다. 그리드 컴퓨팅의 유명한 예로 외계지적생명체탐색(SETI)은 많은 컴퓨터에서 사용하지 않는 컴퓨팅 자원을 사용하여 심우주에서 오는 전파 신호를 분석하여 외계 생명체의 징후를 찾아낸 것입니다.²

피어 투 피어 컴퓨팅: P2P(피어 투 피어) 컴퓨팅 또는 네트워킹을 사용하려면 두 대 이상의 컴퓨터가 네트워크에서 '피어'로 연결되어 있어야 하며, 이는 동등한 성능과 권한을 갖는다는 의미입니다. 클러스터 컴퓨팅과 달리 P2P 아키텍처에는 중앙 집중식 관리 방식이 필요하지 않습니다.

P2P 네트워크에서 각 노드는 클라이언트 머신(서비스에 액세스해야 하는 컴퓨터)과 서버(서비스를 제공하는 컴퓨터) 역할을 모두 수행합니다. 각 피어 노드는 저장소, 메모리, 대역폭 등의 리소스를 네트워크의 다른 노드에게 제공합니다.

클러스터 컴퓨팅은 1960년대에 여러 대의 컴퓨터에 컴퓨팅 작업과 데이터 저장소를 분산하는 방법으로 개발되었습니다. 1980년대에는 PC, 다목적 프로세서, LAN 등 여러 인접 기술이 개발되어 클러스터 컴퓨팅에 큰 영향을 미쳤습니다.

가장 큰 변화는 고성능 컴퓨팅에서 멀티 프로세서 컴퓨팅 노드를 사용하는 것이었습니다. HPC 사용 사례가 늘어남에 따라 클러스터 컴퓨팅의 사용 사례도 늘어났습니다. 오늘날에는 자동차 및 항공 산업, 인공위성의 데이터 분석, 위험한 질병의 진단 등 다양한 분야에서 활용되고 있습니다.

오늘날 클러스터 컴퓨팅은 인공 지능(AI), 머신 러닝(ML), 클라우드 컴퓨팅 등 세상을 발전시키는 최첨단 기술에서 많이 사용되고 있습니다. 세계 최대 규모의 기업들은 클러스터 컴퓨팅을 사용하여 작업 부하를 클라우드로 옮기고, 처리 속도를 높이고, 데이터 무결성을 개선하는 등의 작업을 수행합니다. 엔터프라이즈 수준에서 컴퓨터 클러스터에는 로드 밸런싱, 고가용성 또는 데이터 센터의 대규모 데이터 처리와 같은 특정 작업이 부여되는 경우가 많습니다.

컴퓨팅 클러스터는 기본적으로 다른 종류의 컴퓨팅 아키텍처보다 더 높은 성능과 안정성을 제공하도록 설계되었기 때문에 현대 기업에서 없어서는 안 될 필수 요소입니다. 예를 들어, 현대의 클러스터에는 네트워크의 단일 노드에 장애가 발생하더라도 계속 작동할 수 있는 용량을 나타내는 용어인 내결함성 기능이 내장되어 있습니다.

또한 대규모 컴퓨터 클러스터는 분산 파일 시스템(DFS)과 중복 독립 디스크 배열(RAID)을 사용하여 동일한 데이터를 여러 하드 디스크 드라이브의 서로 다른 위치에 저장할 수 있습니다. 클러스터 컴퓨팅은 현대 기업에 여러 면에서 이점을 제공합니다. 다음은 몇 가지 예입니다. 

클러스터는 병렬 처리에 의존하기 때문에 고성능으로 간주되며 일반적으로 단일 컴퓨터보다 더 빠르게 데이터를 처리하고 더 큰 작업 부하를 처리할 수 있습니다.

클러스터 컴퓨팅은 DFS 기술을 통합했기 때문에 매우 안정적인 것으로 간주됩니다. 컴퓨터 클러스터에서는 단일 노드에 장애가 발생하더라도 네트워크가 계속 작동하고 DFS와 RAID가 여러 곳에 데이터를 백업합니다. 

클러스터 컴퓨팅은 높은 안정성을 갖추고 있을 뿐만 아니라, 단일 노드의 장애로부터 빠르게 복구할 수 있는 능력 덕분에 가용성이 높은 것으로 간주됩니다. 클러스터가 정상적으로 작동하는 경우, 한 노드에 장애가 발생해도 서비스 중단 없이 해당 클러스터의 작업이 다른 노드로 원활하게 이전됩니다.

클러스터 컴퓨팅은 언제든지 클러스터 노드를 추가하여 성능을 향상시킬 수 있기 때문에 확장성이 뛰어납니다. 클러스터 내에서 리소스를 동적으로 조정할 수 있는 기능은 수요에 따라 클러스터를 확장하거나 축소할 수 있음을 의미합니다. 

클러스터 컴퓨팅은 다른 종류의 컴퓨팅보다 비용 효율성이 높습니다. 많은 현대 기업은 저렴한 가격으로 IT 인프라의 성능, 확장성 및 가용성을 개선하기 위해 클러스터 컴퓨팅에 의존합니다.

컴퓨팅 클러스터는 복잡성과 목적 면에서 매우 다양합니다. 예를 들어 비교적 단순한 듀얼 노드 클러스터는 두 대의 컴퓨터만 연결하지만, 반면에 Aurora 슈퍼컴퓨터는 10,000개의 노드 이상을 가진 클러스터를 연결합니다.³

클러스터는 높은 성능, 확장성, 유연성 덕분에 많은 비즈니스 활용 사례가 있지만, 대학과 의과대학에서도 과학 연구를 위해 클러스터를 사용합니다. 컴퓨팅 클러스터는 특성에 따라 고가용성, 부하 분산, 성능의 세 가지 유형으로 구분됩니다. 

고가용성 클러스터는 예기치 않게 장애가 발생한 노드에서 아직 작동 중인 네트워크의 다른 노드로 작업을 자동으로 전송합니다. 이러한 기능은 노드에 장애가 발생해도 빠르고 쉽게 적응할 수 있는 기능이기 때문에 서비스 중단을 방지하는 것이 중요한 작업 부하에 이상적입니다.

로드 밸런싱 클러스터 또는 간단히 로드 밸런서는 작업이 클러스터의 노드에 공정하게 분산되도록 보장합니다. 로드 밸런싱이 없으면 노드는 할당된 작업에 압도되어 더 자주 실패하게 됩니다. 목적에 따라 다양한 종류의 로드 밸런싱이 있습니다. 가장 유명한 Linux 가상 서버는 무료 오픈 소스이며 클러스터링 기술을 기반으로 고성능, 고가용성 가상 서버를 개발하는 데 사용됩니다.

HPC 클러스터는 매우 빠른 속도로 대규모의 다차원 데이터 세트(빅 데이터라고도 함)를 처리할 수 있는 강력한 프로세서 네트워크입니다. 노드 간에 파일을 이동하려면 고성능 네트워크와 매우 낮은 지연 시간이 필요합니다.

부하 분산 및 고가용성 클러스터와 달리 HPC Cluster는 처리 능력이 더 뛰어나고 질병 진단, 방대한 양의 재무 데이터 분석, 게놈 시퀀싱과 같은 데이터 분석을 위해 특별히 설계되었습니다. 또한 HPC Cluster는 노드 간 통신을 가능하게 하는 병렬 컴퓨팅 아키텍처용 프로토콜인 MPI(메시지 전달 인터페이스)를 사용합니다.

AI 클러스터는 얼굴 및 음성 인식, 자연어 처리(NLP), 자율 주행과 같은 AI 및 ML 워크로드를 위해 특별히 구축된 컴퓨팅 클러스터입니다. AI 클러스터는 AI 모델이 학습하는 알고리즘을 위해 특별히 설계되었습니다.

컴퓨팅 클러스터는 다양한 용도로 사용됩니다. 애플리케이션과 분석과 같은 기업용 클라우드 컴퓨팅부터 영화를 위한 눈길을 끄는 3D 특수 효과를 만드는 데 도움이 되는 소프트웨어까지, 다음은 몇 가지 예입니다.