분산 시스템이란 무엇인가요?

분산 시스템은 동시에 실행되는 여러 대의 머신에 작업과 데이터를 분할하므로, 대형 머신 한 대로 완료하기까지 몇 주가 걸리던 작업을 몇 시간 또는 몇 분 만에 완료할 수 있습니다. 시스템의 각 시스템(또는 '노드')에는 자체 CPU, 메모리 및 많은 경우 자체 스토리지가 있습니다. 노드는 서로에게 메시지를 보내 데이터 공유를 조정하고, 공통의 목표를 위해 작업을 분할하고 결합할 수 있습니다.

분산 시스템에서 머신들은 동일한 데이터 센터의 서버 랙에 있을 수도 있고, 서로 다른 데이터 센터에 분산되어 있을 수도 있으며, 전 세계에 분산된 하이브리드 클라우드 환경에 존재할 수도 있습니다. 구성에 관계없이 분산 시스템은 사용자와 클라이언트 애플리케이션이 여러 개별 서버가 아닌 하나의 서비스('데이터베이스', '웹사이트', '스토리지 서비스')인 것처럼 상호 작용할 수 있도록 설계되었습니다.

분산 시스템은 해결이 시급한 오늘날의 컴퓨팅 과제의 해결책을 기업에 제공합니다. 오늘날의 애플리케이션 중 상당수는 너무 크거나, 너무 바쁘거나, 너무 중요해서 단일 시스템에서 제대로 실행할 수 없습니다. 이러한 애플리케이션은 단일 서버를 압도할 수 있는 대량의 데이터와 요청을 처리하는 경우가 많으며, 민첩한 로드 밸런싱 기능이 필요한 급증하는 트래픽 흐름을 처리합니다. 이러한 애플리케이션은 광범위한 다운타임이 치명적일 수 있는 미션 크리티컬 프로세스(예: 은행 시스템)를 관리합니다.

분산 시스템은 여러 노드에 워크로드를 분산하고 필요에 따라 네트워크에 노드를 자동으로 더 추가할 수 있습니다. 이러한 확장성 덕분에 시스템은 트래픽 흐름을 예측할 수 없는 상황에서도 더 많은 사용자와 더 많은 데이터를 수용할 수 있습니다. 예를 들어, 스트리밍 플랫폼은 분산 시스템의 확장성 덕분에 전 세계 수백만 명의 사용자에게 동시에 서비스를 제공할 수 있습니다.

또한 분산 시스템은 IT 아키텍처의 안정성과 내결함성을 최적화하는 데에도 도움이 될 수 있습니다. 하나의 노드에 장애가 발생하면 다른 노드가 작업을 대신 수행하여 전체 서비스가 계속 실행되도록 할 수 있습니다. 이 기능은 개별 장애 지점을 줄이고 기업이 고가용성 시스템을 유지하는 데 도움이 됩니다. 이는 100%에 가까운 가동 시간이 필요한 시스템에 매우 중요합니다.

더 나아가 분산 시스템에서는 개별 노드가 긴밀하게 협력하지만 자체 데이터베이스와 스토리지 시스템이 있습니다. 이러한 환경 덕분에 IT 팀은 시스템의 여러 부분이 독립적으로 확장되고 발전할 수 있는 모듈식 아키텍처를 더 쉽게 구축할 수 있습니다.

분산 시스템은 다양한 아키텍처로 구성되지만, 모두 공통적인 핵심 특징을 공유합니다.

분산 시스템의 작동 방식을 이해하는 데 도움이 되도록 대규모 멀티플레이어 온라인 게임(MMOG)을 예로 들어보겠습니다.

MMOG는 여러 서버와 노드가 함께 작동하여 하나의 지속적인 게임 세계를 유지하는 분산 아키텍처를 사용하므로 수천 명의 플레이어가 동시에 비행, 거래, 전투 및 탐험을 할 수 있습니다.

게임 세계는 넓고 플레이어 수가 매우 많기 때문에 게임의 백엔드는 단일 시스템에서 처리되는 대신 머신 클러스터에 분할됩니다. 서버 세트 중 하나는 게임 세계의 특징(플레이어 위치, 데미지, 인벤토리)을 추적하고, 인프라의 다른 부분은 사용자 로그인, 채팅 기능 및 게임 세계의 영구적인 저장을 처리합니다. 이 분할은 한 번에 많은 플레이어가 같은 지역에서 활동하는 경우에도 게임의 반응성을 유지하는 데 도움이 됩니다.

각 게임 세션에서 시스템은 모든 플레이어 간 게임 상태를 동기화된 상태로 유지해야 합니다. 플레이어가 행동하면(예: 함대 전투 중 선박 이동) 클라이언트는 게임 세계의 해당 부분에 대한 적절한 서버로 작업을 보냅니다. 그런 다음 서버는 공유된 게임 상태를 실시간으로 업데이트하고 결과를 확인해야 하는 다른 플레이어와 공유합니다.

또한 분산 게임 시스템은 특수 프로토콜을 사용하여 모든 플레이어가 거의 같은 시간에 동일한 게임 이벤트를 볼 수 있도록 합니다.

게임 플레이 중 특정 서버에 장애가 발생하면 다른 서버가 그 자리를 메워 정상적으로 계속 작동하도록 설계되어 플레이어가 방해를 받지 않도록 합니다.

분산 시스템은 중앙 집중식 시스템과는 기능적으로 반대되는 개념입니다. 분산 시스템이 여러 장치를 사용하여 운영을 지원하는 반면, 중앙 집중식 시스템은 하나의 메인 서버에 의존합니다.

중앙 집중식 시스템에서는 하나의 중앙 노드가 대부분의 작업 또는 모든 작업을 조정합니다. 클라이언트는 보통 해당 노드에 요청을 보내고, 노드는 요청을 처리하는 방법을 결정합니다. 이러한 역학 관계는 권한이 한 곳에 집중되어 있어 시스템의 이해를 더 쉽게 만듭니다.

그러나 단일 노드는 단일 장애 지점을 의미합니다. 중앙 집중식 시스템에서 중앙 서버가 다운되면 전체 시스템을 사용할 수 없게 되므로, 고가용성이 중요한 상황에서는 중앙 집중화로 인해 심각한 문제가 발생할 수 있습니다.

중앙 집중식 시스템은 종종 수직적으로 확장됩니다. 메인 서버를 개선하려는 IT 팀은 더 많은 프로세서, 메모리 또는 스토리지를 제공하여 메인 서버를 개선할 것입니다. 유감스럽게도 수직적 확장은 장기적으로 지속 가능한 방식이 아닙니다. 시간이 지날수록 너무 많은 하드웨어가 필요하고 비용도 너무 많이 들기 때문입니다.

따라서 중앙 집중식 시스템은 매우 높은 복원력보다 아키텍처 단순성과 중앙 집중식 감독이 더 중요한 상황에 적합합니다. 중앙 집중화는 일반적으로 한 기관을 엄격하게 제어해야 하는 소규모 컴퓨터 네트워크, 내부 비즈니스 시스템, 파일 서버 및 클라이언트-서버 애플리케이션에 사용됩니다.

분산 시스템에서는 하나의 시스템이 모든 권한을 갖지 못합니다. 여러 노드가 협력하며, 각 노드는 워크로드의 일부를 처리하거나 데이터의 일부를 저장할 수 있습니다. 이 구조는 본질적으로 더 유연하지만, 노드 간 조정이 필요합니다.

분산 시스템에서는 한 노드에 장애가 발생해도 다른 노드가 계속 작동할 수 있으므로 내결함성이 더 뛰어납니다. 분산 시스템도 오류가 발생할 수 있지만, 중앙 집중식 시스템보다 오류 발생 시 더 안정적으로 작동하는 경향이 있습니다.

분산 시스템은 수평적 확장에 의존하며, 이는 증가하는 자원 수요를 수용하기 위해 더 많은 기계를 추가하는 방식입니다.

따라서 사용자 수가 많거나 데이터 세트가 크거나 지리적으로 분산되어 있어 단일 중앙 머신을 사용하는 것이 비현실적인 상황에서는 많은 경우 분산 환경이 선호됩니다. 분산 시스템은 고가용성과 확장성이 필요한 웹 서비스, 클라우드 플랫폼, 블록체인 네트워크 및 대규모 서비스에 자주 사용됩니다.

분산 시스템은 기계가 어떻게 조직되고 어떻게 통신하는지에 따라 몇 가지 일반적인 유형으로 나눌 수 있습니다.

클라이언트-서버 시스템에서는 하나의 중앙 서버(또는 소규모 서버 그룹)가 서비스를 제공하고, '클라이언트'라고 하는 다른 시스템은 중앙 서버의 작업에 의존합니다.

하드웨어 측면에서 더 강력한 시스템인 중앙 서버는 공유 리소스(파일, 데이터베이스, 프린터, 사용자 계정)를 관리하는 역할을 합니다. 클라이언트는 일반적으로 사용자와 상호 작용하고 요청 및 응답을 처리하는 데 중점을 둔 최종 사용자 머신(노트북, 휴대폰, 브라우저)입니다.

클라이언트와 중앙 서버는 별도의 시스템에서 실행되고 네트워크를 통해 통신하기 때문에 클라이언트-서버 시스템은 분산 시스템으로 간주됩니다. 그러나 클라이언트-서버 아키텍처의 노드 간 통신은 중앙 집중화됩니다.

모든 클라이언트는 중앙 서버에 의존하여 공유 리소스에 액세스하며, 클라이언트는 해당 리소스에 대해 서로 직접 통신하지 않습니다. 대신 클라이언트와 서버 간 통신은 일반적으로 요청-응답 패턴을 따릅니다.

사용자가 버튼 클릭과 같은 작업을 수행하면 클라이언트는 해당 작업을 요청 메시지로 변환하여 네트워크를 통해 서버로 보냅니다. 서버는 요청을 수신하고 처리한 다음 응답을 보냅니다. 그런 다음 클라이언트는 응답을 해석하여 사람이 읽을 수 있는 방식으로 사용자에게 결과를 표시합니다.

예를 들어, 웹 애플리케이션은 데이터베이스를 읽거나 데이터베이스에 쓴 다음 HTML 또는 JSON 응답을 보내는 웹 서버에 HTTP 요청을 보내는 브라우저(클라이언트)를 사용할 수 있습니다.

중앙 집중식 통신을 사용하면 클라이언트-서버 시스템을 업데이트하고, 보안 정책을 시행하고, 데이터를 관리하는 것이 더 쉬워집니다. 하지만 중앙 집중화는 병목 현상과 단일 장애 지점을 초래할 수 있다는 단점이 있습니다.

피어 투 피어 시스템에서 '피어'라고 하는 모든 노드는 거의 동일한 역할을 합니다. 각 피어는 자체 리소스의 일부를 기여하고 다른 피어가 제공하는 리소스를 소비합니다. 모든 피어는 리소스를 요청하고 다른 노드에 제공할 수 있습니다.

따라서 P2P 시스템에서 '클라이언트'와 '서버'는 고정된 ID가 아니라 노드가 일시적으로 수행하는 역할일 뿐입니다.

순수한 P2P 시스템에서 피어는 서로를 발견하고 물리적 인터넷 연결 위에 구축된 논리적 네트워크인 오버레이 네트워크를 통해 통신합니다. 오버레이 네트워크는 누가 누구와 통신하는지, 그리고 데이터가 피어 간에 어떻게 라우팅되는지를 결정합니다.

무언가(예: 파일 조각)를 필요로 하는 피어는 그것을 가지고 있을 가능성이 있는 다른 피어에게 직접 요청을 보냅니다. 또한 다른 피어가 요청을 받으면 요청된 데이터에 응답하고 이를 다시 전송하여 그 순간에 효과적으로 서버 역할을 할 수 있습니다. 나중에는 역할이 바뀔 수 있으며, 동일한 두 노드에서 데이터를 제공하는 측과 데이터를 요청하는 측이 뒤바뀔 수 있습니다.

모든 피어가 주고 받을 수 있기 때문에 데이터 처리 워크로드는 네트워크 전체에 더 균등하게 분산되는 경향이 있습니다. 또한 더 많은 피어가 참여하면 더 많은 용량을 가져와 시스템을 더욱 쉽게 확장할 수 있습니다.

고전적인 파일 공유 네트워크는 P2P 시스템의 좋은 예입니다. 각 사용자의 컴퓨터는 파일을 저장하고 다른 노드에 업로드하는 동시에 누락된 파일 조각을 다운로드합니다.

P2P 시스템은 클라이언트-서버 시스템보다 단일 장애 지점에 대해 더 견고합니다. 만약 하나의 피어가 오프라인 상태가 되더라도, 다른 피어들이 데이터 복사본을 보유하고 있거나 장애가 발생한 노드를 우회하여 데이터를 전송할 수 있기 때문에 전체 시스템은 일반적으로 계속 작동합니다.

다중 계층 시스템은 기본 클라이언트-서버 모델을 확장하여 각기 고유한 작업이 있는 명확히 분리된 여러 계층으로 구성합니다. 가장 일반적인 형태는 2계층, 3계층 및 n계층입니다.

2계층 시스템은 '클라이언트-서버 아키텍처'라고도 합니다. 클라이언트는 대부분의 애플리케이션 로직을 포함하며, 서버의 데이터베이스와 직접 통신하여 쿼리와 업데이트를 실행합니다. 프로세스는 간단하지만, 사용자 인터페이스를 데이터와 긴밀하게 연결합니다. 데이터 구조가 변경되면 여러 다른 클라이언트도 변경될 수 있습니다.

3계층 아키텍처는 3개의 계층을 사용합니다. 프레젠테이션 계층은 사용자 인터페이스(웹 페이지, 모바일 UI, 데스크톱 UI)를 처리합니다. 애플리케이션 또는 "비즈니스 로직" 계층은 규칙과 워크플로(검증, 계산, 의사 결정)를 구현합니다. 데이터 계층은 분산 데이터베이스 또는 기타 스토리지 시스템에서 데이터를 저장하고 검색합니다.

N계층 시스템은 보다 전문화된 계층을 추가하여 3계층 아이디어를 확장합니다. 예를 들어, IT 팀은 REST 또는 GraphQL 엔드포인트를 노출하는 별도의 애플리케이션 프로그래밍 인터페이스(API) 또는 서비스 계층을 만들 수 있습니다. 또한 사용자 로그인 및 토큰 처리를 위해 인증 및 암호화 계층을 분리할 수도 있습니다.

추가 계층은 처음 세 개의 계층과 동일한 원칙을 따릅니다. 각 계층에는 한 가지 기본 임무가 있으며, 계층은 잘 정의된 인터페이스를 통해 소통합니다. 이러한 모듈성을 통해 팀은 서로 다른 계층을 독립적으로 작업, 업그레이드 또는 교체할 수 있으며, 각 계층에 서로 다른 기술을 사용할 수도 있습니다.

다중 계층 시스템은 일반적으로 전자상거래 웹사이트 및 뱅킹 애플리케이션 운영에 사용됩니다.

클러스터는 서로 가까이 위치하여 마치 하나의 강력한 시스템인 것처럼 작동하는 컴퓨터 그룹입니다. 클러스터의 노드는 긴밀하게 연결되어 있으므로 일반적으로 다음과 같은 특성이 있습니다.

• 같은 물리적 장소(동일한 공간 또는 데이터 센터)에 있습니다.
  
  
• 고대역폭 근거리 통신망(LAN) 또는 특수 상호 연결로 연결됩니다.
  
  
• 유사하거나 동일한 하드웨어 및 운영 체제를 사용합니다.

노드는 비슷하고 잘 연결되어 있으므로, 클러스터는 큰 작업을 다른 노드에서 병렬 처리하기 위해 더 작은 조각으로 나눈 다음 결과를 결합할 수 있습니다.

클러스터는 클러스터 미들웨어, 스케줄러 또는 리소스 관리자와 같은 특수 소프트웨어를 통해 관리됩니다. 소프트웨어는 어떤 노드가 어떤 작업을 실행하는지 결정하고, 노드 상태를 모니터링하고, 데이터 라우팅을 관리하고, 노드 간 워크로드의 균형을 조정합니다. 이 관리 계층은 '네트워크상의 여러 컴퓨터'를 클러스터로 전환합니다. 이를 통해 사용자는 각 컴퓨터에 수동으로 로그인하지 않고도 클러스터 전체에 작업을 제출할 수 있습니다.

클러스터 시스템은 빅데이터 분석, AI 모델 훈련, 과학 시뮬레이션 등 고성능 컴퓨팅이 필요한 상황에서 유용합니다.

그리드 컴퓨팅은 종종 여러 도시와 국가에 분산된 여러 독립적인 컴퓨터를 모아 하나의 대규모 컴퓨팅 작업에서 협력하도록 하는 것입니다.

그리드에 참여하는 각 머신은 서로 다른 조직이나 개인에 속할 수 있습니다. 모두 CPU, 메모리 크기, 운영 체제 및 로컬 정책이 다를 수 있습니다. 그럼에도 불구하고 이들은 공통의 문제를 해결하기 위해 여유 리소스 중 일부를 공유하는 데 동의합니다.

그리드는 여러 관리 도메인에 걸쳐 있기 때문에 단일 조직이 모든 머신을 소유하거나 완전히 제어할 수 없습니다. 이는 하나의 기관이 단일 데이터 센터에 있는 서버를 소유하고 관리하는 클러스터와 그리드의 핵심적인 차이점입니다.

그리드 시스템에서 각 노드는 자율성을 유지합니다. 그리드에 가입하거나 탈퇴할 수 있고, 자체 로컬 리소스 관리자가 있으며, 보안 규칙이나 우선순위가 다를 수 있습니다. 그리드 미들웨어는 작업 제출, 가용 자원 탐색, 작업 일정 조정, 데이터 이동 및 결과 수집을 위한 공통 계층을 제공합니다. 이 미들웨어는 전체 그리드가 최종 사용자에게 가상 슈퍼컴퓨터처럼 작동할 수 있도록 합니다.

사용자가 대규모 작업(예: 단백질 접힘 시뮬레이션 또는 재무 리스크 계산)을 제출하면 미들웨어가 자동으로 작업을 여러 개의 작은 작업으로 분할합니다. 그런 다음 그리드에서 유휴 상태이거나 사용량이 적은 머신을 검색하여 해당 머신에 작업을 할당합니다. 각 기계는 각자의 역할을 수행한 다음 결과를 다시 전송하며, 전송된 결과는 최종 답변으로 결합됩니다.

중요한 것은 그리드 노드가 그리드 전용이 아니라는 것입니다. 그리드 노드는 기본 로컬 작업으로 바쁘지 않을 때 여분의 CPU 사이클을 기부하는 일반 데스크톱이나 서버일 수 있습니다.

클라우드 기반 분산 시스템은 클라우드 제공업체가 운영하는 빅데이터 센터 위에 구축됩니다.

조직은 물리적 서버를 소유하는 대신 인터넷을 통해 분산된 컴퓨팅 리소스를 대여합니다. 이러한 리소스는 가상 머신(VM), 컨테이너, 데이터베이스, 대기열 및 기타 관리형 서비스로 제공됩니다.

무엇보다도 클라우드 시스템은 탄력적입니다. 기업은 워크로드가 증가할 때 더 많은 컴퓨팅, 스토리지 또는 네트워크 용량을 요청하고 부하가 감소할 때 리소스를 릴리스할 수 있습니다. 또한 기업은 하드웨어를 선불로 구매하는 대신 사용한 리소스에 대해서만 비용을 지불할 수 있습니다.

IT 팀은 클라우드 시스템을 통해 동적 수평 확장 프로세스를 구현할 수 있습니다. 동일한 서버 인스턴스로 구성된 논리적 그룹인 Auto Scaling 그룹은 워크로드 지표의 변동을 관찰합니다. 부하가 설정된 임계값을 초과하면 자동화 도구가 더 많은 서비스 인스턴스를 가동합니다. 부하가 감소하면 자동화 도구는 여분의 인스턴스를 자동으로 종료하여 비용을 절감합니다.

마이크로서비스 아키텍처는 서로 다른 시스템에서 실행되는 여러 개의 독립적인 구성 요소를 사용하여 소프트웨어 애플리케이션을 구성하는 애플리케이션 수준 분산 시스템입니다.

모놀리식 애플리케이션과 달리, 마이크로서비스 아키텍처에는 전체 애플리케이션을 포함하는 단일 마이크로서비스가 없습니다. 대신 각 마이크로서비스는 특정 기능을 담당하고 다른 컨테이너와 독립적으로 실행되는 자체적인 소규모 서비스(자체 코드 및 일반적으로 자체 데이터 저장소를 포함함)입니다.

마이크로서비스는 독립적이기 때문에 자체적으로 개발, 배포 및 확장할 수 있지만, 시스템의 장점은 마이크로서비스 간의 협업에서 비롯됩니다.

사용자가 요청을 제출하면 클라이언트는 메시지를 생성하여 엣지 디바이스(예: 로드 밸런서나 API Gateway)로 전송합니다. 엣지 디바이스는 적절한 마이크로서비스로 요청을 보냅니다. 요청을 수신한 마이크로서비스가 메시지를 읽고 자체 비즈니스 로직을 실행한 다음 엣지 디바이스로 응답을 다시 보내면 엣지 디바이스가 사용자에게 응답을 전달합니다.

분산 시스템은 현실 세계에서 널리 사용되고 있습니다. 사람들이 엔터테인먼트, 비즈니스, 재무 관리에 사용하는 많은 도구와 서비스는 분산 시스템을 기반으로 구축되었습니다.

• 확장성: 분산 컴퓨팅 시스템은 수평 확장에 탁월하므로, 기업은 비용이 많이 드는 단일 서버 업그레이드에 투자하는 대신 워크로드가 증가할 때 네트워크에 노드를 추가하기만 하면 됩니다.

• 신뢰성 및 내결함성: 분산 시스템은 단일 장애 지점을 제거하여 개별 노드에 장애가 발생하더라도 사용자가 애플리케이션을 계속 사용할 수 있도록 내장된 이중화 기능을 제공합니다.

• 리소스 효율성 및 비용 절감: 분산 아키텍처를 통해 기업은 값비싼 특수 슈퍼컴퓨터 대신 보다 저렴한 표준 하드웨어 클러스터를 사용하여 강력한 컴퓨팅 환경을 구축할 수 있습니다.

• 글로벌 배포 및 접근성: 분산 시스템은 전 세계 사용자에게 더 가까운 곳에 애플리케이션을 배포하여 지리적으로 더 가까운 노드에서 요청을 처리함으로써 지연 시간을 줄일 수 있습니다.