HPC는 동시에 작동하는 강력한 프로세서 클러스터를 사용하여 방대한 다차원 데이터 세트(빅데이터)를 처리하고 복잡한 문제를 초고속으로 해결하는 기술입니다. HPC 시스템은 일반적으로 가장 빠른 상용 데스크탑, 노트북 또는 서버 시스템보다 백만 배 이상 빠른 속도로 작동합니다.

수십 년 동안 HPC 시스템 패러다임은 수백만 개의 프로세서 또는 프로세서 코어를 구현하는 특수 목적의 컴퓨터인 슈퍼컴퓨터였습니다. 슈퍼컴퓨터는 여전히 우리 주변에 있습니다. 현 시점에서 가장 빠른 슈퍼컴퓨터는 처리 속도가 1.102엑사플롭 또는 초당 100경(quintillion) 번의 부동소수점 연산 처리를 수행하는 미국의 프론티어(Frontier)(ibm.com 외부 링크)입니다. 그러나 오늘날 점점 더 많은 조직이 온프레미스 또는 클라우드에서 호스팅되는 고속 컴퓨터 서버 클러스터에서 HPC 솔루션을 실행하고 있습니다.

HPC 워크로드는 인간의 지식과 능력을 발전시키고 상당한 경쟁적 우위를 점하도록 중요하고 새로운 인사이트를 창출합니다. 예를 들어 HPC는 DNA 시퀀싱, 주식 거래 자동화, 인공지능(AI) 알고리즘, 시뮬레이션(예: 자율주행 자동차) 등 IoT 센서, 레이더 및 GPS 시스템에서 실시간으로 테라바이트 규모의 데이터 스트리밍을 분석하여 신속한 의사결정을 내리는 데 사용됩니다.

표준 컴퓨팅 시스템은 주로 직렬 컴퓨팅을 사용하여 문제를 해결합니다. 즉, 워크로드를 일련의 작업으로 나눈 다음 동일한 프로세서에서 차례로 작업을 실행합니다.

반면 HPC는 다음을 활용합니다.

• 대규모 병렬 컴퓨팅. 병렬 컴퓨팅은 여러 컴퓨터 서버 또는 프로세서에서 동시에 여러 작업을 실행합니다. 대규모 병렬 컴퓨팅은 수만에서 수백만 개의 프로세서 또는 프로세서 코어를 사용하는 병렬 컴퓨팅입니다.
  
  
• 컴퓨터 클러스터(HPC 클러스터라고도 함). HPC 클러스터는 병렬 컴퓨팅 워크로드를 관리하는 중앙 집중식 스케줄러와 함께 네트워크에 연결된 여러 대의 고속 컴퓨터 서버로 구성됩니다. 노드라고 하는 컴퓨터는 고성능 멀티 코어 CPU, 또는 오늘날 더 많이 사용되고 있는 GPU(그래픽 처리 장치)를 사용하며, 이는 정확한 수학 계산, 머신러닝 모델 및 그래픽 집약적인 작업에 매우 적합합니다. 단일 HPC 클러스터에는 100,000개 이상의 노드가 포함될 수 있습니다.
  
  
• 고성능 구성요소: 네트워킹, 메모리, 스토리지, 파일 시스템 등 HPC 클러스터의 다른 모든 컴퓨팅 리소스는 노드에 맞춰 컴퓨팅 성능과 클러스터의 성능을 최적화할 수 있는 빠르고 처리량이 높고 대기 시간이 짧은 구성요소입니다.

10년 전까지만 해도 슈퍼컴퓨터를 소유 또는 임대하거나 온프레미스 데이터 센터에 HPC 클러스터를 구축 및 호스팅하려는 경우에 수반되는 HPC 비용이 상당히 높았기 때문에 대부분의 조직에서는 HPC를 사용할 수 없었습니다.

오늘날 클라우드 기반의 HPC(HPC as a Service 또는 HPCaaS)는 기업이 HPC를 활용할 수 있도록 훨씬 빠르고 확장 가능하며 저렴한 방법을 제공합니다. HPCaaS에는 일반적으로 클라우드 서비스 제공업체의 데이터 센터에서 호스팅되는 HPC 클러스터 및 인프라에 대한 액세스와 더불어 에코시스템 기능(예: AI 및 데이터 분석) 및 HPC 전문 지식이 포함됩니다.

오늘날의 클라우드 기반 HPC는 다음의 세 가지 수렴 추세가 뒷받침합니다.

• 급증하는 수요. 업종에 관계없이 모든 조직은 HPC 앱만이 해결할 수 있는 복잡한 문제를 해결함으로써 얻을 수 있는 실시간 인사이트와 경쟁 우위에 갈수록 더 의존하고 있습니다. 예를 들어, 사실상 우리 모두가 한 번쯤은 경험해 본 적이 있는 신용카드 사기 탐지는 사기 활동 범위가 넓어지고 사기 전술이 끊임없이 변화하는데도 불구하고 사기를 신속하게 식별하여 거짓양성을 최소화하기 위해 HPC에 점점 더 의존합니다.
  
  
• 대기 시간이 짧고 처리량이 높은 RDMA 네트워킹의 보급. RDMA(Remote Direct Memory Access)를 사용하면 컴퓨터의 운영 체제를 사용하거나 컴퓨터의 처리를 중단하지 않고도 네트워크에 연결된 다른 컴퓨터의 메모리에 액세스할 수 있습니다. 이렇게 되면 대기 시간을 최소화하고 처리량을 극대화하는 데 도움이 됩니다. 가상 인터페이스 아키텍처인 인피니밴드와 RoCE(RDMA over converged Ethernet)를 포함한 새로운 고성능 RDMA 패브릭은 기본적으로 클라우드 기반 HPC를 지원합니다.
  
  
• 광범위한 퍼블릭 클라우드 및 프라이빗 클라우드 HPCaaS의 가용성. 오늘날 모든 주요 퍼블릭 클라우드 서비스 제공업체는 HPC 서비스를 제공합니다. 일부 조직의 경우 규제가 심하거나 민감한 HPC 워크로드를 여전히 온프레미스에서 실행하고 있지만, 많은 조직이 하드웨어 및 솔루션 공급업체에서 제공하는 프라이빗 클라우드 HPC 솔루션을 채택하거나 마이그레이션하고 있습니다. 
  

HPC 애플리케이션은 일반적으로 AI 앱, 특히 머신러닝 및 딥러닝 앱과 동일해졌습니다. 오늘날 대부분의 HPC 시스템은 이러한 워크로드를 염두에 두고 구축됩니다. 이러한 애플리케이션은 다음 분야에서 지속적인 혁신을 주도하고 있습니다.

의료, 유전체학 및 생명 과학. 인간 게놈의 염기 서열을 분석하는 첫 번째 시도는 13년이 걸렸습니다. 오늘날 HPC 시스템을 사용하면 하루가 채 걸리지 않습니다. 의료 및 생명 과학 분야의 다른 HPC 애플리케이션에는 신약 개발 및 설계, 신속한 암 진단, 분자 모델링이 포함됩니다.

금융 서비스. 자동화된 거래 및 사기 탐지(위의 내용 참조) 외에도 HPC는 Monte Carlo 시뮬레이션 및 기타 리스크 분석 부문의 애플리케이션을 강화합니다.

정부 및 방위. 이 분야에서 증가하고 있는 두 가지 HPC 유스케이스는 기상 예측 및 기후 모델링으로, 둘 다 방대한 양의 이전 기상 데이터와 매일 변화하는 수백만 건의 기후 관련 데이터 포인트를 처리합니다. 기타 정부 및 방위 애플리케이션에는 에너지 연구 및 인텔리전스 프로젝트가 포함됩니다.

에너지. 에너지 관련 HPC 애플리케이션에는 지진 데이터 처리, 저수지 시뮬레이션 및 모델링, 지리정보 분석, 바람 시뮬레이션 및 지형 매핑이 포함됩니다(일부 경우에 정부 및 방위 부문과 겹칠 수 있음).