AI 추론이란 무엇인가요?

AI 추론은 AI 기술의 발전에 매우 중요하며 인기 있는 ChatGPT 애플리케이션을 구동하는 기능인 생성형 AI와 같은 가장 흥미로운 애플리케이션을 지원합니다. AI 모델은 AI 추론에 의존하여 사람들이 생각하고, 추론하고, 프롬프트에 응답하는 방식을 모방합니다.

AI 추론은 의사 결정 알고리즘을 사용하여 대규모 데이터 세트를 기반으로 AI 모델을 학습시키는 것으로 시작됩니다. AI 모델은 인간의 두뇌처럼 구성된 신경망—대규모 언어 모델(LLM)에서 학습된 의사 결정 알고리즘으로 구성됩니다. 예를 들어 얼굴 인식을 위해 설계된 AI 모델은 수백만 개의 사람 얼굴 이미지로 학습할 수 있습니다. 결국 눈 색깔, 코 모양, 머리 색깔과 같은 특징을 정확하게 식별하는 방법을 학습한 다음 이를 사용해 이미지에서 개인을 인식할 수 있습니다.

AI 추론과 머신 러닝(ML)은 밀접하게 관련되어 있지만 이들은 AI 모델 라이프사이클에서 서로 다른 두 단계를 나타냅니다.

• 머신 러닝은 지도 학습 프로세스를 통해 학습 데이터와 알고리즘을 사용하여 AI가 인간의 학습 방식을 모방할 수 있도록 하여 정확도를 점진적으로 개선하는 프로세스입니다.
  
  
• AI 추론은 AI 모델이 ML을 통해 학습한 내용을 적용하여 데이터에서 결정, 예측 또는 결론을 내리는 프로세스입니다.

AI 모델이 해당 애플리케이션에 적합한 강력한 데이터 세트를 기반으로 학습되지 않는다면 그 효과는 미미할 수밖에 없습니다. 기술의 민감한 특성과 언론의 면밀한 조사가 이루어지고 있는 점을 고려할 때¹, 기업들은 이에 대한 신중한 접근이 필요합니다. 그러나 산업 전반에 걸쳐 디지털 혁신과 확장 가능한 혁신의 잠재력을 제공하는 애플리케이션 사용함으로써 다음과 같은 많은 이점을 얻을 수 있습니다.

• 정밀하고 정확한 결과: AI 모델은 기술이 발전함에 따라 더욱 정밀하고 정확해지고 있습니다. 예를 들어, 최신 LLM은 특정 작성자의 어조를 모방하는 방식으로 단어, 문장 및 문법을 선택할 수 있습니다. 예술 및 비디오 공간에서도 마찬가지로 색상과 스타일을 선택하여 정확한 분위기, 톤 또는 예술적 스타일을 전달할 수 있습니다.

• 품질 관리 개선: AI의 가장 새롭고 잠재적으로 가장 흥미로운 확장 분야 중 하나는 시스템 모니터링 및 검사 분야입니다. 수질부터 기상 패턴에 이르기까지 다양한 데이터 세트로 훈련된 AI 모델은 현장에서 산업 장비의 상태를 모니터링하는 데 사용되고 있습니다.

• 로봇 학습: AI 추론 기능을 갖춘 로봇과 로보틱스가 다양한 업무에 도입되어 비즈니스 가치를 더하고 있습니다. 로봇 학습의 가장 인기 있는 응용 분야는 아마도 무인 자동차일 것입니다. AI 추론은 Tesla, Waymo, Cruz와 같은 무인 자동차 회사에서 신경망이 교통 규칙을 인식하고 준수하도록 가르치기 위해 널리 사용됩니다.

• 방향성 없는 학습: AI 추론은 프로그래밍되지 않고 데이터를 학습하므로 효과적인 실행에 필요한 사람의 입력과 리소스를 줄일 수 있습니다. 예를 들어, 농업 환경 이미지로 훈련된 AI 모델은 농부들이 잡초와 건강에 해로운 작물을 식별하고 완화하는 데 도움을 줄 수 있습니다.

• 정보에 기반한 안내 및 의사 결정: AI 추론의 가장 흥미로운 응용 분야 중 하나는 뉘앙스와 복잡성을 이해하고 학습한 데이터 세트를 기반으로 조언을 제공하는 AI의 능력입니다. 예를 들어, 재무 원칙에 따라 훈련된 AI 모델은 건전한 투자 조언을 제공하고 잠재적인 사기 행위를 식별할 수 있습니다. 마찬가지로, AI는 질병 진단이나 항공기 조종과 같은 위험한 절차에서 인적 오류의 가능성을 제거할 수 있습니다.

• 엣지 컴퓨팅 기능: AI 추론 및 엣지 컴퓨팅은 처리를 위해 데이터를 데이터 센터로 이동할 필요 없이 AI의 모든 이점을 실시간으로 제공합니다. 엣지에서 AI 추론의 잠재력은 창고의 재고 수준 관리 및 모니터링부터 자율 주행 차량의 안전한 작동에 필요한 밀리초 속도의 반응에 이르기까지 광범위한 영향을 미칩니다.

AI 추론은 많은 이점을 제공하지만, 빠르게 성장하는 신생 기술이기 때문에 어려움도 없지 않습니다. 다음은 AI에 투자하려는 기업이 고려해야 할 업계가 직면한 몇 가지 문제입니다.

• 규정 준수: AI 애플리케이션과 AI 추론을 규제하는 작업은 힘들고 끊임없이 변화합니다. 이에 대한 한 가지 예는 데이터 주권 영역입니다. 이는 데이터가 생성된 국가 또는 지역의 법률을 따라야 한다는 개념입니다. 여러 지역에서 AI를 활용하기 위해 데이터를 수집, 저장, 처리하는 글로벌 기업은 여러 지역의 법률을 준수하는 동시에 자사 비즈니스에 도움이 되는 방식으로 혁신하는 데 어려움을 겪고 있습니다.

• 품질: AI 모델 학습에서 모델이 학습하는 데이터의 품질은 모델의 성공에 매우 중요합니다. 실력 없는 선생님에게 배우는 인간과 마찬가지로, 잘못된 데이터 세트로 훈련된 AI 모델의 성능은 좋지 않습니다. 데이터 세트는 명확하게 라벨이 지정되어야 하며 AI 모델이 학습하려는 기술과 매우 관련이 있어야 합니다. AI의 주요 과제(특히 AI 추론의 정확성)는 학습에 적합한 모델을 선택하는 것입니다.

• 복잡성: 데이터 품질과 마찬가지로 데이터 복잡성도 AI 모델에 문제를 일으킬 수 있습니다. 다시 인간 학생에 비유하자면, AI가 학습하는 대상이 단순할수록 학습도 더 쉬워집니다. 고객 서비스 챗봇 또는 가상 여행사 에이전트와 같은 간단한 문제를 해결하는 AI 모델은 의료 영상이나 금융 조언과 같은 더 복잡한 문제를 위해 설계된 모델에 비해 상대적으로 훈련이 쉽습니다.

• 기술 향상: AI와 같이 새롭고 빠르게 성장하는 분야의 가능성을 상상하는 것은 짜릿한 일이지만, 제대로 작동하는 AI 애플리케이션과 정확한 AI 추론을 만드는 데 필요한 전문 지식에는 시간과 리소스가 필요합니다. 인재 파이프라인이 혁신의 속도를 따라잡을 때까지 이 분야의 전문가는 여전히 수요가 많고 고용하는 데 비용이 많이 듭니다.

• 대만에 대한 의존도: 전 세계 반도체의 60%와 첨단 칩(AI 추론에 필요한 AI 가속기 포함)의 90%가 대만에서 제조됩니다.² 또한 세계 최대의 AI 하드웨어 및 소프트웨어 회사인 Nvidia는 AI 가속기에 대해 거의 전적으로 TSMC(Taiwan Semiconductor Manufacturing Corporation)라는 단일 회사에 의존하고 있습니다. 자연재해 또는 기타 보이지 않는 사고로 인해 AI 추론 및 다양한 애플리케이션을 구동하는 데 필요한 칩의 제조 및 유통이 위협받을 수 있습니다.

AI 추론은 정확한 응답을 추론할 수 있을 때까지 적절한 데이터 세트에서 AI 모델을 훈련시키는 복잡한 프로세스입니다. 이는 매우 컴퓨팅 집약적인 프로세스이며 특수 하드웨어와 소프트웨어가 필요합니다. AI 추론을 위해 AI 모델을 훈련하는 프로세스를 살펴보기 전에 이를 가능하게 하는 몇 가지 특수 하드웨어를 살펴보겠습니다.

중앙 처리 장치(CPU)는 컴퓨터의 주요 기능 구성 요소입니다. AI 학습 및 추론에서 CPU는 운영 체제를 실행하고 학습 목적에 필요한 컴퓨팅 리소스를 관리하는 데 도움을 줍니다.

그래픽 처리 장치(GPU) 또는 고성능 컴퓨터 그래픽 및 이미지 처리를 위해 설계된 전자 회로는 비디오 카드, 마더보드 및 휴대폰을 비롯한 다양한 장치에 사용됩니다. 그러나 병렬 처리 기능으로 인해 AI 모델 훈련에도 점점 더 많이 사용되고 있습니다. 한 가지 방법은 많은 GPU를 단일 AI 시스템에 연결하여 해당 시스템의 처리 능력을 높이는 것입니다.

필드 프로그래머블 게이트 어레이(FPGA)는 특정 목적에 맞게 재프로그래밍할 수 있는 전문 지식에 의존하는 고도로 사용자 정의 가능한 AI 가속기입니다. 다른 AI 가속기와 달리 FPGA는 특정 기능에 적합한 고유한 설계를 가지고 있으며, AI 추론에 중요한 실시간 데이터 처리와 관련이 있는 경우가 많습니다. FPGA는 하드웨어 수준에서 재프로그래밍이 가능하므로 더 높은 수준의 사용자 정의가 가능합니다.

ASIC은 특정 목적이나 워크로드를 염두에 두고 설계된 AI 가속기로, Cerebras에서 생산한 WSE-3 ASIC 가속기의 경우 딥 러닝과 같은 특정 목적을 위해 설계되었습니다. ASIC은 데이터 과학자가 AI 추론 기능을 가속화하고 비용을 절감하는 데 도움이 됩니다. FPGA와 달리 ASIC은 재프로그래밍할 수 없지만, 단일 목적으로 제작되었기 때문에 일반적으로 다른 범용 가속기보다 성능이 뛰어납니다. TensorFlow 소프트웨어를 사용하여 신경망 머신 러닝을 위해 개발된 Google의 Tensor Processing Unit(TPU)을 예로 들 수 있습니다.

디지털 혁신 여정의 일환으로 AI 애플리케이션에 투자하는 데 관심이 있는 기업은 AI 추론의 이점과 과제에 대해 교육받아야 합니다. 다양한 응용 분야를 철저히 조사하고 이를 활용할 준비가 된 분들을 위해 효과적인 AI 추론을 구축하는 5가지 단계를 소개합니다.

기업에서 필요로 하는 AI 애플리케이션의 종류에 따라 선택할 수 있는 AI 추론의 유형은 다양합니다. 기업이 사물인터넷(IoT) 애플리케이션에 사용할 AI 모델을 구축하려는 경우, 측정 기능을 갖춘 스트리밍 추론이 가장 적합한 선택일 수 있습니다. 그러나 AI 모델이 인간과 상호 작용하도록 설계된 경우 온라인 추론(LLM 기능 포함)이 더 적합할 수 있습니다. 다음은 세 가지 유형의 AI 추론과 각각의 고유한 특징입니다.

온라인 추론이라고도 하는 동적 추론은 가장 빠른 유형의 AI 추론이며 OpenAI의 ChatGPT와 같은 가장 널리 사용되는 LLM AI 애플리케이션에서 사용됩니다. 동적 추론은 요청되는 즉시 아웃풋과 예측을 수행하며, 그 후에는 작동하기 위해 짧은 지연 시간과 데이터에 대한 빠른 액세스가 필요합니다. 동적 추론의 또 다른 특징은 아웃풋이 너무 빨라서 최종 사용자에게 도달하기 전에 이를 검토할 시간이 없다는 것입니다. 이로 인해 일부 기업에서는 품질 관리를 위해 아웃풋과 최종 사용자 사이에 모니터링 계층을 추가하기도 합니다.

일괄 추론은 대량의 데이터를 사용하여 오프라인에서 AI 예측을 생성합니다. 일괄 추론 접근 방식을 사용하면 이전에 수집된 데이터가 ML 알고리즘에 적용됩니다. 몇 초 이내에 아웃풋이 필요한 상황에는 적합하지 않지만, 일괄 추론은 영업 또는 마케팅 대시보드나 위험 평가처럼 하루 종일 또는 일주일에 걸쳐 정기적으로 업데이트되는 AI 예측에 적합할 수 있습니다.

스트리밍 추론은 일반적으로 센서의 정기적인 측정을 통해 공급되는 데이터 파이프라인을 사용하여 데이터를 사용하여 지속적으로 계산과 예측을 수행하는 알고리즘에 이를 공급합니다. 인터넷에 연결된 센서를 통해 발전소나 도시의 교통 상황을 모니터링하는 데 사용되는 AI와 같은 IoT 애플리케이션은 스트리밍 추론에 의존하여 의사 결정을 내립니다.