물리적 AI란 무엇인가요?

물리적 AI는 일반적으로 AI 모델을 센서, 액추에이터 및 기타 제어 시스템과 결합하여 모델이 실제 환경에 작용할 수 있도록 하며, 이를 통해 모델을 비트의 영역에서 물질의 영역으로 확장합니다. AI를 통해 고급 물리 시스템은 환경을 인식하고 대형 언어 모델(LLM)의 능력을 활용해 추론하며, 이에 따라 행동하고 그 결과로부터 학습할 수 있습니다.

물리적 AI를 다른 관점에서 보면 물리적 공간의 시스템에 적용된 AI 기반 모델이라고 할 수 있습니다. 예를 들어 로보틱스는 물리적 기계의 구조와 제어에 초점을 맞춥니다. AI 이전에는 로봇의 동작이 주로 규칙 기반 또는 스크립트 방식이었으며, 로봇은 특정하게 설계된 환경에서 제한된 작업만 수행할 수 있었습니다. 자동차 생산 라인에서 하루에 동일한 용접을 1,000번 수행하는 로봇 팔이나 사전 설정된 이동 규칙을 따르는 초기형 로봇 청소기를 떠올려 볼 수 있습니다.

반면 LLM 기반의 일반적 이해를 갖춘 로봇 AI 에이전트는 제한적이지만 여전히 강력한 “상식”을 바탕으로 세상을 이해합니다. 이러한 모델은 고성능 하이브리드 아키텍처에서 강화 학습 기법과 결합되어 로봇이 일반 지식과 특정 사용 사례에 대한 전문적 이해를 동시에 갖추도록 할 수 있습니다.

또한 물리적 AI는 개별 로봇을 넘어 AI 기반 공장, 에너지 효율적인 스마트 그리드, 자동화 차량 군집 등으로 확장됩니다. 물리적 공간에 존재하는 많은 시스템은 AI로 강화될 수 있습니다.

이전에 물리적 AI 혁신을 가로막았던 여러 병목이 동시에 해소되고 있습니다. 가장 중요하고 첫 번째 요인은 파운데이션 모델을 기반으로 한 생성형 AI의 등장입니다. 오늘날의 대형 컴퓨터 비전 및 멀티모달 모델은 객체를 인식하고 공간적 관계를 이해하며 다양한 환경에 걸쳐 일반화할 수 있습니다. 이는 개별 작업에 필요한 특정 학습량을 줄이고 시스템이 지능을 여러 작업에 걸쳐 재사용할 수 있도록 합니다.

두 번째 과제는 고정밀 물리 모델링, 사실적인 렌더링, 병렬 처리를 결합한 현대 시뮬레이션 기술의 발전으로 극복되고 있습니다. 이로 인해 모델 학습 시간이 크게 단축되었으며, 시뮬레이션은 테스트뿐만 아니라 주요 학습 환경으로도 활용되고 있습니다. 이와 관련된 또 다른 추세는 컴퓨팅 리소스의 폭발적인 증가입니다. GPU와 데이터 센터의 발전은 대규모 학습을 가능하게 만들었습니다.

마지막으로 하드웨어 성능은 그 어느 때보다 향상되었습니다. 최신 로봇은 더 정교한 센서와 더 가벼운 소재를 갖추고 있습니다. 또한 최근의 엣지 AI 발전과 향상된 통신 기술을 활용할 수 있습니다. 이러한 혁신은 소규모 스타트업에게도 실험을 가능하게 만들었습니다. 그 결과 자율주행차부터 산업용 로봇, 수술 및 기타 복잡한 절차를 수행하는 헬스케어 로봇에 이르기까지 물리적 자동화 이니셔티브의 르네상스가 이루어지고 있습니다.

Nvidia CEO Jensen Huang은 “물리적 AI”라는 용어를 대중화하고 이를 AI 기반 혁신의 다음 주요 물결로 규정한 인물로 널리 평가받고 있습니다. 2026년 1월 팟캐스트 인터뷰에서 Huang은 “10억 대의 로봇”이 존재하는 미래를 예측했습니다.¹ 이러한 비전은 이 모든 로봇을 개발하고 유지 관리하는 새로운 글로벌 경제를 포함하며, 이는 지구상에서 가장 큰 산업 중 하나가 되어 제2의 산업 혁명에 해당할 수 있습니다.

같은 달 Nvidia는 물리적 AI를 위한 오픈 모델, 프레임워크 및 고급 AI 인프라를 공개했습니다.² 이 발표에서는 “전체 로봇 개발 수명 주기” 전반의 워크플로를 가속화하는 새로운 기술을 강조했습니다.

Huang은 “로보틱스의 ChatGPT 순간이 도래했다”고 말했습니다.

이 발표에는 물리 기반 합성 데이터 생성과 시뮬레이션에서의 로봇 정책 평가를 가능하게 하는 완전 맞춤형 오픈 월드 모델과, 오픈 추론 비전-언어 모델 및 오픈 추론 비전-언어 액션 모델이 포함되어 있습니다. 이는 새로운 시뮬레이션 및 컴퓨팅 프레임워크와 함께 제공되었습니다.

보도, 공원, 거리에서 사람이나 자신에게 피해를 주지 않고 쓰레기를 자율적으로 수거할 수 있는 이동형 로봇(AMR) 네트워크를 학습시키는 것을 목표로 한다고 가정해 보겠습니다. 이 작업은 단순히 “물체를 집는 것”이 아니라, 쓰레기와 비쓰레기를 구분하고, 혼잡한 환경을 탐색하며, 안전한 경로를 선택하고, 다양한 형태와 크기의 물체를 집는 등 여러 요소를 포함합니다.

목표가 정의되면 로봇은 적절한 형태로 설계되어야 합니다. 휴머노이드 로봇이어야 할까요, 아니면 다른 형태여야 할까요? 바퀴를 사용할까요, 아니면 다리를 사용할까요? 물체를 집는 그리퍼가 필요할까요, 아니면 흡입하는 진공 장치가 필요할까요? 환경을 탐색하기 위해 어떤 종류의 카메라와 센서가 필요할까요?

그 다음에는 일반적으로 시뮬레이션 환경이 구축됩니다. 이러한 환경에는 지형, 쓰레기, 무작위 물체(바위, 벤치, 울타리 등), 사람, 조명 효과 및 다양한 기상 조건이 포함될 수 있습니다.

이 시뮬레이션 학습 환경에서 로봇의 행동을 제어하는 모델은 병과 캔부터 종이 조각과 작은 사탕 포장지에 이르기까지 쓰레기가 어떤 형태인지 학습합니다. 또한 울퉁불퉁한 지형이나 강한 바람 속에서도 균형을 유지하는 방법을 학습합니다. 사람과 충돌을 피하는 방법과 유리병을 집을 수 있을 만큼 충분히 강하게 잡되 깨지지 않도록 조절하는 방법도 학습합니다.

각 학습 실행에서는 더 큰 쓰레기, 다양한 기상 조건, 더 많은 보행자 등 요소의 특성이 변화합니다. 로봇은 “같은 보도를 두 번 보지 않습니다.”

로봇이 정의된 작업을 올바르게 수행하면 높은 점수로 “보상”을 받으며, 이는 최적의 행동을 강화합니다. 여러 번의 반복을 통해 로봇은 작업 수행 방법을 학습합니다.

로봇이 일정 수준의 성공 기준을 넘으면 사람이 많지 않은 조용한 거리와 같은 실제 환경에 배포됩니다. 이후 로봇은 작은 쓰레기를 날리는 바람과 같이 시뮬레이션에 없던 예기치 못한 상황에 대응할 수 있도록 미세 조정됩니다.

이러한 정보는 추가 학습을 위해 시뮬레이션 환경을 개선하는 데 활용됩니다. 그 후 로봇은 밀집된 군중, 낮은 조명, 젖고 미끄러운 표면 등 더 복잡한 환경에서 스트레스 테스트를 거칩니다.

위에서 설명한 보상 메커니즘은 강화 학습의 일부로, 이는 자율 에이전트가 환경과의 시행착오 상호작용을 통해 의사결정을 학습하는 머신러닝 방식입니다. 강화 학습은 에이전트가 시간에 걸쳐 상호작용을 통해 행동을 학습하기 때문에 로보틱스에서 매우 중요하며, 이는 로봇이 물리적 세계에서 수행해야 하는 방식입니다.

현실 세계는 복잡합니다. 표면은 다양하고, 물체는 변형되며, 센서 데이터에는 잡음이 있고, 인간의 행동은 예측하기 어렵습니다. 모든 상황에 대해 고정된 규칙을 작성하는 방식으로는 확장성을 확보할 수 없습니다. 강화 학습은 로봇이 제약 조건 내에서 실험을 통해 스스로 전략을 발견할 수 있도록 합니다. 어떻게 움직여야 하는지를 지시받는 대신, 로봇은 실제 환경에서 어떤 행동이 가장 효과적인지를 학습합니다.

강화 학습은 다른 머신러닝 방법이 한계를 보이는 영역에서 강점을 발휘합니다. 예를 들어 쓰레기를 집는 작업은 대상에 접근하고, 매니퓰레이터를 정렬하고, 힘을 조절하고, 들어 올리는 과정을 포함하며, 이 모든 과정에서 실시간 피드백에 대응해야 합니다. 지도 학습 방법은 이론적으로 “좋은 그립”이 어떤 것인지 라벨링할 수 있지만, 미끄러짐에서 회복하거나 동작 중간에 적응하는 방법을 쉽게 가르치지는 못합니다. 반면 강화 학습은 장기적인 결과를 기반으로 전체 행동 시퀀스를 최적화합니다.

이는 로봇이 학습되는 방식의 한 가지 예일 뿐입니다. 물리적 AI 시스템에는 지도 학습, 비지도 학습, 모방 학습, 시연 기반 학습(LfD)과 같은 다양한 방법이 존재합니다.

물리적 AI의 학습은 몇 가지 이유로 비물리적 자율 시스템의 학습과 다르게 작동합니다.

• 데이터 수집 비용이 높음
   

• 물리 환경은 복잡함
   

• 시간이 매우 중요함
   

• 현실적 위험

전통적인 AI 모델이 텍스트, 이미지, 오디오와 같은 정적인 데이터 세트로 학습되는 반면, 물리적 AI는 일반적으로 로봇이 실제 환경과 상호작용하는 데이터가 필요합니다. 전통적인 머신러닝 학습에서는 데이터를 쉽게 수집, 복사하고 저렴하게 재사용할 수 있습니다. 하지만 물리적 AI는 그렇지 않습니다. 일반적으로 단순히 “데이터 세트를 다운로드”할 수 없습니다.

데이터 수집에는 시간이 걸립니다. 각 데이터 포인트는 로봇이 몸을 움직이거나 물체를 조작하거나, 또는 연속적인 시간 속에서 환경의 변화를 관찰하는 과정을 필요로 합니다. 현실 세계에서는 기계가 고장납니다. 가스켓이 파손되는 등 다양한 문제가 발생하여 양질의 학습 데이터를 수집하는 데 복잡성이 생깁니다.

물리적 AI는 물리 법칙을 반드시 고려해야 합니다. 중력, 마찰, 온도, 토크, 균형, 타이밍, 운동량, 마모, 잡음, 지연 등 현실 세계는 매우 복잡하기 때문에 시뮬레이션 환경에서는 잘 작동하는 모델도 실제 환경에서는 실패하는 경우가 많습니다.

이러한 물리적 불확실성과 복잡성을 다루기 위해 학습에는 물리 기반 모델이나 하이브리드 시스템이 사용될 수 있으며, 여기서 단순한 제어 알고리즘은 안정성을 보장하고 학습 모델은 인식과 의사결정에 집중합니다.

물리적 시스템은 연속적인 시간 속에서 작동합니다. 많은 사용 사례에서 인식, 의사결정, 행동 사이에 최소한의 지연을 갖는 긴밀한 피드백 루프가 필요합니다. 작은 지연도 실패로 이어질 수 있습니다. 속도는 종종 정확도만큼 중요하거나 그보다 더 중요합니다. 다른 AI 분야에서는 일반적으로 가장 정확한 결과를 얻는 것이 중요하지만, 속도까지 고려하면 큰 엔지니어링 과제가 발생합니다.

대부분의 AI 학습 환경에서는 오류가 큰 문제가 되지 않으며 쉽게 무시할 수 있습니다. 그러나 현실 세계에서는 위험 부담이 큽니다. LLM이 디지털 환경에서 잘못된 예측을 하더라도 사람은 이를 따를지 여부를 선택할 수 있습니다. 반면 자율주행차가 앞차의 속도를 잘못 예측하면 치명적인 결과로 이어질 수 있습니다. 따라서 학습 과정에는 제약 조건과 점진적인 자율성 확대가 포함되며, 경우에 따라 인간의 감독과 다양한 모니터링이 필요합니다.

이러한 단점을 해결하기 위해 연구자들은 가상 환경에서 상호작용하는 로봇(대개 가상 로봇)이 생성한 시뮬레이션 환경과 합성 데이터에 크게 의존합니다.

로보틱스 분야에서는 월드 파운데이션 모델(WFM)의 활용이 점점 증가하고 있습니다. WFM은 방대한 실제 데이터를 통해 물리 세계의 동역학(기하 구조, 움직임, 물리)을 학습한 강력한 AI 시스템으로, 물리적 AI 학습을 위한 현실적이고 물리 기반 시나리오를 생성할 수 있습니다.

이러한 시뮬레이션은 종종 공장과 같은 시스템이나 환경의 디지털 트윈을 생성하는 것을 포함합니다. 이 가상 공간에서 자율 기계는 작업을 수행하며, 가상 환경에서의 수행 결과에 대한 합성 데이터를 생성합니다.

시뮬레이션 환경의 특성을 다양한 무작위 방식으로 의도적으로 생성하는 도메인 랜덤화와 같은 기법은 더 유용한 합성 데이터를 생성하는 데 도움을 주며, 그 결과 복잡하고 변동성이 큰 현실 환경에서도 기술을 이전할 수 있는 보다 강건한 모델을 만들 수 있습니다. 그러나 합성 데이터에 과도하게 의존하면 과적합이 발생할 수 있습니다.