AI 에이전트 계획이란 무엇인가요?

AI 에이전트 계획은 많은 유형의 에이전트에서 공통적으로 존재하는 모듈로, 지각, 추론, 의사 결정, 행동, 기억, 통신 및 학습과 같은 다른 모듈과 함께 작동합니다. 계획은 이러한 다른 모듈들과 협력하여 에이전트가 설계자가 원하는 결과를 달성할 수 있도록 돕습니다.

모든 에이전트가 계획을 세울 수 있는 것은 아닙니다. 입력에 즉시 반응하는 간단한 반응형 에이전트와 달리, 계획 에이전트는 미래의 상태를 예측하고 실행 전에 구조화된 행동 계획을 생성합니다. 이러한 이유로 AI 계획은 다단계 의사 결정, 최적화 및 적응력이 필요한 자동화 작업에 필수적입니다.

OpenAI의 GPT와 같은 대규모 언어 모델(LLMs) 및 머신러닝 알고리즘을 활용한 관련 기술의 발전은 최근 몇 년간 생성형 AI(gen AI) 붐을 일으켰으며, 추가적인 발전은 자율 에이전트라는 새로운 분야의 탄생으로 이어졌습니다.

툴, API, 하드웨어 인터페이스 및 기타 외부 리소스를 통합함으로써 에이전틱 AI 시스템은 점점 더 자율성을 갖추게 되었으며, 다양한 사용 사례에서 실시간 의사 결정과 문제 해결을 능숙하게 수행할 수 있게 되었습니다.

복잡한 에이전트는 결정을 내리지 않고는 행동할 수 없으며, 좋은 결정을 내리기 위해서는 먼저 계획을 세워야 합니다. 에이전틱 계획은 최적의 의사 결정을 유도하기 위해 함께 작동하는 몇 가지 주요 요소로 구성됩니다.

목표 정의

AI 계획에서 첫 번째이자 가장 중요한 단계는 명확한 목표를 정의하는 것입니다. 목표는 에이전트의 의사 결정 과정을 이끄는 원칙이 되며, 에이전트가 달성하고자 하는 최종 상태를 결정합니다. 목표는 계획 과정 전반에 걸쳐 변하지 않는 정적 목표일 수도 있고, 환경 조건이나 사용자 상호작용에 따라 조정되는 동적 목표일 수도 있습니다.

예를 들어, 자율 주행 자동차는 안전 규정을 준수하면서 특정 목적지에 효율적으로 도달하는 것을 목표로 삼을 수 있습니다. 명확하게 정의된 목표가 없으면, 에이전트는 방향을 잃어 불규칙하거나 비효율적인 행동을 초래할 수 있습니다.

목표가 복잡한 경우, 에이전틱 AI 모델은 이를 더 작고 관리 가능한 하위 목표로 나누는 작업 분해 과정을 거칩니다. 이를 통해 시스템은 복잡한 작업을 계층적인 방식으로 집중하여 처리할 수 있습니다.

LLMs는 고수준의 목표를 더 작은 하위 작업으로 분해하고, 이러한 하위 작업을 여러 단계를 통해 실행하는 데 중요한 역할을 합니다. 이를 통해 복잡한 작업을 더 쉽게 관리하고 해결할 수 있습니다. 예를 들어, 사용자가 자연어 프롬프트를 사용하여 챗봇에게 여행 계획을 요청할 수 있습니다.

에이전트는 먼저 작업을 항목별로 분해하여 항공편 예약, 호텔 찾기, 일정 계획과 같은 구성 요소로 나눕니다. 작업이 분해되면, 에이전트는 애플리케이션 프로그래밍 인터페이스(API)를 사용하여 실시간 데이터를 가져오고, 가격을 확인하며, 심지어 목적지를 추천할 수 있습니다.

상태 표현

효과적으로 계획을 세우기 위해, 에이전트는 자신의 환경에 대한 구조화된 이해를 가져야 합니다. 이 이해는 상태 표현을 통해 이루어지며, 이는 의사 결정에 영향을 미치는 현재 조건, 제약 사항 및 맥락적 요인들을 모델링합니다.

에이전트는 훈련 데이터나 데이터 세트에서 이전 상호 작용을 나타내는 내장된 지식을 가지고 있지만, 에이전트가 실시간으로 환경을 이해하려면 인식이 필요합니다. 에이전트는 감각 입력을 통해 데이터를 수집하여 자신의 환경을 모델링하고, 사용자 입력과 자신의 내부 상태를 설명하는 데이터를 함께 처리합니다.

상태 표현의 복잡성은 작업에 따라 달라집니다. 예를 들어, 체스 게임에서는 상태가 보드 위의 모든 말의 위치를 포함하지만, 로봇 내비게이션 시스템에서는 상태가 공간 좌표, 장애물 및 지형 조건을 포함할 수 있습니다.

상태 표현의 정확성은 에이전트가 정보에 기반한 결정을 내릴 수 있는 능력에 직접적인 영향을 미칩니다. 이는 에이전트가 자신의 행동 결과를 얼마나 잘 예측할 수 있는지에 달려 있습니다.

행동 순서화

에이전트가 목표를 설정하고 환경을 평가한 후, 현재 상태에서 원하는 목표 상태로 이동하기 위한 일련의 행동을 결정해야 합니다. 이 과정을 행동 순차화라고 하며, 에이전트가 따라야 할 논리적이고 효율적인 단계들을 구조화하는 것을 포함합니다.

에이전트는 가능한 행동을 식별하고, 그 목록을 최적의 행동으로 축소한 후, 행동의 우선순위를 정하고, 환경의 잠재적 변화에 따른 행동 간 의존성과 조건부 단계를 식별해야 합니다. 에이전트는 순서의 각 단계에 자원을 할당하거나, 환경적 제약에 따라 행동을 일정에 맞게 조정할 수 있습니다.

예를 들어, 로봇 청소기는 방을 청소하기 위해 가장 효과적인 경로를 결정해야 하며, 모든 필요한 구역을 청소하면서 불필요한 반복을 피해야 합니다. 만약 행동의 순서가 잘 계획되지 않으면, AI 에이전트는 비효율적이거나 중복된 단계를 수행하게 되어 자원을 낭비하고 실행 시간이 증가할 수 있습니다.

ReAct 프레임워크는 동적인 의사 결정을 처리하기 위해 AI에서 사용되는 방법론입니다. ReAct 프레임워크에서 추론은 에이전트가 특정 목표를 달성하기 위해 필요한 행동이나 전략을 결정하는 인지 과정입니다.

이 단계는 에이전틱 AI의 계획 단계와 유사하며, 에이전트가 문제를 해결하거나 작업을 수행하기 위한 일련의 단계를 생성하는 과정입니다. 기타 새로운 프레임워크로는 ReWOO, RAISE, Reflexion이 있으며, 각각 고유한 강점과 약점이 있습니다.

최적화 및 평가

AI 계획은 종종 목표를 달성하기 위한 가장 최적의 경로를 선택하는 것과 관련이 있으며, 특히 여러 옵션이 있을 때 그렇습니다. 최적화는 에이전트가 선택한 행동 순서가 상황에 맞게 가장 효율적이고 비용 효율적이거나 기타 유리한 결과를 도출하도록 돕습니다. 이 과정은 종종 시간, 자원 소비, 위험 및 잠재적 보상과 같은 다양한 요소를 평가하는 것을 필요로 합니다.

예를 들어, 물품을 검색하는 임무를 맡은 창고 로봇은 충돌을 피하고 운영 시간을 줄이기 위해 가장 짧고 안전한 경로를 결정해야 합니다. 적절한 최적화가 없으면, AI 에이전트는 기능적으로는 실행 가능하지만 최적이 아닌 계획을 실행할 수 있으며, 이로 인해 비효율성이 발생할 수 있습니다. 의사 결정을 최적화하기 위해 다음과 같은 여러 가지 방법을 사용할 수 있습니다.

휴리스틱 검색

휴리스틱 검색 알고리즘은 목표를 향해 나아가는 최적 경로를 추정하여 에이전트가 최적의 해결책을 찾도록 돕습니다. 이러한 알고리즘은 주어진 상태가 원하는 목표에 얼마나 가까운지를 수학적으로 추정하는 휴리스틱 함수에 의존합니다. 휴리스틱 검색은 에이전트가 빠르게 최적 경로를 찾아야 하는 구조화된 환경에서 특히 효과적입니다.

강화 학습

강화 학습은 시행착오를 통해 에이전트가 계획을 최적화하고 시간이 지남에 따라 최상의 결과로 이어지는 행동 순서를 학습할 수 있도록 합니다. 에이전트는 환경과 상호 작용하면서 보상이나 페널티 형태의 피드백을 받고, 이를 바탕으로 자신의 전략을 지속적으로 개선해 나갑니다.

확률적 계획

실제 시나리오에서 AI 에이전트는 종종 결과가 결정론적이지 않은 불확실한 환경에서 작동합니다. 확률적 계획 방법은 여러 가능한 결과를 평가하고 가장 높은 예상 효용을 가진 행동을 선택함으로써 불확실성을 고려합니다.

협업

단일 에이전트 계획도 중요하지만, 다중 에이전트 시스템에서는 AI 에이전트들이 개별적이거나 집합적인 목표를 달성하기 위해 서로 상호 작용하면서 자율적으로 작업해야 합니다.

다중 에이전트 시스템에서 AI 에이전트의 계획 과정은 단일 에이전트보다 더 복잡합니다. 에이전트는 자신의 행동만 계획하는 것이 아니라, 다른 에이전트의 행동과 그들의 결정이 서로 어떻게 상호 작용하는지도 고려해야 합니다.

에이전틱 아키텍처에 따라 시스템의 각 에이전트는 일반적으로 개별적인 목표를 가지고 있으며, 이 목표는 특정 작업을 수행하거나 보상 함수를 최대화하는 것을 포함할 수 있습니다. 많은 다중 에이전트 시스템에서 에이전트들은 공동의 목표를 달성하기 위해 함께 작업해야 합니다.

이러한 목표는 전체 시스템에 의해 정의되거나 에이전트들의 상호 작용을 통해 발생할 수 있습니다. 에이전트들은 목표를 전달하고 조정할 수 있는 메커니즘이 필요하며, 특히 협력적인 시나리오에서는 더욱 중요합니다. 이는 명시적인 메시징, 공유된 작업 정의 또는 암묵적인 조정을 통해 이루어질 수 있습니다.

다중 에이전트 시스템에서 계획은 중앙 집중식으로 이루어질 수 있으며, 이 경우 단일 엔터티 또는 컨트롤러(주로 LLM 에이전트)가 전체 시스템을 위한 계획을 생성합니다.

각 에이전트는 이 중앙 권한으로부터 지시나 계획을 받습니다. 또한 분산화될 수 있으며, 이 경우 에이전트는 자체적으로 계획을 생성하지만 서로 협력하여 서로 일치하도록 하고 글로벌 목표에 기여하도록 합니다. 이는 종종 통신 및 협상이 필요합니다.

이 협력적인 의사 결정 과정은 효율성을 향상시키고, 작업 실행에서 편향을 줄이며, 교차 검증과 합의 구축을 통해 할루시네이션을 피하는 데 도움이 되고, 에이전트들이 공동의 목표를 향해 작업하도록 장려합니다.

에이전틱 AI 워크플로의 단계들은 항상 엄격한 단계별 선형 방식으로 발생하는 것은 아닙니다. 이러한 단계들은 개념적으로는 종종 구분되지만, 실제로는 작업의 성격과 에이전트가 작동하는 환경의 복잡성에 따라 자주 서로 얽히거나 반복적으로 진행됩니다.

AI 솔루션은 설계에 따라 달라질 수 있지만, 전형적인 에이전틱 워크플로에서는 계획 후 다음 단계가 행동 실행입니다. 이 단계에서 에이전트는 계획에 정의된 행동을 수행합니다. 이는 작업을 수행하고 검색 보강 생성(RAG), 툴 사용 및 기능 호출(도구 호출)을 통해 외부 시스템이나 지식 기반과 상호 작용하는 것을 포함합니다.

이러한 능력을 위한 AI 에이전트를 구축하려면 LangChain이 필요할 수 있습니다. Python 스크립트, JSON 데이터 구조 및 기타 프로그래밍 툴은 AI의 의사 결정 능력을 향상시킵니다.

계획을 실행한 후, 일부 에이전트는 메모리를 사용하여 자신의 경험으로부터 학습하고 그에 따라 행동을 반복 수정할 수 있습니다.

동적 환경에서는 계획 과정이 적응적이어야 합니다. 에이전트는 환경과 다른 에이전트의 행동에 대한 피드백을 지속적으로 받고, 그에 맞게 계획을 조정해야 합니다. 이는 목표를 수정하거나, 행동 순서를 조정하거나, 새로운 에이전트가 시스템에 들어오거나 나가는 상황에 적응하는 것을 포함할 수 있습니다.

에이전트가 현재 계획이 더 이상 실행 가능하지 않다는 것을 감지하면(예를 들어, 다른 에이전트와의 충돌이나 환경 변화로 인해), 전략을 조정하기 위해 재계획에 착수할 수 있습니다. 에이전트는 행동을 취하기 전에 목표에 도달하는 데 필요한 단계를 숙고하는 과정인 생각의 연결고리 추론을 사용하여 전략을 조정할 수 있습니다.