AI 에이전트란 무엇인가요?

AI 에이전트는 자연어 처리 외에도 의사 결정, 문제 해결, 외부 환경과의 상호 작용, 작업 실행 등 다양한 기능을 포괄할 수 있습니다.

AI 에이전트는 소프트웨어 설계, IT 자동화, 코드 생성, 대화형 어시스턴트에 이르는 엔터프라이즈 애플리케이션에서 복잡한 작업을 해결합니다. 이는 대규모 언어 모델(LLM)의 고급 자연어 처리 기술을 사용하여 사용자 입력을 단계별로 이해하고 응답하며 외부 도구를 호출할 시점을 결정합니다.

AI 에이전트의 핵심은 대규모 언어 모델(LLM)입니다. 이러한 이유로 AI 에이전트는 종종 LLM 에이전트라고 불립니다. IBM Granite 모델과 같은 기존 LLM은 학습에 사용된 데이터를 기반으로 응답을 생성하며 지식과 추론의 한계에 제약을 받습니다. 반면 에이전트 기술은 백엔드에서 툴 호출을 사용하여 최신 정보를 얻고, 워크플로를 최적화하며, 복잡한 목표를 달성하기 위해 자율적으로 하위 작업을 생성합니다.

이 과정에서 자율적인 에이전트는 시간이 지남에 따라 사용자의 기대에 적응하는 방법을 학습합니다. 에이전트는 과거 상호 작용을 메모리에 저장하고 향후 조치를 계획하는 능력을 이용해 개인화된 경험과 종합적인 대응을 제공합니다.¹ 이 도구의 호출은 사람의 개입 없이 이루어질 수 있으며 이러한 AI 시스템의 실제 적용 가능성을 넓힙니다. 이 세 단계 또는 에이전트 구성 요소는 에이전트가 작동하는 방식을 다음과 같이 정의합니다.

AI 에이전트는 의사 결정 과정에서 자율적이지만 인간이 정의한 목표와 사전 정의된 규칙이 필요합니다.² 자율 에이전트 행동에 영향을 미치는 세 가지 주요 요인은 다음과 같습니다.

• 에이전틱 AI 시스템을 설계하고 교육하는 개발자 팀. 
• 에이전트를 배포하고 사용자에게 에이전트에 대한 액세스 권한을 제공하는 팀.
• AI 에이전트에 달성해야 할 특정한 목표를 제공하고 사용할 수 있는 도구를 설정하는 사용자

사용자의 목표와 에이전트가 사용할 수 있는 툴이 주어지면 AI 에이전트는 작업 분해를 수행하여 성능을 개선합니다.³ 기본적으로 에이전트는 복잡한 목표를 달성하기 위해 특정 작업 및 하위 작업에 대한 계획을 수립합니다.

간단한 작업의 경우 계획 단계가 꼭 필요하지는 않습니다. 대신, 에이전트는 다음 단계를 계획하지 않고도 응답을 반복적으로 반영하고 개선할 수 있습니다.

AI 에이전트는 자신이 인식한 정보를 기반으로 행동합니다. 그러나 복잡한 목표 안에 있는 모든 하위 작업을 처리하는 데 필요한 완전한 지식이 부족한 경우가 많습니다. 그래서 이 격차를 해소하기 위해 외부 데이터 세트, 웹 검색, API는 물론 다른 에이전트까지 동원합니다.

누락된 정보가 수집되면 에이전트는 지식 기반을 업데이트하고 에이전틱 추론에 돌입합니다. 이 과정에서 실행 계획을 계속 재평가하고 자체 수정하여, 더욱 철저하게 정보에 입각한 적응형 의사 결정을 내릴 수 있습니다.

이 과정을 설명하기 위해, 사용자가 휴가를 계획하는 상황을 상상해 보겠습니다. 사용자가 AI 에이전트에게 내년에 그리스에서 서핑을 하기에 가장 좋은 날씨가 될 것 같은 주를 예측해 달라고 요청합니다. 

에이전트의 핵심인 LLM 모델이 날씨 패턴에 특화되어 있지 않으므로, 에이전트는 내부 지식에만 의존할 수 없습니다. 그래서 지난 몇 년간의 그리스 일일 일기 예보로 구성된 외부 데이터베이스에서 정보를 수집합니다.

이 새로운 정보를 얻었음에도 불구하고 에이전트는 여전히 서핑을 위한 최적의 기상 조건을 결정할 수 없으므로 다음 하위 작업이 생성됩니다. 이 하위 작업의 경우 에이전트는 서핑을 전문으로 하는 외부 에이전트와 통신합니다. 이를 통해 에이전트가 만조와 비가 거의 내리지 않는 화창한 날씨가 최상의 서핑 조건을 제공한다는 사실을 알게 되었다고 가정해 보겠습니다.

이제 에이전트는 툴에서 학습한 정보를 결합하여 패턴을 식별할 수 있습니다. 내년 그리스의 어느 주에 만조가 있고 화창한 날씨가 있으며 비가 올 확률이 낮을지 예측할 수 있습니다. 그런 다음 이러한 결과가 사용자에게 제공됩니다. 이러한 툴 간의 정보 공유를 통해 AI 에이전트는 기존 AI 모델보다 더 범용적으로 사용할 수 있습니다.³

AI 에이전트는 다른 AI 에이전트 및 HITL(Human-in-the-Loop)과 같은 피드백 메커니즘을 사용하여 응답의 정확도를 높입니다. 이 과정을 자세히 살펴보기 위해 이전 서핑 예시로 돌아가 보겠습니다. 에이전트가 사용자에 대한 응답을 형성한 후 에이전트는 사용자의 피드백과 함께 학습된 정보를 저장하여 성능을 개선하고 향후 목표를 위해 사용자의 선호도에 맞게 조정합니다.

목표 달성을 위해 다른 에이전트를 활용했다면 이들의 피드백도 사용할 수 있습니다. 다중 에이전트 피드백을 사용하면 인간 사용자가 지시를 내리는 데 드는 시간을 최소화하는 데 특히 유용합니다. 그러나 사용자는 의도한 목표에 부합하도록 결과를 조정하기 위해 에이전트의 작업 및 내부 추론 전반에 걸쳐 피드백을 제공할 수 있습니다.²

피드백 메커니즘은 AI 에이전트의 추론과 정확성을 향상하며, 이를 일반적으로 반복적 개선이라고 합니다.³ 동일한 실수를 반복하지 않기 위해 AI 에이전트는 이전 장애물의 솔루션에 대한 데이터를 지식 기반에 저장할 수도 있습니다.

AI 챗봇은 자연어 처리(NLP)와 같은 대화형 AI 기술을 사용하여 사용자 질문을 이해하고 이에 대한 응답을 자동화합니다. 이러한 챗봇이 하나의 양식이라면, 에이전시는 기술 프레임워크입니다.

비에이전틱 AI 챗봇은 사용 가능한 툴, 메모리 또는 추론이 없는 챗봇으로, 단기적인 목표를 달성할 수 있을 뿐 앞으로의 계획을 세울 수는 없습니다. 아시다시피 비에이전틱 챗봇은 사용자가 계속 내용을 입력해야 답변을 내놓을 수 있습니다.

사용자 기대치에 부합할 가능성이 가장 높은 일반적인 프롬프트에 대한 응답을 생성할 수 있지만 사용자 및 사용자 데이터에 고유한 질문에 대해서는 성능이 떨어집니다. 이러한 챗봇은 메모리를 보유하지 않기 때문에 응답이 만족스럽지 않을 경우 실수로부터 학습할 수 없습니다.

반면, 에이전틱 AI 챗봇은 시간이 지남에 따라 사용자의 기대에 적응하는 방법을 학습하여 보다 개인화된 경험과 포괄적인 응답을 제공합니다. 사람의 개입 없이도 하위 작업을 생성하고 다양한 계획을 고려하여 복잡한 작업을 완료할 수 있습니다. 이러한 계획은 필요에 따라 스스로 수정하고 업데이트할 수도 있습니다. 에이전틱 AI 챗봇은 비에이전틱 챗봇과 달리 툴을 평가하고 사용 가능한 리소스를 사용하여 정보 격차를 메웁니다.

AI 에이전트를 구축하기 위한 하나의 표준 아키텍처는 없습니다. 다단계 문제를 해결하기 위한 여러 패러다임이 존재합니다.

ReAct 패러다임을 사용하면 상담원에게 각 조치를 취한 후, 그리고 각 툴 응답을 통해 '생각'하고 계획하여 다음에 사용할 도구를 결정하도록 지시할 수 있습니다. 이러한 Think-Act-Observe 루프는 문제를 단계별로 해결하고 응답을 반복적으로 개선하는 데 사용됩니다.

프롬프트 구조를 통해 에이전트에게 천천히 추론하고 각 '생각'을 표시하도록 지시할 수 있습니다.⁴ 에이전트의 언어적 추론을 통해 응답이 어떻게 형성되는지에 대한 인사이트를 얻을 수 있습니다. 이 프레임워크에서 에이전트는 새로운 추론으로 컨텍스트를 지속적으로 업데이트합니다. 이 접근 방식은 일련의 사고 자극의 한 형태로 해석될 수 있습니다.

ReWOO 방법은 ReAct와 달리 행동 계획을 위해 도구 출력에 대한 의존하지 않습니다. 대신 에이전트는 미리 계획을 세웁니다. 사용자로부터 초기 프롬프트를 받을 때 사용할 도구를 예상하여 중복 도구 사용을 방지합니다. 이 접근 방식은 사용자가 계획을 실행하기 전에 확인할 수 있기 때문에 인간 중심의 관점에서 바람직합니다.

ReWOO 워크플로는 세 가지 모듈로 구성되어 있습니다. 계획 모듈에서 에이전트는 사용자의 프롬프트에 따라 다음 단계를 예상합니다. 다음 단계에서는 이러한 도구를 호출하여 생성된 아웃풋을 수집합니다. 마지막으로 에이전트는 초기 계획과 툴 아웃풋을 페어링하여 응답을 공식화합니다. 이렇게 미리 계획하면 토큰 사용량과 계산 복잡성을 크게 줄일 수 있을 뿐만 아니라 중간 툴 실패로 인한 영향도 줄일 수 있습니다.⁵

AI 에이전트는 다양한 수준의 기능을 갖추도록 개발할 수 있습니다. 불필요한 계산상의 복잡성을 제한하기 위한 간단한 목표에는 간단한 에이전트가 선호될 것입니다. 가장 간단한 것부터 고급까지 5가지 에이전트 유형이 있습니다.

단순 반사 에이전트는 인식에 따라 행동을 취하는 가장 간단한 에이전트 형태입니다. 이 에이전트는 메모리를 보유하지 않으며 정보가 누락된 경우 다른 에이전트와 상호 작용하지도 않습니다. 이 에이전트는 소위 반사 신경 또는 규칙이라고 불리는 일련의 규칙에 따라 기능합니다. 이 행동의 의미는, 에이전트가 충족되는 특정 조건에 해당하는 작업을 수행하도록 사전 프로그래밍되어 있다는 것입니다.

에이전트가 준비되지 않은 상황에 직면하면 적절하게 대응할 수 없습니다. 에이전트는 완전히 관찰 가능한 환경에서 효과적이며 필요한 모든 정보에 대한 액세스 권한을 부여합니다.⁶

예: 오후 8시가 되면 난방이 켜집니다. 예를 들어 온도 조절기가 매일 밤 정해진 시간에 난방 시스템을 켭니다.

모델 기반 반사 작용 에이전트는 현재 인식과 기억을 모두 사용하여 세계에 대한 내부 모델을 유지합니다. 에이전트가 계속해서 새로운 정보를 받으면 모델이 업데이트됩니다. 에이전트의 행동은 모델, 반사 신경, 이전의 규율 및 현재 상태에 따라 다릅니다.

이러한 에이전트는 단순한 반사 에이전트와 달리 메모리에 정보를 저장할 수 있으며 부분적으로 관찰 가능하고 변화하는 환경에서 작동할 수 있습니다. 그러나 이들은 여전히 이들의 규칙 세트에 의해 제한을 받습니다.⁶

예: 로봇 진공 청소기. 더러운 방을 청소할 때 가구와 같은 장애물을 감지하고 그 주변을 조정합니다. 또한 로봇은 이미 청소한 영역의 모델을 저장하여 반복되는 청소 루프에 갇히지 않도록 합니다.

목표 기반 에이전트는 해당 환경의 내부 모델과 목표 또는 목표 집합을 가지고 있습니다. 이러한 에이전트는 목표에 도달하는 작업 시퀀스를 검색하고 이러한 작업을 계획한 후 실행에 옮깁니다. 이러한 검색 및 계획은 단순 모델 기반 반사 에이전트와 비교할 때 그 효과를 향상시킵니다.⁷

예: 목적지까지 가장 빠른 경로를 추천하는 내비게이션 시스템. 이 모델은 목적지 또는 목표에 도달하는 다양한 경로를 고려합니다. 이 예에서 에이전트의 조건-행동 규칙은 더 빠른 경로가 발견되면 에이전트가 그 경로를 대신 추천하도록 명시합니다.

유틸리티 기반 에이전트는 목표에 도달하는 일련의 작업을 선택하고 효용 또는 보상을 극대화합니다. 효용은 유틸리티 함수를 통해 계산됩니다. 이 함수는 일련의 고정 기준에 따라 각 시나리오에 작업의 유용성 또는 에이전트를 얼마나 '행복하게' 만드는지 측정하는 지표인 유틸리티 값을 할당합니다.

기준에는 목표에 대한 진행 상황, 시간 요구 사항 또는 계산 복잡성과 같은 요소가 포함될 수 있습니다. 그런 다음 에이전트는 예상되는 효용을 극대화하는 작업을 선택합니다. 따라서 이러한 에이전트는 여러 시나리오가 원하는 목표를 달성하고 최적의 시나리오를 선택해야 하는 경우에 유용합니다.⁷

예: 예: 연비를 최적화하고 교통 체증 시간과 통행료 비용을 최소화하는 목적지까지의 경로를 추천하는 내비게이션 시스템. 이 에이전트는 가장 유리한 경로를 선택하기 위해 이 기준 집합을 통해 유용성을 측정합니다.

학습 에이전트는 다른 에이전트 유형과 동일한 기능을 갖지만 학습 능력이 독특합니다. 초기 지식 기반에 새로운 경험이 추가되며 이는 자율적으로 이루어집니다. 이러한 학습을 통해 에이전트가 낯선 환경에서 작동할 수 있는 능력이 향상됩니다. 학습 에이전트는 유용성이나 목표를 기반으로 추론할 수 있으며 다음과 같은 네 가지 주요 요소로 구성됩니다. ⁷

• 학습: 계율과 센서를 통해 환경으로부터 학습하여 에이전트의 지식을 향상시키는 단계입니다.
• 비판: 에이전트에게 응답 품질이 성능 표준을 충족하는지 여부에 대한 피드백을 제공하는 요소입니다.
• 성과: 이 요소는 학습 시 행동을 선택하는 역할을 합니다.
• 문제 생성기: 이는 취해야 할 조치에 대한 다양한 제안을 생성하는 모듈입니다. 

예: 전자 상거래 사이트에서 개인화된 추천. 이러한 에이전트는 사용자의 활동과 선호 사항을 메모리에서 추적합니다. 이 정보는 사용자에게 특정 제품과 서비스를 추천하는 데 사용됩니다. 이 주기는 새로운 권장 사항이 만들어질 때마다 반복됩니다. 사용자의 활동은 학습 목적으로 지속적으로 저장됩니다. 이를 통해 에이전트의 정확도는 시간이 지남에 따라 향상됩니다.

생성형 AI와 머신 러닝이 지속적으로 발전하면서 AI를 통한 워크플로 최적화 또는 지능형 자동화에 대한 관심이 높아지고 있습니다. AI 에이전트는 인적 자원이 필요한 복잡한 작업을 자동화할 수 있는 AI 툴입니다. 이렇게 변화가 찾아오면 저렴하고 신속하게 대규모로 목표를 달성할 수 있습니다. 이러한 발전은 결국 인간 상담원이 AI 어시스턴트에게 작업을 생성하고 탐색하기 위해 방향을 제시할 필요가 없다는 것을 의미합니다.

다중 에이전트 프레임워크는 단일 에이전트보다 성능이 우수한 경향이 있습니다.¹¹ 이는 에이전트가 사용할 수 있는 행동 계획이 많을수록 더 많은 학습과 성찰이 이루어지기 때문입니다.

관련 분야를 전문으로 하는 다른 AI 에이전트의 지식과 피드백을 통합하는 AI 에이전트는 정보 종합에 유용할 수 있습니다. AI 에이전트의 이러한 백엔드 협업과 정보 격차를 메우는 능력은 에이전트 프레임워크에 고유한 것으로, 강력한 툴이자 인공 지능의 의미 있는 발전입니다.

AI 에이전트는 기존 AI 모델보다 더 포괄적이고 정확하며 개인화된 응답을 사용자에게 제공합니다. 이 적응성이 우리에게 중요한 것은, 보통 응답 품질이 높을수록 고객 경험이 향상되기 때문입니다. 앞서 설명한 것처럼 이 기능이 실현될 수 있는 것은, 다른 에이전트와 정보를 교환하고 외부 도구를 통해 메모리 스트림을 업데이트하기 때문입니다. 이러한 행동은 자체적으로 이루어지며 사전 프로그래밍되지 않습니다.¹²

특정 복잡한 작업에는 여러 AI 에이전트의 지식이 필요합니다.이러한 다중 에이전트 프레임워크의 오케스트레이션에는 오작동의 위험이 따릅니다.동일한 파운데이션 모델을 기반으로 구축된 다중 에이전트 시스템에는 공통적인 문제가 발생할 수 있습니다. 이러한 취약점은 관련된 모든 에이전트의 시스템 전체에 장애를 일으키거나 악의적인 공격에 취약성을 노출시킬 수 있습니다.¹³ 이는 파운데이션 모델을 구축하는 데 있어 데이터 거버넌스와 철저한 교육 및 테스트 프로세스의 중요성을 강조합니다.

AI 에이전트가 인간 사용자에게 선사하는 편리한 자동 추론에는 위험도 따릅니다. 종합적인 계획을 수립하거나 결과를 반영할 수 없는 에이전트는 동일한 도구를 반복적으로 호출하여 무한 피드백 루프를 호출할 수 있습니다. 이러한 중복을 방지하기 위해  실시간 인간 모니터링이 어느 정도 사용될 수 있습니다.¹³

AI 에이전트를 처음부터 구축하는 것은 시간이 많이 걸리고 컴퓨팅 비용도 많이 들 수 있습니다. 고성능 에이전트를 교육하는 데 필요한 리소스는 방대할 수 있습니다. 또한 작업의 복잡성에 따라 에이전트가 작업을 완료하는 데 며칠이 걸릴 수 있습니다.¹²

관리가 잘못되면 AI 에이전트와 비즈니스 프로세스, 고객 관리 시스템 통합이 심각한 보안 문제로 이어질 수 있습니다. 예를 들어 AI 에이전트가 소프트웨어 개발 프로세스를 주도하고, 코딩 코파일럿을 다음 단계로 끌어올리거나, 고객의 가격을 결정한다고 상상해 봅시다. 에이전트 AI는 실험적이고 예측할 수 없는 행동을 종종 하기에, 이러한 시나리오는 해로운 결말을 불러올 수 있습니다.

따라서 IBM, Microsoft, OpenAI와 같은 AI 기업이 반드시 선제적 대응 체계를 유지해야 합니다. 이들 기업은 민감한 직원 및 고객 데이터가 안전하게 저장되도록 광범위한 보안 프로토콜을 구현해야 합니다. 위험을 최소화하고 빠르게 발전하는 기술을 계속 신뢰하기 위해서는 책임감 있는 배포 관행이 중요합니다.

다중 에이전트 종속성 문제를 해결하기 위해 개발자는 사용자에게 에이전트 작업 로그에 대한 액세스 권한을 제공할 수 있습니다.¹⁴ 작업에는 외부 도구 사용이 포함될 수 있으며 목표 달성에 사용되는 외부 에이전트에 대한 설명을 제공합니다. 이러한 투명성은 사용자에게 반복적인 의사 결정 프로세스에 대한 통찰력을 부여하고 오류를 발견할 수 있는 기회를 제공하며 신뢰를 구축합니다.

자율 AI 에이전트가 지나치게 오랜 시간 동안 실행되지 않도록 하는 것이 좋습니다. 특히 의도하지 않은 무한 피드백 루프가 발생하거나 특정 툴에 대한 액세스가 변경되거나 설계 결함으로 인한 오작동이 발생할 경우 더욱 그렇습니다. 이 목표를 달성하는 한 가지 방법은 중단 가능성을 구현하는 것입니다.

이 결정에 대한 통제력을 유지하려면 인간 사용자가 일련의 작업 또는 전체 작업을 정상적으로 중단할 수 있는 옵션을 허용해야 합니다. AI 에이전트를 중단할지 여부와 그 시기를 선택하려면 일부 중단은 득보다 실이 더 클 수 있으므로 신중하게 결정해야 합니다. 예를 들어, 생명을 위협하는 응급 상황에서는 결함이 있는 에이전트가 계속 지원하도록 허용하는 것이 완전히 종료하는 것보다 더 안전할 수 있습니다.⁵

에이전트 시스템이 악의적인 용도로 사용되는 위험을 줄이기 위해 고유 식별자를 도입할 수 있습니다. 에이전트의 외부 시스템 액세스에 이러한 식별자를 필수 요건으로 만들면 에이전트 개발자, 배포자 및 사용자의 출처를 더 쉽게 추적할 수 있습니다.

이 접근 방식은 필수적인 책임 계층을 추가합니다. 추적 가능성은 에이전트가 악의적 사용이나 의도치 않은 피해를 일으킬 때 책임 당사자를 식별하는 데 도움이 됩니다. 궁극적으로 이러한 종류의 보호 조치는, AI 에이전트를 위한 보다 안전한 운영 환경을 조성할 것입니다.

특히 새로운 환경에 적응하는 초기 단계에서 AI 에이전트의 학습 과정을 도우려면, 어느 정도의 인간의 감독이 도움이 될 수 있습니다. 그래서 이 가이드에 따르면, AI 에이전트는 자신의 성능을 기대 수준과 비교해 조정을 할 수 있습니다. 이러한 형태의 피드백은 사용자 선호도에 대한 에이전트의 적응력을 향상하는 데 도움이 됩니다.⁵

이 보호조치 외에도 AI 에이전트가 영향력이 큰 조치를 취하기 전에 사람의 승인을 받도록 하는 것이 좋습니다. 예를 들어 대량 이메일 전송부터 금융 거래에 이르는 모든 작업에는 사람의 확인이 필요합니다.⁷ 이러한 고위험 도메인의 경우 일정 수준의 인간 모니터링이 권장됩니다.