유틸리티 기반 에이전트란 무엇인가요?

효용 기반 에이전트의 목표는 각 행동에서 효용 함수를 최대한 활용하는 것입니다. AI 에이전트는 목표를 달성하기 위해 효용 함수의 결과를 사용하여 다음으로 가장 유익한 작업을 선택합니다.

효용 기반 에이전트의 주요 구성 요소는 다음과 같습니다.

• 효용 함수
   

• 센서
   

• 내부 모델
   

• 작업 선택 메커니즘
   

• 액추에이터

효용 함수는 에이전트가 취할 수 있는 모든 조치의 이점을 평가하는 방법을 나타내는 수학 방정식입니다. 이는 본질적으로 에이전트의 가치 시스템이며, 에이전트가 선택을 할 때 관련 요소의 우선순위를 정하는 방법을 나타냅니다. 

효용 함수는 잠재적 작업의 각 결과에 숫자 값을 할당하여 에이전트가 유지해야 하는 선호도를 정량화합니다. 효용 기반 에이전트는 효용 함수를 사용하여 복잡한 환경을 협상하고 장단점을 평가하며 선택의 유용성을 극대화합니다. 

좋은 효용 함수는 안전, 효율성, 리소스 할당 및 다목적 기회 비용과 같은 여러 고려 사항을 감안합니다. 효용 함수는 효용 기반 에이전트의 핵심이며, 다양한 AI 에이전트와 구분되는 중요한 요소입니다.

효용 기반 에이전트는 센서를 사용하여 실제 환경을 인식합니다. 센서는 카메라, 온도계와 같은 물리적 센서일 수도 있고, API 연결 및 시뮬레이션과 같은 디지털 센서일 수도 있습니다. 에이전틱 AI 인식은 복잡한 알고리즘을 사용하여 환경 데이터를 필터링하고 정보에 입각한 의사 결정을 위해 가장 중요하고 관련성 높은 데이터 포인트를 분리합니다.

효용 기반 에이전트는 실제 환경에 대한 단순화된 내부 모델을 유지합니다. 모델은 에이전트의 센서에서 인식한 데이터를 기반으로 생성되고 업데이트됩니다. 내부 모델은 시간 경과에 따른 환경 데이터를 추적함으로써 에이전트의 환경에 대해 관찰할 수 없는 데이터를 추론할 수도 있습니다.

많은 효용 기반 에이전트는 환경의 가능한 상태와 상태가 변경되는 시기와 방식의 기준을 설정하는 세계의 상태 전환 모델을 사용합니다. 상태 전환 모델은 시스템 또는 동적 환경이 시간이 지남에 따라 어떻게 변할 수 있는지 보여줍니다. 고급 상태 전환 모델은 환경이 언제든지 현재 상태를 변경할 확률을 계산합니다. 

효용 함수는 각 상태에 값을 할당하고, 에이전트는 환경을 효용성이 가장 높은 미래 상태로 이동하는 것을 목표로 합니다. 상태 전환 모델은 에이전트가 확실성이 아닌 확률에 대해 추론해야 하는 확률적 또는 동적 환경에서 특히 유용합니다.

조치 선택 메커니즘은 에이전트의 AI 의사 결정 구성 요소입니다. 에이전트는 내부 모델의 현재 상태를 기반으로 수행할 수 있는 모든 잠재적 조치의 목록을 생성합니다. 조치 선택 알고리즘은 효용 함수를 사용하여 다양한 조치를 모두 평가하고 전체 이익을 극대화하도록 에이전트의 선택을 최적화합니다.

일부 최신 구현에서는 대규모 언어 모델(LLM)을 사용하여 복잡한 높은 수준의 목표에 대해 추론하거나 모호한 입력을 구조화된 효용 계산으로 변환하기 전에 해석합니다.

액추에이터 또는 성능 요소를 통해 에이전트는 주변 환경에 맞게 작동할 수 있습니다. 물리적 액추에이터는 제조 라인의 로봇 암, 스마트 홈의 온도를 제어하는 온도 조절기 또는 자율주행 차량 전체일 수 있습니다. 가상 또는 디지털 액추에이터는 API 연결, 챗봇 인터페이스 또는 소프트웨어 아웃풋일 수 있습니다.

효용 기반 에이전트는 동작을 안내하는 표준 내부 워크플로를 공유합니다.

1. 인식
    

2. 내부 모델링  

3. 작업 생성
    

4. 결과 예측
    

5. 효용 평가
    

6. 조치 선택

7. 조치

에이전트는 센서를 사용하여 환경을 인식하고 데이터를 수집합니다 이 데이터는 에이전트에게 자신의 상태와 환경의 현재 상태를 알리는 데 사용됩니다.

에이전트는 센서의 현재 인식을 사용하여 환경의 내부 모델을 실시간으로 업데이트합니다. 이를 통해 에이전트는 주변 환경과 의사 결정 과정에 영향을 미치는 관련 요인을 이해할 수 있습니다.

에이전트는 검색 및 최적화 알고리즘을 사용하여 내부 모델의 상태에 따라 수행할 수 있는 잠재적 조치 목록을 생성합니다. 조치 생성 및 선택 기법은 에이전트가 새로운 아이디어를 고려하고 검증된 결과를 통해 과거의 경험을 참조하도록 장려하여 신뢰할 수 있는 성능을 유지합니다. 
 
실제로 많은 에이전트가 가능한 조치의 전체 목록을 명시적으로 생성하지 않으며, 대신 최적화 또는 강화 방법을 사용하여 연속적인 조치 공간 내에서 가장 가능성이 높은 조치를 평가합니다.

이전 단계에서 생성된 각 조치에 대해 에이전트는 상태 전환 모델을 사용하여 예상 결과를 예측합니다. 이 모델은 에이전트가 특정 조치를 취할 때 특정 상태에 도달할 확률을 계산합니다.

에이전트의 조치 선택 메커니즘은 생성된 각 조치 및 관련 가능한 결과에 효용 함수를 적용합니다. 이 함수는 가능한 각 선택에 대한 수치 효용 점수를 반환합니다. 점수가 높을수록 전반적인 효용이 큰 것입니다.

에이전트는 효용 함수의 선호도에 따라 전체 이점이 가장 큰 결과를 가져오는 조치를 선택합니다. 에이전트의 목표는 효용 함수를 극대화하는 것이므로, 조치 선택 과정은 에이전트가 자신이 사용되고 있는 AI 시스템의 목표를 달성하는 방식으로 행동하도록 유도합니다.

에이전트는 효용 함수의 선호도에 따라 전체 이점이 가장 큰 결과를 가져오는 조치를 선택합니다. 에이전트의 목표는 효용 함수를 극대화하는 것이므로, 조치 선택 과정은 에이전트가 자신이 사용되고 있는 AI 시스템의 목표를 달성하는 방식으로 행동하도록 유도합니다.

효용 기반 에이전트는 서로 경쟁하는 여러 개의 지시가 있는 복잡한 작업에 적합합니다. 여기에는 다음이 포함될 수 있습니다. 

• 스마트 홈: 효용 기반 에이전트는 편안함, 에너지 비용 및 지속가능성을 고려하여 스마트 홈의 지능형 시스템을 구동할 수 있습니다. 

• 자율주행 자동차: 자율주행 차량은 머신 러닝 엔지니어에게 다양하고 복잡한 문제를 제시합니다. 에이전트 제어식 자동차는 역동적인 환경에서 인간 운전자, 보행자, 장애물, 날씨, 도로 폐쇄 및 기타 여러 조건을 처리해야 합니다. 이러한 환경에서의 문제 해결에는 잘 설계된 효용 함수가 필요합니다. 

• 의료: 효용 기반 에이전트는 최대의 이익을 추구하기 위해 다양한 고려 사항을 동시에 처리할 수 있으므로 치료 계획 수립 및 비용 관리에 도움이 될 수 있습니다. 

• 로보틱: 로봇은 또한 최대한의 이익을 얻기 위해 다양한 요소를 평가해야 합니다. 배달 봇은 자율주행 차량과 동일한 고려 사항이 많습니다. 

• 추천 및 가격 책정 시스템: 에이전트는 효용 함수를 통해 사용자의 선호도, 시간대 및 연도, 더 큰 추세와 같은 요소를 평가하여 사용자를 계속 즐겁게 할 수 있습니다. 생성형 AI 시스템에서는 효용 기반 접근 방식이 사용자 의도, 컨텍스트 및 장기 참여 목표에 가장 잘 맞는 콘텐츠 생성을 주도할 수 있습니다. 

• 가격 책정 시스템: 마찬가지로, 효용 기반 에이전트는 동적 가격 책정 시스템을 관리하여 기업의 구매 및 수익을 극대화할 수 있습니다. 

• 물류 및 공급망 자동화: 복잡한 공급망은 효율성, 비용, 위험, 품질 등과 같은 요소의 균형을 맞춰야 합니다. 기업은 물류 에이전트의 효용 함수를 조정하여 비즈니스에 가장 중요한 요소의 우선순위를 지정하고 확장가능한 시스템을 만들 수 있습니다.

효용 기반 에이전트와 목표 기반 에이전트는 모두 에이전트가 장기적인 결과를 향해 노력해야 하는 상황에서 유용합니다. 차이점은 효용 기반 에이전트는 선택의 효용 극대화를 추구하는 반면, 목표 기반 에이전트는 특정 목표를 추구한다는 것입니다. 목표 기반 에이전트는 목표 달성에 의해 동기를 얻습니다. 

목표 기반 에이전트는 모든 목표 달성 상태를 동등하게 바람직한 것으로 취급하는 반면, 효용 기반 에이전트는 정도에 따라 구분하여 보다 미묘한 의사 결정이 가능합니다. 효용 기반 에이전트는 상충되는 여러 목표를 관리하고 결과가 불확실한 상황에서도 성능을 유지할 수 있습니다.

효용 기반 에이전트는 복원력이 뛰어나며 복잡한 문제와 변화하는 환경을 탐색하는 동시에 일관된 결과를 제공할 수 있습니다. 효용 기반 에이전트의 이점은 다음과 같습니다. 

• 적응성: 효용 기반 에이전트는 조건-행동 규칙과 같은 고정된 규칙 기반 시스템보다는 유동적인 효용 함수를 사용합니다. 이 에이전트는 하위 레벨의 단순 반사 에이전트와 모델 기반 반사 에이전트가 경직된 규칙 기반 프로그래밍으로 인해 어려움을 겪을 수 있는 변화하는 조건과 새로운 작업에 적응할 수 있습니다.
   

• 유연성: 효용 기반 에이전트는 상충되는 우선순위를 성공적으로 조정하여 여전히 좋은 결과를 도출하는 결정을 내릴 수 있습니다. 목표 기반 에이전트는 하나의 특정 목표에만 집중하며, 다른 지침을 고려하는 데 어려움을 겪을 수 있습니다.
   

• 안정성: 효용 함수는 효용 기반 에이전트가 결과가 불확실한 경우에도 합리적인 결정을 내릴 수 있도록 합니다. 이러한 에이전트가 내리는 결정은 더 유익한 장기적인 결과로 이어질 가능성이 높습니다.

효용 기반 에이전트는 다양한 환경에서 사용할 수 있지만, 항상 최선의 선택은 아닙니다. 이 에이전트의 제한 사항은 다음과 같습니다. 

• 경직성: 학습 요소가 없으면 효용 기반 에이전트는 자신의 행동으로부터 학습하고 효용 함수 및 상태 환환 모델을 자율적으로 업데이트할 수 없습니다. 학습 요소를 추가하면 강화 학습을 통해 성능을 향상할 수 있지만, 이렇게 하면 공식적으로는 하이브리드 에이전트 또는 학습 에이전트의 정의에 더욱 부합합니다.
   

• 컴퓨팅 요구 사항: 효용 함수는 복잡한 알고리즘이며, 이를 지속적으로 실행하려면 상당한 컴퓨팅 및 에너지가 필요합니다. 충분한 컴퓨팅이 없으면 효용 기반 에이전트는 시간에 민감한 상황에서 실시간으로 사용하기에는 너무 느릴 수 있습니다.
   

• 복잡성: 효과적인 효용 함수는 설계하기 어려우며, 효용 기반 에이전트의 효과는 효용 함수의 효과에 의해 결정됩니다. 머신 러닝 엔지니어는 에이전트가 적절한 선택을 하도록 유도하는 수치 방정식으로 가치 체계를 성공적으로 변환해야 합니다.
   

• 윤리적 고려 사항: 효용 기반 선택은 윤리적 문제를 야기합니다. 특히 자율주행 자동차와 마찬가지로 인간에게 해를 끼칠 수 있는 능력을 가진 에이전트의 가치 시스템은 누가 결정할까요? 지능적 에이전트가 더욱 자율적으로 변화하고 보편화됨에 따라 누가 근본적인 가치 시스템을 결정하고 이러한 가치가 사회적 윤리에 어떻게 부합하는지 정의하는 것이 중요합니다. 
   

이러한 문제를 극복하기 위해 효용 기반 에이전트는 여러 전문 에이전트가 협력하고 정보를 공유하며 상충하는 목표의 균형을 맞추는 멀티 에이전트 시스템에 통합되는 경우가 많습니다. 이러한 아키텍처에서 각 에이전트의 효용 함수는 시스템의 집단 최적화 전략에 기여합니다.