LLM 오케스트레이션이란?

LLMOps는 자연어 생성, 기계 번역, 의사 결정 및 챗봇과 같은 광범위한 애플리케이션에서 오케스트레이션을 사용합니다. 조직이 이러한 종류의 생성형 AI 애플리케이션을 구축하기 위해 인공 지능을 채택함에 따라 효율적인 LLM 오케스트레이션이 중요해졌습니다.

LLM의 파운데이션 모델은 강력하지만, LLM이 자체적으로 달성할 수 있는 것은 제한적입니다. 예를 들어, LLM은 새로운 정보를 실시간으로 유지하거나 학습할 수 있는 능력이 부족하며, 컨텍스트에서 유지할 수 있는 것이 제한되어 있기 때문에 다단계 문제를 완료하는 데 어려움을 겪습니다.¹ 또한, 서로 다른 LLM 제공업체의 애플리케이션 프로그래밍 인터페이스(API)와 씨름하면서 수많은 LLM을 조율하기란 매우 복잡할 것입니다.

LLM 오케스트레이션 프레임워크는 언어 모델을 사용하여 대화 전반에서 프롬프트 엔지니어링, API 상호작용, 데이터 검색 및 상태 관리를 통합하는 복잡한 프로세스를 단순화하여 이러한 한계를 보완합니다.²

새로운 LLM 오케스트레이션 프레임워크가 개발되고 있으며 나날이 인기를 얻고 있습니다. 일부 LLM 오케스트레이션은 구성 또는 데이터베이스 프레임워크로 전문화되는 반면, 일부는 AI 에이전트를 사용하여 작업이나 목표를 완료하기 위해 협업합니다.

LLM 오케스트레이션 프레임워크의 작동 방식을 이해하려면 LLM 기반 애플리케이션의 아키텍처 내에서 오케스트레이션이 어디에 있는지 이해하는 것이 도움이 됩니다.

오케스트레이션 계층은 LLM 앱 스택의 중추입니다. 오케스트레이터는 애플리케이션 아키텍처의 다른 계층 간 상호작용을 관리하여 일관된 워크플로를 생성합니다.³ 음악 오케스트레이터와 마찬가지로 LLM 오케스트레이터는 애플리케이션의 구성에 따라 각 기술 구성 요소의 워크플로를 위임하고 관리합니다.

이러한 구성 요소에는 LLM, 프롬프트 템플릿, 벡터 데이터베이스 및 에이전트 간의 상호작용이 포함됩니다.⁴ 오케스트레이션은 다양한 애플리케이션 및 환경 내에서 LLM의 라이프사이클을 효과적으로 관리할 수 있는 툴과 메커니즘을 제공하여 생성형 AI 애플리케이션의 각 구성 요소가 응집력 있게 작동하도록 합니다.

오케스트레이션 프레임워크는 프롬프트 체이닝, 외부 API와의 연결, 벡터 데이터베이스에서 컨텍스트 데이터 가져오기, 여러 LLM 상호작용에서 메모리 관리 등 복잡한 작업을 단순화합니다. 다음은 LLM 오케스트레이션에서 일반적으로 사용되는 운영 작업에 대한 일반적인 개요입니다.

프롬프트 엔지니어링은 생성형 AI 툴이 최적화된 아웃풋을 생성하도록 LLM 인풋(프롬프트)을 구조화하는 방식입니다. 오케스트레이션 프레임워크는 지침, 퓨샷 예시 및 구체적인 컨텍스트, 작업에 적합한 질문이 포함된 프롬프트 템플릿을 제공합니다.⁵

체이닝은 여러 LLM 연결로 아웃풋을 결합하여 보다 미묘한 결과를 달성하는(프롬프트 체이닝이라고도 함) 일련의 호출, 툴 또는 데이터 전처리 단계를 말합니다.⁶

오케스트레이션 계층은 프롬프트 데이터를 쉽게 검색하고 가져올 수 있는 지식 기반 또는 라이브러리 내에 프롬프트를 저장하여 이러한 프롬프트 작업을 관리합니다. 오케스트레이터는 실시간 인풋, 컨텍스트 또는 사용자 기본 설정에 따라 라이브러리에서 프롬프트를 동적으로 선택할 수 있습니다. 또한 대화 흐름을 관리하기 위해 논리적인 순서로 프롬프트를 정렬할 수 있습니다.

LLM은 지속적인 학습 능력이 부족하고 맥락을 이해하는 데 한계가 있습니다. 오케스트레이터는 프롬프트 관리를 통해 응답을 평가하여 아웃풋을 구체화합니다. 

또한 LLM은 관리되지 않는 경우 스스로 사실 확인을 할 수 없어 할루시네이션을 일으킬 수 있습니다. 오케스트레이터는 응답이 맞는지 확인하고 사용자 지정 지침을 준수하는지 확인할 수 있습니다. 응답이 미흡한 경우 오케스트레이터는 사람이 검토하도록 플래그를 지정하거나 대안을 효과적으로 제안하여 LLM이 학습하고 개선하도록 할 수 있습니다.⁷

대부분의 LLM 오케스트레이션 프레임워크에는 운영 모니터링을 위한 일종의 LLMOps가 포함되어 있습니다. 이러한 기능에는 LLM 벤치마크 테스트를 기반으로 성능 메트릭을 수집하는 것이 포함됩니다. 사용자가 LLM 성능 메트릭을 실시간으로 확인할 수 있는 대시보드를 통해 이러한 메트릭을 관찰할 수 있습니다.

근본 원인 분석(RCA)을 위한 진단 툴이 포함되어 디버그에 걸리는 시간을 줄여주는 LLMOps 리소스도 있습니다.

오케스트레이터는 적합한 커넥터나 API를 사용하여 식별된 소스에서 데이터에 쉽게 접근 및 검색하도록 지원합니다. 전처리는 여러 소스의 '원시' 데이터를 LLM에 적합한 형식으로 변환하는 것을 말합니다. 데이터 수집 규모가 클수록 데이터를 분석하는 데이터 메커니즘이 더 정교해야 합니다. 전처리는 각 데이터 마이닝 알고리즘이 요구하는 사항에 맞게 데이터가 조정되도록 보장합니다.⁸ 오케스트레이터는 데이터의 가치를 높이기 위해 데이터를 조정하고 개선하여 사전 처리를 용이하게 할 수 있습니다.

오케스트레이터는 할당된 작업을 실행하기 위해 LLM을 시작합니다. 처리가 완료되면 오케스트레이터는 모델 아웃풋을 수신하고 피드백 메커니즘을 통합하여 전반적인 품질을 평가하고 적절한 대상으로 전달합니다.

오케스트레이터에는 LLM 아웃풋 및 상호작용을 개선하고 컨텍스트 이해를 제공하기 위한 지식 기반 역할을 하는 메모리 저장소가 포함되어 있습니다. 이전 메시지 또는 인풋을 처리하고 저장함으로써, 오케스트레이터는 과거 상호작용을 기반으로 보다 정확한 응답을 제공하는 장기적인 지식을 축적합니다.⁹

오케스트레이터는 LLM 관측 가능성 기능 및 가드레일 프레임워크의 구현을 촉진할 책임이 있습니다. LLMOps의 관점에서 이러한 기능 없이 실행되는 LLM은 잘못된 결과를 산출하고 고도로 조정되지 않은 제한된 LLM 기능을 기반으로 보안 위험을 실행할 위험이 있습니다.

LLM 오케스트레이션 프레임워크는 LLM 상호작용 및 워크플로를 간소화하여 LLMOps를 향상시키는 데 필요한 관리 및 최적화를 제공합니다.

• 확장성: 수요에 따라 확장하거나 축소할 수 있는 기능을 통해 리소스 활용을 최적화합니다. 
• 리소스 관리: 프레임워크는 워크로드에 따라 리소스를 동적으로 할당하여 CPU, GPU, 메모리 및 스토리지와 같은 리소스를 관리합니다.
• 워크플로 자동화: 데이터 전처리, 모델 학습, 추론 및 사후 처리와 같은 LLM이 포함된 복잡한 워크플로를 자동화할 수 있습니다. 운영을 간소화하면 수작업이 줄어들고 개발자의 관련 부담이 줄어들어 전반적인 효율성이 향상됩니다.
• 로드 밸런싱: 프레임워크는 여러 LLM 인스턴스에 요청을 분산함으로써 오버로드와 관련된 인스턴스를 방지하고 전반적인 시스템 안정성과 응답 시간을 개선합니다.
• 내결함성: 대부분의 프레임워크에는 LLM 인스턴스의 장애를 감지하고 트래픽을 정상 인스턴스로 자동 리디렉션하여, 다운타임을 최소화하고 서비스 가용성을 유지하는 메커니즘이 포함되어 있습니다.
• 버전 관리 및 업데이트: 다양한 버전의 LLM을 관리하고 배포 없이 업데이트를 적용합니다.
• 비용 효율성: 효과적인 오케스트레이션은 수요에 따라 리소스를 동적으로 할당하여 비용을 최적화할 수 있습니다. 
• 보안 및 규정 준수: LLM 인스턴스 전반에 걸친 중앙 집중식 제어 및 모니터링으로 규제 표준을 준수합니다. 
• 다른 서비스와의 통합: 데이터 저장, 로깅, 모니터링, 분석 등의 다른 서비스와의 통합을 지원하여 응집력 있는 에코시스템을 촉진합니다.
• 기술 장벽 완화: AI 전문가 없이 기존 팀과 함께 구현할 수 있습니다. 툴은 사용 편의성을 위해 프레임워크 위에 구축됩니다. 예를 들어 LangFlow는 LangChain의 그래픽 UI(GUI)입니다.¹⁰

애플리케이션 개발자는 새로운 솔루션을 채택하거나 처음부터 자체 솔루션을 조립할 수 있습니다. 최적의 LLM 오케스트레이션 프레임워크를 선택하려면 신중한 계획과 전략이 필요합니다.

LLM 오케스트레이션 프레임워크를 선택하기 전에 고려해야 할 사항은 다음과 같습니다. 

프레임워크의 API 문서가 유용하고 개발자가 쉽게 시작하는 데 도움이 되는지 확인합니다. 또한 프레임워크의 커뮤니티 리소스를 확인하여 제공되는 문제 해결 지원의 유형을 평가합니다.

다양한 프레임워크를 채택할 경우의 비용 영향을 평가합니다. 많은 LLM 오케스트레이션 프레임워크는 유료 엔터프라이즈 옵션이 있는 오픈 소스입니다. 가격 책정 모델이 초기 투자뿐만 아니라 라이선스, 업데이트, 지원 서비스 등의 지속적인 비용에도 적합한지 확인해야 합니다. 비용 효율적인 프레임워크는 가격과 제공되는 기능 간에 균형을 이룬 것입니다.

적합한 LLM을 선택할 때 암호화, 액세스 제어 및 감사 로그와 같이 데이터 보안을 제공하고 데이터를 보호하며 관련 개인 정보 보호 규정을 준수하는 데 도움이 되는 보안 기능이 있는지 확인합니다.

모니터링 및 관리 툴에 대해 문의합니다. 여기에는 응답 시간, 정확성 및 리소스 사용률과 같은 메트릭 추적 기능이 포함됩니다. 

다음은 몇 가지 알려진 오케스트레이션 프레임워크와 새로운 오케스트레이션 프레임워크입니다.

IBM watsonx Orchestrate는 자연어 처리(NLP)를 사용하여 광범위한 머신 러닝 기술에 액세스합니다. IBM의 프레임워크는 AI 어시스턴트 빌더 및 Skills Studio를 포함하여 수천 개의 사전 빌드된 앱과 스킬로 구성되어 있습니다. 

사용 사례에는 신입 사원을 온보딩하고 지원하는 데 필요한 툴을 팀에 제공하여 인사 부서를 지원하고 조달 및 영업 팀을 강화하는 것이 포함됩니다.

LLM 애플리케이션을 구축하기 위한 오픈 소스 Python 기반 프레임워크입니다. LangChain은 임베딩 모델, LLM, 벡터 스토어, 검색기 등과 같은 핵심 LLM 애플리케이션 구성 요소와의 유연한 인터페이스 연결을 제공하는 여러 오픈 소스 라이브러리로 구성됩니다.¹¹

LangChain의 일반적인 엔드투엔드 사용 사례에는 SQL Database를 통한 Q&A 체인 및 에이전트, 챗봇, 추출, 쿼리 분석, 요약, 에이전트 시뮬레이션, 자율 에이전트 등이 포함됩니다.¹²

Microsoft의 오픈 소스 다중 에이전트 대화 프레임워크는 파운데이션 모델의 고급 추상화를 제공합니다. AutoGen은 여러 에이전트를 사용하여 대화하고 작업을 해결하는 에이전트 프레임워크입니다. 주요 기능에는 다양한 LLM 애플리케이션을 구축하기 위해 유연한 패턴으로 다중 에이전트 대화에 참여하는 사용자 정의 가능한 AI 에이전트가 포함됩니다.¹³

AutoGen을 LLM 기반 앱에 구현한 사례에는 수학 튜터링 챗봇, 대화형 체스, 의사 결정, 동적 그룹 채팅 및 다중 에이전트 코딩이 있습니다.¹⁴ AutoGen은 AgentOps를 통한 디버깅을 위해 모니터링 및 재생 분석을 제공합니다.¹⁵

LlamaIndex는 컨텍스트 증강 LLM 애플리케이션을 구축할 수 있는 툴을 제공합니다. 여기에는 160개가 넘는 소스 및 형식의 데이터를 처리하기 위한 데이터 커넥터와 같은 데이터 통합 툴이 포함됩니다.¹⁶ LlamaIndex에는 LLM 애플리케이션의 성능을 평가하기 위한 모듈 모음도 포함되어 있습니다.

LlamaIndex의 다양한 주요 사용 사례에는 Q&A 애플리케이션(검색 증강 생성, 즉 RAG라고도 함)과 챗봇, 문서 이해 및 데이터 추출, 성능 개선을 위한 데이터 기반 모델 미세 조정 등이 있습니다.¹⁷

Haystack은 구성 요소와 파이프라인이라는 두 가지 기본 개념을 기반으로 사용자 지정 엔드투엔드 생성형 AI 시스템을 구축하는 오픈 소스 Python 프레임워크입니다. Haystack은 많은 LLM 제공업체, 벡터 데이터베이스 및 AI 툴과 파트너십을 맺고 있어 이를 기반으로 포괄적이고 유연한 툴링을 구축할 수 있습니다.¹⁸

Haystack에서 제공하는 일반적인 사용 사례에는 시맨틱 검색 시스템, 정보 추출 및 FAQ 스타일 질문 답변이 있습니다.¹⁹

crewAI는 LangChain을 기반으로 구축된 오픈 소스 다중 에이전트 프레임워크입니다. 롤플레잉 자율 AI 에이전트는 LLM 애플리케이션 관련 워크플로 및 작업을 완료하기 위해 팀(crew)으로 조립됩니다.²⁰ crewAI는 crewAI+라는 엔터프라이즈 버전을 제공합니다. 

초보자와 기술적인 사용자 모두를 위한 애플리케이션에는 랜딩 페이지 생성, 주식 분석 및 연결이 있습니다. crewAI는 AgentOps를 사용하여 에이전트에 대한 모니터링 및 메트릭을 제공합니다.²¹

LLM 오케스트레이션 프레임워크는 생성형 AI 애플리케이션이 발전함에 따라 지속적으로 발전하여 더 많은 인공 지능 솔루션을 위한 LLMOps 워크플로를 간소화하고 있습니다.

오케스트레이션 프레임워크는 LLM 애플리케이션이 모델을 최대한 활용할 수 있도록 필요한 툴링과 구조를 제공합니다. 미래의 프레임워크는 AI 에이전트와 다중 에이전트 시스템을 사용하여 지능형 자동화를 촉진할 수 있습니다.

새로운 오케스트레이션 프레임워크의 추세를 보면, 기능 구현을 위해 통합이 가능한 다중 에이전트 시스템과 같이 더 복잡한 아키텍처를 구축함으로써 자율 워크플로 수행에 필요한 기술을 에이전트에 제공하고 있습니다.

사용성 또한 오케스트레이션 플랫폼의 우선 순위가 되고 있습니다. 시장이 성숙해 감에 따라 사용자 경험에 초점을 맞춘 더 많은 툴이 개발될 것입니다. 이에 따라 프레임워크를 사용하는 데 따르는 기술적 장벽도 낮아집니다. IBM watsonx Orchestrate와 같은 일부 오케스트레이션 프레임워크는 간편한 참여와 사용성을 위해 자연어 인터페이스를 활용합니다.

LLM 오케스트레이션을 관리하는 것은 복잡한 작업이지만 오케스트레이션은 LLM 기반 워크플로를 확장하고 자동화하는 데 중요합니다.