ReWOO란 무엇인가요?

OpenAI의 GPT-1과 GPT-2 모델 같은 초창기 LLM은 직접 답변을 제공했습니다. 2022년에 생각의 연결고리 모델이 처음 등장한 이후로는 모델이 응답에 도달할 때 본질적으로 '큰 소리로 생각'하며 정확성과 설명 가능성을 향상시키는 외부화된 추론 요소를 추가했습니다. 

다음으로 증강 언어 모델('ALM 시스템')과 AI 에이전트가 등장하면서 이러한 추론에 '도구 호출' 기능이 추가되었습니다. ReAct와 같은 초기 ALM 프레임워크는 사고-행동-관찰 패턴을 사용해서, 시스템이 생성하는 결과물을 관찰한 다음에 다시 생각을 시작합니다. ReAct와 같은 프레임워크는 일반적으로 효과적이기는 하지만 토큰이 많이 소모될 수 있습니다. 후속 도구 호출이 있을 때마다 이전의 모든 대화 기록이 포함되어야 해서, 단계마다 비용이 복합적으로 증가하기 때문입니다. 

ReWOO는 추론을 외부 관찰에서 분리하여 생각-행동-관찰 패턴에서 벗어나고, 모델이 내부적으로 추론 체인을 계획한 다음에 선택적으로 도구를 호출하거나 정보를 검색하게 합니다. 이렇게 두 과정을 분리하면 불필요하게 오가는 소통을 줄이고 모델이 작업 전반에 걸쳐 계획을 유지할 수 있습니다.

ReWOO는 세 가지 고유한 모듈을 사용해서 복잡한 작업을 분할하고 정복합니다. 첫째, 플래너 모듈은 사용자의 프롬프트에 따라 모델이 어떻게 작동하는지에 대한 청사진을 매핑합니다. 둘째, 워커 모듈은 외부 도구를 호출하여 계획을 실행합니다(ReAct에서와 같이 '생각'을 위해 비용이 많이 드는 LLM API 호출을 반복하지 않음). 마지막으로 솔버 모듈은 계획과 증거를 가져와 최종 응답을 합성합니다. 

접근 방식에 큰 차이가 없어 보일지라도 결과는 극적입니다. 일부 벤치마크에 따르면 ReWOO는 ReAct와 동일한 성능(또는 약간 나은 성능)을 보이면서도 토큰은 약 80% 적게 사용합니다. (토큰 은 AI 모델의 의미적 단위입니다. 토큰이 많을수록 운영 비용이 높아집니다.) 예를 들어 HotpotQA 데이터 세트(AI 시스템 평가에 사용되는 질문 배터리 1개)에서 ReWOO는 토큰 2,000개를 사용하여 정확도 42.4%를 달성한 반면, ReAct는 토큰 10,000개를 사용하여 정확도 40.8%를 달성했습니다.  

결정적으로, 이러한 토큰 효율성 최적화는 대규모 추론 모델을 경제적으로 실행 가능하게 만듭니다.

이 두 가지 일반적인 생성형 AI 프레임워크의 차이를 보여주는 사용 사례를 살펴봅시다. 내일 뉴욕과 시카고를 오가는 비행기를 타고, 다음날 자동차로 밀워키에 가는 여행을 위해 짐을 꾸리는 데 도움을 요청하는 사용자 쿼리를 ReAct와 ReWOO 시스템이 처리하는 다양한 방법을 생각해 보겠습니다.

ReAct 시스템은 세 가지 사고-행동-관찰 주기를 3회 반복하는 시퀀스로 문제를 분해해서 최종 답을 도출합니다. 첫 번째 주기에서는 '뉴욕의 내일 날씨를 확인해야겠다'라고 생각하고 검색 증강 생성(RAG)을 사용하여 해당 날씨를 검색(동작)하고 마지막으로 결과를 관찰합니다. 이 결과를 인풋으로 삼아, 시카고의 날씨에 대한 또 다른 생각-행동-관찰 주기 3회를 진행합니다. 세 번째로 밀워키의 날씨를 파악합니다. 마지막으로, 조사 결과를 종합하여 아웃풋을 도출합니다(예: '이동할 때마다 기온이 낮아지니 옷을 여러 벌 챙기세요.'). 

반면 ReWOO 스타일의 시스템은 모든 계획을 미리 수행함으로써 효율성을 높일 수 있습니다. 첫째, '내일 뉴욕 날씨, 내일 시카고 날씨, 모레 밀워키 날씨를 받아야 한다'는 계획을 세웁니다. 다음으로, 이 주요 단계에서 비용이 많이 드는 '생각'을 하지 않고 하나의 긴밀한 순서(또는 병렬도 가능)로 날씨 API를 호출하여 작동합니다. 마지막으로 문제를 해결하고 증거를 대조하여 최종 답변을 출력합니다.  

토큰 효율성 외에도 ReWOO는 도구 오류 시 견고성이라는 추가 이점을 보여줍니다. 예를 들어 ReAct에서 도구가 오류를 일으키면 시스템이 무한 루프에 빠질 수 있습니다(예: LLM이 시카고 날씨에 대해 손상된 데이터베이스를 반복적으로 쿼리하기 때문).

ReWOO는 더 민첩합니다. 도구가 주어진 증거를 반환하지 못하더라도 중요한 초기 계획은 여전히 유효합니다. 워커 모듈이 진행될 수 있고, 솔버 모듈이 부분적으로라도 답변을 제공할 수 있기 때문입니다. 날씨 예제에서 솔버 모듈은 시카고 날씨에 대한 데이터베이스를 쿼리하는 무한 또는 과도한 루프에 갇히는 대신, 사용자에게 뉴욕과 밀워키의 날씨를 알리는 답변이라도 반환합니다(워커 모듈이 이러한 일부 증거를 검색해냈다고 가정). 이는 사용자가 여행 계획을 세우는 데 충분한 도움이 될 수도 있습니다. 

ReWOO는 이런 이점이 있지만 보편적으로 우수한 프레임워크는 아닙니다. 특정 종류의 작업, 특히 규칙적이고 예측 가능한 유형과 분량의 증거가 필요한 경우에 더 좋습니다. 그러나 예측 가능성과 체계성이 부족하고 창의성, 탐구, 즉흥성이 필요할 수 있는 문제에서는 ReWOO의 역량이 부족합니다. ReWOO는 알려진 미지수를 훌륭하게 해결하지만, 알 수 없는 미지수에 대해서는 취약합니다.

예를 들어 ReWOO는 Python 코드(수정할 때마다 새로운 오류와 단서가 생성되어 잘 짜여진 계획이 금세 허사가 되는 탐색적이고 반복적인 프로세스)를 디버깅하는 데는 적합하지 않습니다. ReAct처럼 적응력이 더 뛰어난 프레임워크는 요약 작업에서 토큰 효율성이 떨어지지만, 궁극적으로는 이러한 문제에 더 잘 맞을 것입니다. 

대부분의 AI 시스템 및 프레임워크와 마찬가지로 ReWOO 워크플로 구현에는 다양한 접근 방식을 사용할 수 있습니다. Binfeng Xu 연구원이(2023년에 동료들과 함께[1]) 처음 설명한 이 프레임워크는 Github를 통해 '공식' 구현됩니다. LangGraph(모듈을 '노드'라고 함) 같은 생성형 AI 프레임워크와 관련 LangChain도 인기입니다. IBM의 Granite를 사용해도 ReWOO 스타일의 다단계 추론 방법론을 사용할 수 있습니다.

어떤 LLM 환경에서든 개념적 수준에서 ReWOO로 출발해, AI가 후속 질문에 답하기 위한 단계별 계획을 세우도록 권장하는 프롬프트를 작성한 다음에 도구 입력으로 넘어갈 수 있습니다. 

예를 들어 ReWOO를 처음 설명하는 문서에는 다음과 같이 시작하는 프롬프트가 포함되어 있습니다. "다음 작업을 위해 문제를 단계별로 해결할 수 있는 계획을 세워. 계획마다 증거를 검색할 때 어느 외부 도구와 도구 입력을 함께 사용할지 표시해." 그러나 논문 저자는 'ReWOO는 일반적인 패러다임이며 프롬프트가 항상 고정되어 있는 것은 아니다. 독자와 사용자는 자신의 필요에 맞게 프롬프트를 조정하도록 권장한다.'라느 말을 추가합니다.¹