VAKRA 소개: AI 에이전트의 멀티홉·멀티소스 툴 호출 역량을 평가하기 위한 벤치마크

VAKRA(멀티홉·멀티소스 대화를 활용한 API 및 지식 검색 에이전트 평가(eValuating API and Knowledge Retrieval Agents))는 기업 환경과 유사한 설정에서 AI 에이전트가 엔드 투 엔드로 얼마나 효과적으로 추론하는지를 평가하기 위해 설계된 툴 기반 실행형 벤치마크입니다. 

VAKRA는 개별 기술을 따로 평가하는 대신 APIs와 문서 전반에 걸친 조합적 추론을 측정하며, 전체 실행 추적을 활용해 에이전트가 개별 단계가 아닌 다단계 워크플로를 안정적으로 수행할 수 있는지를 평가합니다.

VAKRA는 62개 도메인에 걸친 실제 데이터베이스를 기반으로 하는 8,000개 이상의 로컬 호스팅 APIs와 상호작용할 수 있는 실행 환경과, 도메인에 맞게 구성된 문서 컬렉션을 제공합니다. 작업은 자연어 기반 툴 사용 제약 하에서 구조화된 API 상호작용과 비정형 데이터 검색을 결합한 3~7단계 추론 체인을 요구할 수 있습니다.

• 로컬 호스팅 및 데이터베이스 기반 툴은 평가 시 결정론적이고 검증 가능한 응답을 보장합니다.
• 문서 검색은 도메인별 인덱스를 통해 제공되며, 소스 간 정합성 확보와 정보 추출을 가능하게 합니다.
• 트래젝토리 수준 검증은 실제 툴을 기반으로 전체 에이전트 실행 경로를 재현하여 여러 유효한 실행 경로를 지원하며, 이는 기업 워크플로에서 매우 중요합니다.

기업 환경은 단일 질문-응답이나 일회성 함수 호출과는 다릅니다. 고객 지원, 비즈니스 인텔리전스, 컴플라이언스와 같은 영역의 워크플로에서는 에이전트가 연속적인 의사결정을 수행하고, 서로 다른 스키마를 조정하며, 자연어로 표현된 툴 사용 정책을 준수해야 합니다. 오류는 툴 호출 단계뿐만 아니라 툴 간의 언어 기반 추론 과정에서도 발생하며, 여기에는 엔티티 식별, 소스 간 정합성 확보, 파라미터 및 스키마 정렬이 포함됩니다.

이커머스 운영에서 배송 지연에 대한 불만 사례를 생각해 보세요. 이를 해결하기 위해 에이전트는 시스템 전반의 정보를 정확히 연결해야 하며, 고객 기록을 연계하고, 배송업체 문서를 해석하며, 물류 APIs 간 식별자를 정렬하고, 자연어로 표현된 정책을 적용해야 합니다. 각 의사결정은 이전 단계에 의존하며, 툴, 데이터 소스, 제약 조건 전반에 걸친 지속적인 추론이 필요합니다.

VAKRA는 이러한 다단계 추론이 어디에서 성공하고 어디에서 실패하는지를 정확히 드러내도록 설계되었으며, 운영 환경에서 에이전트가 직면하는 실제 상황을 반영합니다.

이전에 언급된 배송 지연 불만 사례와 같은 시나리오에서 영감을 받아, VAKRA는 작업을 세 가지 계층으로 구성합니다.

1. 다양한 API 상호작용 방식: 에이전트는 서로 다른 인터페이스 추상화에 적응해야 하며, 조합형 또는 확장형 함수 인터페이스를 제공하는 비즈니스 인텔리전스 스타일 APIs(계획 수립과 신중한 툴 선택 필요)부터 계산을 캡슐화하지만 정확한 쿼리 해석과 올바른 파라미터 설정이 필요한 쿼리 기반 엔드포인트까지 대응해야 합니다.
2. 구조화된 APIs 기반 멀티홉 추론: 작업은 3~7개의 종속적인 API 호출을 필요로 하며, 이전 단계의 출력은 정확히 해석, 변환, 재사용되어 이후 작업의 파라미터로 활용되어야 합니다.
3. 툴 사용 정책을 포함한 멀티홉·멀티소스 추론: 작업은 비정형 문서와 구조화된 APIs 전반에 걸친 멀티홉 추론을 요구하며, 에이전트는 언제 데이터를 검색할지, 검색된 정보를 어떻게 후속 툴 호출에 반영할지, 자연어 기반 툴 사용 정책을 어떻게 준수할지 판단해야 합니다.

VAKRA는 자체 호스팅 환경에서 실행되며, 영구 데이터베이스와 검색 인덱스를 기반으로 하는 APIs가 표준 인터페이스를 통해 노출되고 에이전트는 이러한 툴을 통해서만 상호작용할 수 있습니다. 평가 과정에서는 전체 실행 경로를 재현하여 최종 결과뿐 아니라 모든 중간 단계를 검증하므로, 엔티티 식별, 소스 간 매핑, 정책 해석 등 추론이 어느 지점에서 오류가 발생했는지 정확히 파악할 수 있습니다.

VAKRA는 세 가지 사용자 유형을 위해 설계되었습니다.

• 연구자: 에이전틱 추론, 다중 툴 계획, 그라운딩을 연구하는 사용자
• 개발자 및 엔지니어링 팀: 운영 환경의 에이전트 워크플로에 적용할 파운데이션 모델을 평가하는 사용자
• 리더: 단순한 테스트가 아닌 기업 환경의 복잡성을 반영하는 벤치마크를 찾는 사용자

VAKRA는 현재 공개적으로 이용할 수 있습니다. 소스 코드, 작업 명세 및 평가 툴은 Github에 오픈소스로 공개되어 있으며, 결과 재현과 새로운 에이전트의 엔드 투 엔드 실행에 필요한 모든 요소가 포함되어 있습니다.

• 실제 데이터베이스를 기반으로 하는 로컬 호스팅 실행형 API 환경
• 검색 증강 추론을 위한 도메인별 문서 컬렉션
• 전체 에이전트 실행 경로를 재현하고 검증하는 독립 실행형 평가 툴
• API 전용, 멀티홉, 멀티소스 작업 환경에서 새로운 모델을 벤치마킹하기 위한 스크립트

또한 VAKRA 공개 리더보드를 호스팅할 Hugging Face Space도 출시할 예정입니다.연구자, 실무자, 개발자의 결과 제출과 피드백 및 확장 기여를 환영합니다.

GitHub에서 살펴보기

추가 저자:

• Anupama Murthi, 수석 소프트웨어 엔지니어
• Benjamin Elder, 연구 과학자
• Siyu Huo, 머신러닝 엔지니어
• Praveen Venkateswaran, 연구 과학자
• 덴마크 계약자, 수석 연구 과학자 및 관리자