에이전틱 청킹이란 무엇인가요?

대규모 언어 모델(LLM)은 대규모 텍스트 기반 입력 시퀀스 전체를 처리할 수 없습니다. 자연어 처리(NLP) 모델의 컨텍스트 창은 컨텍스트 이해를 유지하면서 모델이 섭취할 수 있는 최대 콘텐츠 양을 결정합니다. 머신 러닝(ML) 시스템은 청킹 기법을 사용하여 문서를 LLM의 컨텍스트 창에 맞는 조각으로 나눕니다.

외부 데이터 소스에 LLM을 연결하는 검색 증강 생성(RAG)의 개발로 인해 청킹 시스템을 만드는 것이 필요해졌습니다. RAG 시스템은 LLM이 실제 결과나 정보를 반영하지 않는 답변을 제공하는 할루시네이션 문제에 대응하는 데 도움이 되었습니다.

RAG 시스템은 LLM이 추가 지식 기반과 결합하여 더 정확하고 유용한 답변을 생성할 수 있도록 도와줍니다. 대부분의 경우 RAG 지식 기반은 연결된 LLM이 도메인별 지식에 액세스할 수 있는 문서를 포함하는 벡터 데이터베이스입니다. 임베딩 모델은 문서를 수학적 벡터로 변환한 다음 사용자 쿼리에 대해 동일한 작업을 수행합니다.

RAG 시스템은 벡터 데이터베이스 내에서 관련 정보를 나타내고 사용자 쿼리와 일치하는 임베딩을 찾습니다. 그런 다음 LLM은 검색된 데이터를 사용하여 사용자에게 보다 관련성이 높고 정확한 답변을 제공합니다.

그러나 컨텍스트 창의 제한으로 인해 LLM은 한 번에 단일 문서를 처리할 수 없습니다. 청킹이 해결책으로 떠올랐습니다. LLM은 문서를 조각으로 나누어 문맥 이해를 유지하면서 실시간으로 관련 청크를 효율적으로 찾을 수 있습니다.

에이전틱 청킹을 사용하면 LLM이 RAG 사용 사례와 같이 더 나은 답변을 제공하는 데 도움이 되는 의미 있는 청크를 만들 수 있습니다. 일부 청크 방식은 의미론을 고려하기도 하고, 다른 방식은 문서를 고정된 길이의 작은 덩어리로 나누기도 합니다.

다른 청킹 방법은 다음과 같습니다.

가장 간단한 청킹 전략인 고정 크기 청킹은 미리 설정된 문자 또는 토큰 수에 따라 텍스트를 동일한 크기의 블록으로 분할합니다. 토큰은 LLM이 처리할 수 있는 텍스트의 최소 양으로, 종종 단어 또는 단어의 일부입니다.

문장이 끊어지는 것을 방지하기 위해 많은 고정 크기 청킹 구현에는 한 청크의 끝을 다음 청크의 시작 부분에서 반복하는 오버랩 기능이 포함되어 있습니다. 고정 크기 청킹은 간단하고 계산이 쉽지만, 콘텐츠 밀도나 문서 구조를 설명할 수 없고 의미론적으로 일관성이 없는 청크를 생성할 수 있는 경직된 방식입니다.

재귀적 청킹은 미리 정의된 텍스트 구분 기호의 계층적 목록을 사용하여 보다 일관성 있는 방식으로 텍스트를 분할합니다. 구분 기호에는 단락, 문장 또는 단어와 같이 자연적으로 발생하는 구조가 포함됩니다. Python 코딩 문서에서 구분 기호에는 클래스 및 함수 정의가 포함될 수 있습니다.

고정 크기 청킹에 비해 재귀적 청킹은 텍스트에서 자연스럽게 발생하는 구분을 따라 더 일관된 청크를 생성합니다. 마크다운을 사용하면 청크 알고리즘 또는 청커가 분할 위치를 파악하는 데 도움이 될 수 있습니다. RecursiveCharacterTextSplitter는 LangChain에서 사용할 수 있는 인기 있는 청커입니다.

그러나 텍스트에 명확한 구분 기호가 없으면 재귀적 청킹 알고리즘이 새 청크를 생성할 위치를 알지 못합니다. 재귀적 청킹은 고정 크기 청킹보다 계산 집약도가 높습니다.

시맨틱 청킹은 임베딩 모델을 사용하여 각 문장의 수학적 표현을 생성합니다. 그런 다음 청킹 알고리즘은 의미론적으로 유사한 문장의 청크를 생성하고, 의미론의 변화를 감지하는 새 청크를 생성합니다. 시맨틱 청킹은 Github에서 이 기술에 대해 논의한 Greg Kamradt에 기인합니다.¹

시맨틱 청킹은 컨텍스트를 인식하며 문서의 자연스러운 흐름과 의미론적 의미를 중심으로 청크를 구축합니다. 주제가 변경되면 새 청크가 생성됩니다. 그러나 단락이 여러 주제를 논의하거나 청킹 임계값이 문서 유형 및 구조에 맞게 적절하게 설정되지 않은 경우 문제가 발생할 수 있습니다.

시맨틱 청킹은 재귀적 및 고정 크기 청킹보다 계산 집약적이며 텍스트 내의 시맨틱 콘텐츠를 식별하기 위해 고급 모델이 필요합니다.

에이전틱 청킹은 AI 에이전트를 사용하여 워크플로를 자동화하는 에이전트형 에이전트 자동화의 예입니다. 이 경우 워크플로가 지능적으로 자동화되는 것은 LLM의 컨텍스트 창에 맞게 문서를 더 작은 청크로 분할하는 방법을 결정하는 프로세스입니다.

에이전틱 AI는 AI 시스템을 사용하여 사람의 개입 없이 자율적으로 의사 결정을 내리고 조치를 취하는 것을 말합니다. 에이전팅 청킹을 사용하면 에이전트가 스스로 작동하여 텍스트를 분리하고 청크에 레이블을 지정하는 방법을 결정합니다.

에이전틱 청킹은 다른 청킹 방법에서 가져와 겹치는 섹션과 재귀적 분할을 생성한 다음, 생성형 AI를 적용하여 각 청크에 메타데이터를 레이블로 지정하여 RAG 검색을 쉽게 합니다.

에이전틱 청킹은 아직 탐색 단계에 있습니다. 크리에이터들은 GitHub에서 접근 방식을 공유하고 토론합니다. 이러한 LLM은 Huggingface에서 제공하는 오픈 소스 LLM과 함께 Llamaindex 및 Langchain과 같은 LLM 프레임워크를 사용하여 Python 코딩 언어로 구축되는 경우가 많습니다. 

에이전틱 청킹을 위한 일반적인 AI 워크플로에는 다음 단계가 포함될 수 있습니다.

지능형 자동화 도구를 사용하여 PDF와 같은 원본 문서에서 텍스트를 추출하고 정리합니다. 텍스트 정리에는 LLM에 원시 텍스트만 제공되도록 페이지 번호 및 바닥글과 같은 불필요한 요소를 제거하는 작업이 포함됩니다.

재귀적 청킹 알고리즘은 문장이 잘게 쪼개지는 것을 방지하기 위해 텍스트를 작은 덩어리로 분할합니다. 시맨틱 청킹과 마찬가지로 에이전틱 청킹은 청크 오버랩 기술을 사용하여 의미, 구조 및 문맥 인식을 기반으로 텍스트를 동적으로 분할합니다.

OpenAI의 GPT와 같은 LLM은 청크를 처리, 결합 및 강화합니다. 더 작은 청크는 의미론적 일관성을 유지하는 더 큰 청크로 결합됩니다. LLM은 청크 콘텐츠의 제목과 요약을 포함하는 메타데이터로 각 청크를 보강합니다. 생성된 메타데이터는 에이전트 RAG 시스템과 같은 다운스트림 사용을 지원합니다.

각 청크는 임베딩으로 변환되어 벡터 데이터베이스에 저장됩니다. 검색 모델은 데이터베이스를 쿼리하고 시맨틱 검색을 사용하여 관련 메타데이터가 있는 청크를 찾은 다음 RAG 시스템에서 LLM에 대한 프롬프트에 포함시킵니다.

LangChain의 prompt_template 설정은 LLM에 제공되는 프롬프트를 결정합니다. LangChain과 watsonx.ai를 사용하여 RAG 청킹을 최적화하는 방법에 대해 자세히 알아보세요.

기존 청크 방법과 비교할 때 에이전틱 청킹의 역동성과 메타데이터 레이블 지정은 RAG 구현에 매우 적합합니다. 이러한 이점은 다음과 같습니다.

• 효율적인 검색: 각 청크에 대해 AI가 생성한 제목과 요약은 RAG 시스템이 연결된 데이터 세트에서 관련 정보를 더 빠르게 찾는 데 도움이 될 수 있습니다.

• 정확한 응답: AI가 생성한 메타데이터를 사용한 의미론적으로 일관된 청크는 RAG 시스템이 더 나은 답변을 위해 관련 데이터로 생성된 응답을 보강하는 데 도움이 될 수 있습니다.

• 융통성: AI 기반 청크는 다양한 문서 유형을 처리할 수 있습니다. 에이전틱 청킹 시스템은 다양한 LLM 및 RAG 체인과 통합되어 프로젝트 성장 및 확장에 보조를 맞출 수 있습니다.

• 콘텐츠 보존: 에이전틱 청킹 시스템은 이전의 청크 방법을 기반으로 구축되어 의미론적 의미와 일관성을 유지하는 청크를 만듭니다.