IBM 에서 Tiny Milvus 사용 watsonx Orchestrate 온프레미스
Milvus 의 Tiny 에디션은 watsonx.data 에서 제공되는 다른 Milvus 구성과 구별되며, 후자는 더 광범위한 확장성과 엔터프라이즈급 기능을 지원합니다.
Milvus 의 Tiny 버전은 온프레미스 배포 환경에서만 지원됩니다.
Milvus 는 watsonx Orchestrate 온프레미스 제품의 일부로 watsonx.data 에 포함된, 가벼운 단일 노드 벡터 데이터베이스입니다. 오픈소스 프로젝트인 ‘ Milvus ’를 기반으로 구축된 이 플랫폼은 실험 및 초기 개발 단계에 최적화되어 있어, 최소한의 리소스만으로도 벡터 기반 AI를 탐구하기에 이상적입니다.
유스 케이스
다음 기능들은 watsonx Orchestrate 온프레미스 제품 내에 내장된 watsonx.data Tiny Milvus 를 사용합니다:
에이전트 카탈로그
상담원, 도구 및 기타 메타데이터에 대한 정보를 Tiny Milvus 에 로드합니다.
카탈로그에 대한 시맨틱 검색을 활성화합니다.
상담원 지식
지식 파일 업로드 기능을 통해 상담원에게 지식을 추가할 때 Tiny Milvus 를 사용합니다. 자세한 내용은 지식창고로 파일 업로드하기를 참조하세요.
Elasticsearch, Milvus (별도 설치), Astra DB 또는 사용자 지정 서비스와 같은 다른 지식 소스 옵션을 선택한 경우 Tiny Milvus 는 사용되지 않습니다.
문서로 채팅하기
‘문서 채팅’ 기능은 Orchestrate Chat에서 대화 중 업로드된 파일의 콘텐츠를 저장하고 불러오기 위해 Tiny Milvus 를 사용합니다.
Tiny의 한계 Milvus
Tiny Milvus 는 가벼운 사용 사례에 최적화되어 있으며 무거운 인프라 없이 빠른 시험과 초기 실험에 적합합니다. 그러나 다음과 같은 제약이 있습니다:
생성된 최대 벡터: 10000
최대 생성된 컬렉션 수 100
Milvus 의 Tiny 버전은 프로덕션 워크로드용으로 설계되지 않았습니다.
사용 패턴 이해
다음 표는 세 가지 기능 모두에서 생성되는 벡터 및 컬렉션의 수를 이해하여 최대 한도를 초과하지 않도록 하는 데 도움이 됩니다.
기능 | 생성된 컬렉션 수 | 생성된 벡터 수 | 컬렉션 또는 벡터가 생성될 때 |
|---|---|---|---|
카탈로그 | 1 | 미리 정의된 콘텐츠가 로드된 경우 800-1000 | 설정 중 |
에이전트의 복잡성에 따라 에이전트 또는 툴당 1~40개의 벡터를 지원합니다 | 각 추가 에이전트 또는 도구에 대해 | ||
상담원 지식 | 상담원당 1개 | 단어가 1000개인 문서가 로드될 때 3개의 벡터 | 지식창고에서 파일 업로드 기능을 사용하는 경우 |
문서로 채팅하기 | 스레드당 1개 | 단어가 1000개인 문서가 로드될 때 3개의 벡터 | 오케스트레이트 채팅에서 파일을 업로드할 때 |
업로드된 문서에서 생성된 컬렉션과 벡터는 스레드의 마지막 업로드 후 4시간 후에 삭제됩니다 |
팁: 성능 저하나 메모리 문제를 방지하려면 사용량을 모니터링하세요.
사용량 추적
현재 사용량을 추적하고 Tiny Milvus 사용 한도 내에서 사용량을 유지하려면 PyMilvus 또는 다른 Milvus 클라이언트를 사용하세요:
count(*) 쿼리를 실행하여 각 컬렉션에 포함된 벡터(alias 엔티티)의 개수를 확인하십시오.
사용량 제한 처리
실제 사용량이 10000개의 벡터 또는 100개의 컬렉션 제한을 초과하더라도 오류가 발생하지 않습니다. 그러나 이러한 임계값을 초과하면 다음과 같은 결과가 발생할 수 있습니다:
느린 성능
메모리 부족으로 인한 시스템 오류 발생 가능성
최적의 성능을 유지하려면 확장할 때 정의된 한도 내에서 유지하거나 사용량을 면밀히 모니터링하는 것이 좋습니다.
작은 규모를 넘어선 확장 Milvus
사용 사례에 더 많은 용량이나 프로덕션급 성능이 필요한 경우, watsonx Orchestrate 와 별도로 설치되는 다음 외부 콘텐츠 저장소 중 하나를 사용하십시오:
Elasticsearch
Milvus (별도 설치)
Astra DB
사용자 정의 서비스
외부 콘텐츠 저장소를 사용하려면:
watsonx.ai 또는 Langflow와 같은 도구를 사용하여 문서를 외부 벡터 데이터베이스로 수집합니다.
상담원 지식을 사용하여 외부 데이터베이스에 대한 연결을 구성합니다.