Escolha de um armazenamento de vetores para um experimento RAG
Antes de executar um experimento de geração aumentada por recuperação no site AutoAI,, você deve escolher um banco de dados vetorial para armazenar e recuperar dados.
Para os experimentos do AutoAI RAG, você pode escolher entre três opções de armazenamento de vetores:
- Banco de dados Chroma na memória
- Banco de dados Milvus
- Elasticsearch
Se estiver usando um armazenamento vetorial em uma solução codificada, use este formato para os nomes das coleções: autoai_rag_a0b1c2d3_ymdHMS> where y-year, m-month, d-day, H-hours, M-minute, S-second.
Banco de dados de vetores cromáticos
Um armazenamento de vetores Chroma na memória armazena dados na RAM do computador. O índice de documentos vetorizados é rápido para consulta e recuperação de dados. Devido às restrições de memória, o banco de dados na memória foi criado para conjuntos de dados de pequeno a médio porte.
Se você não especificar uma conexão com um armazenamento de vetores, o conteúdo vetorizado será salvo no banco de dados padrão do Chroma na memória. O conteúdo não persiste além do experimento, portanto, a opção Chroma não é um método de produção viável para a implantação de um padrão RAG.
Milvus banco de dados de vetores
Um banco de dados de armazenamento de vetores Milvus tem uma arquitetura dimensionável e distribuída. Ele oferece alto desempenho na recuperação de dados quando tem indexação otimizada e suporta muitos algoritmos de indexação e métricas de distância. Ele foi criado para grandes conjuntos de dados e é mais durável do que um banco de dados Chroma.
O conteúdo vetorizado persiste para padrões futuros. Para obter detalhes, consulte Trabalhando com Milvus.
Um banco de dados Milvus usa esse esquema:
| Campo | Tipo |
|---|---|
| id_documento | VarChar |
| índice_inicial | Int64 |
| número de sequência | Int64 |
| Texto | VarChar |
| pk | Int64 |
| vetor | FloatVector |
Elasticsearch banco de dados de vetores
Elasticsearch é um mecanismo de pesquisa e análise que possui recursos de pesquisa em lojas de vetores. Como o Milvus, ele foi desenvolvido para grandes conjuntos de dados e tem uma arquitetura durável e dimensionável. O uso do banco de dados de vetores do Elasticsearch é vantajoso para consultas complexas, pois ele tem recursos avançados de pesquisa e filtragem devido às raízes de seu mecanismo de pesquisa.
Um banco de dados Elasticsearch usa esse esquema:
| Campo | Tipo |
|---|---|
| id_documento | Texto |
| número de sequência | longo |
| índice_inicial | longo |
| campo_de_texto | Texto |
| vetor | vetor_denso |
Próximas etapas
Siga o caminho rápido para automatizar a pesquisa de um padrão RAG.