Utiliser un AutoAI RAG index pour dialoguer avec des documents

Si vous avez créé un modèle de génération augmentée par extraction d' AutoAI s ( Retrieval-augmented generation, RAG) à l'aide d'un magasin de vecteurs d' Milvus, vous pouvez utiliser les documents de base indexés dans le laboratoire Prompt pour ajouter du contexte aux réponses générées avec les modèles de base.

Dans le cadre du processus de réalisation d'une expérience d' AutoAI s pour la génération augmentée par récupération, les documents de base sont vectorisés et stockés dans un magasin de vecteurs d' Milvus. Vous pouvez utiliser le contenu vectorisé pour ajouter un contexte aux réponses générées aux invites. Pour plus d'informations sur la fonction "Chat avec documents" du laboratoire Prompt, voir " Ancrer les messages-guides du modèle de la fondation dans des informations contextuelles ".

Avant de commencer

Pour utiliser les documents vectorisés de votre modèle AutoAI RAG, assurez-vous que les conditions suivantes sont remplies :

  1. Une connexion à l'instance de base de données d' Milvus s est disponible à partir du projet que vous utilisez pour créer des invites.
  2. Vous avez utilisé un modèle d'intégration pris en charge pour vectoriser les documents.

Pour plus d'informations sur le travail dans le laboratoire d'invites avec du contenu vectorisé, voir Ajout de documents vectorisés pour les invites du modèle de fondation de base.

Connecter votre index d' Milvus s pour discuter avec les documents

  1. Sur le site Prompt Lab en mode chat, sélectionnez un modèle de fondation, puis spécifiez les paramètres du modèle que vous souhaitez utiliser pour l'invite.

  2. Cliquez sur l'icône Télécharger des documents Icône de téléchargement de documents, puis choisissez Ajouter des documents.

  3. Sélectionner watsonx.data Milvus comme magasin de vecteurs.

  4. Définissez les détails en saisissant un nom pour les documents de mise à la terre et en sélectionnant la connexion à l'index.

  5. Spécifiez le modèle d'intégration utilisé pour créer le modèle RAG AutoAI : slate-125m-english-rtrvr.

  6. Sélectionnez la collection à utiliser comme documents de base.

  7. Définissez le schéma de champ de collection d' Milvus, en spécifiant document_id pour le champ Document name et text comme valeur pour le champ Text.

  8. Cliquez sur Créer.

  9. Posez des questions sur les informations contenues dans le document pour voir dans quelle mesure le modèle peut utiliser les informations contextuelles pour répondre à vos questions.

    Par exemple, posez des questions sur les concepts expliqués dans les documents de base.

En savoir plus

Pour plus de détails sur l'utilisation des invites, voir Prompt Lab.