Si bien la RAG agéntica optimiza los resultados con llamadas de funciones, razonamiento de múltiples pasos y sistemas multiagente, no siempre es la mejor opción. Un mayor número de agentes en el trabajo se traduce en mayores gastos, y un sistema de RAG agéntica normalmente requiere que se pague por más tokens. Mientras que la RAG agéntica puede aumentar la velocidad en comparación con la RAG tradicional, los LLMs también introducen latencia porque el modelo puede tardar más tiempo en generar sus salidas.
Por último, los agentes no siempre son fiables. Es posible que tengan dificultades e incluso no logren completar las tareas, dependiendo de la complejidad y los agentes empleados. Los agentes no siempre colaboran sin problemas y pueden competir por los recursos. Cuantos más agentes haya en un sistema, más compleja se vuelve la colaboración, así como aumentan las probabilidades de que se presenten complicaciones. Y aun el sistema RAG más hermético no puede eliminar por completo el potencial de alucinaciones.