La personalización de LLM, o personalización de modelos lingüísticos de gran tamaño, es el proceso de adaptación de un LLM preentrenado a tareas específicas. El proceso de personalización del LLM implica la selección de un modelo preentrenado, también conocido como modelo fundacional, y su posterior adaptación al caso de uso.
El proceso de creación de un LLM personalizado está diseñado para aplicar modelos generalizados a contextos más específicos. Aunque hay varios métodos de personalización de LLM disponibles, el proceso general tiende a seguir una serie de pasos similar.
Preparación de los datos: el rendimiento óptimo del modelo depende de datos de entrenamiento sólidos. Los creadores de modelos y los científicos de datos deben recopilar y ensamblar un conjunto de datos de entrenamiento específico del dominio que sea relevante para el propósito previsto del modelo. Con una base de conocimiento de datos de alta calidad, es más probable que las respuestas del modelo sean precisas y útiles.
Selección de modelos: la lista de LLM es tan numerosa como variada. Los modelos de IA varían en tamaño, eficacia, uso de recursos computacionales y arquitectura, todo lo cual afecta al rendimiento. Elegir el modelo adecuado requiere comprender tanto los objetivos como las limitaciones del proyecto de machine learning.
Personalización del modelo: aquí, los especialistas en machine learning transforman el modelo fundacional en una herramienta especializada. El resultado del modelo se adaptará a tareas posteriores específicas. Los desarrolladores deben comprender el funcionamiento del modelo fundacional y el método de personalización elegido para optimizar con éxito el comportamiento del modelo.
Iteración: los algoritmos de ML funcionan mejor cuando se entrenan con procesos paso a paso, en lugar de realizar grandes ajustes. Los desarrolladores pueden medir el efecto de la técnica de personalización en cada paso y utilizar esos hallazgos para informar la próxima iteración.
Pruebas: una vez finalizado el entrenamiento, pero antes de su uso en el mundo real, se prueba el modelo para comprobar su rendimiento fiable. Los desarrolladores se aseguran de que sus adaptaciones son eficaces y de que el modelo aplica los conocimientos específicos recién obtenidos sin sufrir un olvido catastrófico.
Implementación del modelo: el modelo personalizado se implementa en su entorno de producción, como una aplicación de software con IA o una API, y se pone a disposición de casos de uso específicos en el mundo real.
Boletín del sector
Obtenga conocimientos organizados sobre las noticias más importantes e intrigantes de la IA. Suscríbase a nuestro boletín semanal Think. Consulte la Declaración de privacidad de IBM.
Su suscripción se enviará en inglés. Encontrará un enlace para darse de baja en cada boletín. Puede gestionar sus suscripciones o darse de baja aquí. Consulte nuestra Declaración de privacidad de IBM para obtener más información.
Dependiendo del caso de uso y el output deseado, los desarrolladores y especialistas en machine learning eligen entre una variedad de métodos de personalización de LLM. Todos los tipos de personalización de LLM pueden dar forma al rendimiento de un modelo de IA generativa para tareas posteriores específicas.
Las técnicas de personalización de LLM incluyen:
La generación aumentada por recuperación (RAG) conecta un LLM con una fuente de datos externa para ampliar su base de conocimientos. Cuando un usuario envía una consulta, el sistema RAG busca en la base de datos emparejada la información relevante y, a continuación, la combina con la consulta para dar al LLM más contexto al generar una respuesta.
RAG utiliza embeddings para transformar una base de datos, código fuente u otra información en una base de datos vectorial de búsqueda. Las embeddings trazan matemáticamente cada punto de datos en un espacio vectorial tridimensional. Para encontrar datos relevantes, el modelo de recuperación de información de un sistema RAG convierte las consultas del usuario en embeddings y localiza embeddings similares en la base de datos vectorial.
Los sistemas RAG suelen seguir la misma secuencia estándar:
Prompting: el usuario envía una instrucción en la interfaz de usuario, como un chatbot con IA.
Consulta: un modelo de recuperación de información convierte la instrucción en un embedding y consulta la base de datos en busca de datos similares.
Recuperación: el modelo de recuperación recupera los datos relevantes de la base de datos.
Generación: el sistema RAG combina los datos recuperados con la consulta del usuario y los envía al LLM, que genera una respuesta.
Entrega: el sistema RAG devuelve la respuesta generada al usuario.
El RAG recibe su nombre debido a la forma en que los sistemas RAG recuperan datos relevantes y los utilizan para aumentar la respuesta generada por el LLM. Los sistemas RAG más complejos introducen componentes adicionales para refinar el proceso y mejorar aún más la calidad de la respuesta.
Otorgar al LLM acceso a conocimientos específicos del dominio le permite incorporar esos datos en su proceso de generación de respuestas. Esto aumenta la precisión y fiabilidad de las soluciones de IA sin una inversión de costes demasiado significativa, especialmente si los datos externos ya están disponibles y listos para su uso en machine learning.
Por ejemplo, un modelo RAG diseñado para preguntas y respuestas puede dar mejores respuestas cuando es capaz de encontrar las respuestas correctas en su base de conocimiento vinculada.
El uso de RAG con modelos más pequeños puede ayudarles a rendir a un nivel superior. Los modelos de lenguaje pequeños (SLM) ofrecen requisitos computacionales más bajos, tiempos de entrenamiento más rápidos y menos latencia en la inferencia. La creación de un sistema RAG en torno a un SLM conserva estos beneficios al tiempo que aprovecha la mayor precisión específica del contexto que ofrece RAG.
El ajuste fino de un LLM implica realizar ajustes iterativos en la configuración interna que guía su comportamiento. Estos ajustes se conocen como parámetros o ponderaciones del modelo y controlan cómo el modelo procesa y evalúa los datos.
Durante el entrenamiento, el algoritmo de aprendizaje de un modelo ajusta los parámetros hasta que se alcanza un rendimiento óptimo. En ese momento, se considera que el proceso de capacitación ha concluido con éxito.
Los LLM avanzados, especialmente los transformadores como GPT de OpenAI y Llama 2 de Meta, pueden tener miles de millones de parámetros. Como estos modelos son tan grandes, el ajuste completo suele ser prohibitivamente caro y lleva mucho tiempo.
Los métodos de afinado más matizados ajustan algunos de los parámetros del modelo o añaden otros nuevos con el objetivo de preservar su rendimiento de entrenamiento y aumentar la competencia con tareas específicas.
Entre los métodos de afinado más destacados se incluyen:
El PEFT congela la mayoría de los parámetros de un modelo preentrenado y se centra en ajustar aquellos que son más relevantes para la nueva tarea. Al hacerlo, consume muchos menos recursos computacionales que un afinar completo. El PEFT es un campo amplio con muchas implementaciones.
El aprendizaje por transferencia aprovecha el conocimiento de un modelo previamente entrenado para nuevas tareas, aplicando lo que ya sabe en un nuevo contexto. Funciona mejor cuando la nueva tarea está relacionada con la tarea original, como cuando se utiliza un clasificador para reconocer y clasificar nuevas categorías o tipos de objetos.
En este ejemplo, el tipo de aprendizaje por transferencia que se aplica se conoce como aprendizaje multitarea: en el que un modelo se ajusta con varias tareas a la vez. Aquí, esas nuevas tareas son el reconocimiento y la clasificación de objetos.
La adaptación de bajo rango (LoRA) es un enfoque modular del afinado que añade parámetros complementarios a un modelo preentrenado. LoRA congela los parámetros del modelo preentrenado y agrega un suplemento conocido como matriz de rango bajo que adapta las respuestas del modelo para que coincidan con los requisitos de un caso de uso o tarea específicos.
Imagínese LoRa como un conjunto de sombreros mágicos que permiten al usuario realizar una habilidad asociada. Póngase el mágico sombrero de chef y prepare una comida de cinco estrellas. Pónganse el casco mágico y construya una casa. Póngase el casco de motocicleta mágico y gane el TT de la Isla de Man. Póngase una gorra de béisbol mágica y consiga la carrera ganadora.
El aprendizaje por refuerzo con feedback humano (RLHF) utiliza un modelo de recompensa asociado para afinar un modelo preentrenado para tareas complejas y subjetivas. Un modelo de ML no puede juzgar si un escrito es evocativo, pero los humanos sí pueden, y esos humanos pueden enseñar a un modelo a imitar sus preferencias.
Con el RLHF, los humanos entrenan un modelo de recompensa para la nueva tarea. El trabajo del modelo de recompensa es predecir con éxito cómo reaccionaría un humano ante una entrada determinada. Mientras que el entrenamiento con modelos estándar penaliza los errores, el entrenamiento con recompensas incentiva el buen rendimiento.
Entonces, el modelo de recompensa enseña a su vez al modelo fundacional cómo comportarse, basándose en las preferencias de los formadores humanos. Una vez entrenado el modelo de recompensa, puede entrenar el modelo fundacional sin un humano en el bucle (HITL).
Como ocurre con todos los tipos de machine learning, el modelo no piensa de forma crítica, ni siquiera piensa en absoluto. Más bien, está eligiendo matemáticamente el resultado que tiene más probabilidades de coincidir con las preferencias de sus entrenadores humanos.
El afinado continuo (CFT) es un tipo de aprendizaje continuo que adapta secuencialmente un modelo a nuevas tareas. Mediante el ajuste de instrucciones —entrenando un modelo utilizando pares etiquetados de entradas de instrucción y outputs relacionados—, el modelo se adapta a un conjunto de datos más amplio para tareas posteriores. CFT a menudo enseña a los modelos a realizar la misma tarea en diferentes distribuciones de datos.
Un riesgo que corren todos los tipos de aprendizaje continuo es el olvido catastrófico: cuando un modelo pierde la capacidad de realizar tareas antiguas después de ser adaptado para otras nuevas. Afortunadamente, los investigadores de ML han desarrollado varias técnicas de mitigación para ayudar a los desarrolladores a evitar olvidos catastróficos en la búsqueda del aprendizaje continuo.
El afinado adapta los modelos a nuevos casos de uso al tiempo que evita los costes de desarrollo de nuevos modelos. Muchos tipos de afinado aumentan aún más la eficiencia ajustando solo un pequeño número de parámetros. El afinado también brilla en situaciones en las que no hay suficientes datos para entrenar un modelo desde cero.
También conocida como aprendizaje en contexto o aprendizaje basado en instrucciones, el prompt engineering de incluye información relevante en la instrucción para ayudar al LLM a generar mejores respuestas. Durante la inferencia, cuando el modelo responde a un prompt del usuario, el usuario suele proporcionar instrucciones explícitas y ejemplos a seguir.
Por ejemplo, un modelo al que se le pida que resuma un texto puede tener un beneficio de una instrucción que le muestre cómo formatear su resumen: como una lista con viñetas, quizás. Instrucciones más completas ayudan al modelo a devolver el tipo de respuesta que el usuario espera recibir.
Los investigadores de deep learning han desarrollado numerosos tipos de prompt engineering. Algunos avances históricos incluyen:
Few-shot prompting: el modelo recibe un puñado de salidas de ejemplo (conocidas como disparos) después de las cuales modela sus respuestas. El modelo puede seguir los ejemplos y basar su respuesta en las tomas que el usuario proporciona en la instrucción.
Instrucción de cadena de pensamiento (CoT): la indicación incluye un método de razonamiento paso a paso para que el modelo siga. El modelo estructura su generación de respuesta de acuerdo con el CoT proporcionado por el usuario. El prompting de CoT es una técnica avanzada que requiere una comprensión práctica de cómo los LLM generan respuestas.
A diferencia de muchas otras técnicas de personalización de LLM, la prompt engineering no requiere codificación ni desarrollo adicionales. En su lugar, los ingenieros de instrucciones deben conocer bien el contexto en el que se va a implementar el LLM para que puedan elaborar instrucciones eficaces e informadas.
Cuando se implementa correctamente, la prompt engineering es una valiosa técnica de procesamiento del lenguaje natural (PLN) que permite a cualquier persona, especialmente a los principiantes en inteligencia artificial (IA), personalizar los LLM. Además de la disponibilidad generalizada de LLM de código abierto y herramientas de IA de código abierto, la ingeniería de prompt es una puerta de entrada accesible al machine learning que recompensa la experimentación, la curiosidad y la persistencia.
Explore la biblioteca de modelos fundacionales de IBM en la cartera de watsonx para escalar la IA generativa para su negocio con confianza.
Ponga la IA a trabajar en su negocio con la experiencia líder en IA del sector de IBM y junto a su cartera de soluciones.
Reinvente las operaciones y flujos de trabajo críticos añadiendo IA para maximizar las experiencias, la toma de decisiones en tiempo real y el valor empresarial.