¿Qué es la personalización de LLM?

El proceso de creación de un LLM personalizado está diseñado para aplicar modelos generalizados a contextos más específicos. Aunque hay varios métodos de personalización de LLM disponibles, el proceso general tiende a seguir una serie similar de pasos.

1. Preparación de datos: el rendimiento óptimo del modelo depende de datos de entrenamiento sólidos. Los creadores de modelos y los científicos de datos deben recopilar y ensamblar un conjunto de datos de entrenamiento específico del dominio que sea relevante para el propósito previsto del modelo. Con una base de conocimientos de datos de alta calidad, es más probable que las respuestas del modelo sean precisas y útiles.
    

2. Selección del modelo: la lista de LLM es tan numerosa como variada. Los modelos de IA varían en tamaño, efectividad, uso de recursos computacionales y arquitectura, todos los cuales afectan el rendimiento. Elegir el modelo correcto requiere una comprensión tanto de los objetivos como de las limitaciones del proyecto de machine learning.
    

3. Personalización del modelo: aquí, los especialistas en machine learning transforman el modelo fundacional en una herramienta especializada. La salida del modelo se adaptará a tareas posteriores específicas. Los desarrolladores deben comprender el funcionamiento del modelo fundacional y el método de personalización elegido para optimizar correctamente el comportamiento del modelo.
    

4. Iteración: los algoritmos de ML funcionan mejor cuando se entrenan con procesos paso a paso, en lugar de realizar grandes ajustes. Los desarrolladores pueden medir el efecto de la técnica de personalización en cada paso y emplear esos hallazgos para informar la próxima iteración.
    

5. Pruebas: una vez finalizado el entrenamiento, pero antes de su uso en el mundo real, se comprueba el rendimiento fiable del modelo. Los desarrolladores se aseguran de que sus adaptaciones sean efectivas y que el modelo aplique sus conocimientos específicos recién obtenidos sin sufrir un olvido catastrófico.
    

6. Despliegue del modelo: el modelo personalizado se despliega en su entorno de producción, como una aplicación de software impulsada por IA o una API, y se pone a disposición para casos de uso específicos en el mundo real.

Según el caso de uso y los resultados, los desarrolladores y especialistas en machine learning eligen entre una variedad de métodos de personalización de LLM. Todos los tipos de personalización de LLM pueden dar forma al rendimiento de un modelo de IA generativa (IA generativa) para tareas específicas posteriores.

Las técnicas de personalización de LLM incluyen:

• Generación aumentada por recuperación (RAG, por sus siglas en inglés)
  
  
• Ajuste
  
  
• Ingeniería de prompts

La generación aumentada por recuperación (RAG) conecta un LLM con una fuente externa de datos para ampliar su base de conocimientos. Cuando un usuario envía una consulta, el sistema RAG busca información relevante en la base de datos emparejada y luego la combina con la consulta para brindarle al LLM más contexto al generar una respuesta.

RAG emplea incorporaciones para transformar una base de datos, código fuente u otra información en una base de datos vectorial buscable. Las incrustaciones trazan matemáticamente cada punto de datos en un espacio vectorial tridimensional. Para encontrar datos relevantes, el modelo de recuperación de información en un sistema RAG convierte las consultas del usuario en incorporaciones y localiza incorporaciones similares en la base de datos vectorial.

Los sistemas RAG generalmente siguen la misma secuencia estándar:

1. Indicaciones: el usuario envía una instrucción a la interfaz de usuario, como un chatbot impulsado por IA.
    

2. Consulta: Un modelo de recuperación de información convierte la instrucción en una incorporación y consulta la base de datos en busca de datos similares.
    

3. Recuperación: el modelo de recuperación recupera los datos relevantes de la base de datos.
    

4. Generación: el sistema RAG combina los datos recuperados con la consulta del usuario y los envía al LLM, que genera una respuesta.
    

5. Entrega: el sistema RAG devuelve la respuesta generada al usuario.

RAG recibe su nombre debido a la forma en que los sistemas RAG recuperan datos relevantes y los utilizan para aumentar la respuesta generada por el LLM. Los sistemas RAG más complejos introducen componentes adicionales para refinar el proceso y mejorar aún más la calidad de la respuesta.

Otorgar al LLM acceso al conocimiento específico del dominio le permite incorporar esos datos en su proceso de generación de respuestas. Esto aumenta la precisión y confiabilidad de las soluciones de IA sin una inversión de costos demasiado significativa, especialmente si los datos externos ya están disponibles y listos para su uso en machine learning.

Por ejemplo, un modelo RAG diseñado para preguntas y respuestas puede dar mejores respuestas cuando es capaz de encontrar las respuestas correctas en su base de conocimientos vinculada.

El uso de RAG con modelos más pequeños puede ayudarlos a desempeñarse a un nivel superior. Los modelos de lenguaje pequeño (SLM) ofrecen menores requisitos computacionales, tiempos de entrenamiento más rápidos y menos latencia en la inferencia. La creación de un sistema RAG en torno a un SLM conserva estos beneficios al tiempo que aprovecha la mayor precisión específica del contexto que ofrece RAG.

Refinar un LLM implica hacer ajustes iterativos a la configuración interna que guía su comportamiento. Estas configuraciones se conocen como parámetros o ponderaciones del modelo, y controlan cómo el modelo procesa y evalúa los datos.

Durante el entrenamiento, el algoritmo de aprendizaje de un modelo ajusta los parámetros hasta que se alcanza un rendimiento óptimo. En ese momento, se considera que el proceso de capacitación concluyó con éxito.

Los Advanced LLM, especialmente los transformadores como GPT de OpenAI y Llama 2 de Meta , pueden tener miles de millones de parámetros. Debido a que estos modelos son tan grandes, el ajuste completo suele ser prohibitivamente costoso y requiere mucho tiempo.

Los métodos de ajuste más matizados ajustan algunos de los parámetros del modelo o agregan otros nuevos con el objetivo de preservar su rendimiento de entrenamiento y aumentar la competencia con tareas específicas.

Los métodos notables de ajuste fino incluyen:

• Ajuste eficiente de parámetros (PEFT)
  
  
• Aprendizaje por refuerzo con feedback humano (RLHF)
  
  
• Ajuste fino continuo (CFT)

PEFT congela la mayoría de los parámetros de un modelo previamente entrenado y se enfoca en ajustar aquellos que son más relevantes para la nueva tarea. Al hacerlo, consume muchos menos recursos computacionales que un ajuste completo. PEFT es un campo amplio con muchas implementaciones.

El aprendizaje por transferencia aprovecha el conocimiento de un modelo previamente entrenado para nuevas tareas, aplicando lo que ya sabe en un nuevo contexto. Funciona mejor cuando la nueva tarea está relacionada con la tarea original, como cuando se utiliza un clasificador para reconocer y clasificar nuevas categories o tipos de objetos.

En este ejemplo, el tipo de aprendizaje por transferencia que se aplica se conoce como aprendizaje multitarea: en él, un modelo se pone a punto con varias tareas a la vez. Aquí, esas nuevas tareas son el reconocimiento y la clasificación de objetos.

La adaptación de bajo rango (LoRA) es un enfoque modular para el ajuste que agrega parámetros complementarios a un modelo previamente entrenado. LoRA congela los parámetros del modelo previamente entrenado y agrega un suplemento conocido como matriz de rango bajo que adapta las respuestas del modelo para que coincidan con los requisitos de un caso de uso o tarea específicos.

Imagine LoRA como un conjunto de sombreros mágicos que permiten al usuario realizar una habilidad asociada. Póngase el gorro mágico de chef y cocine una comida de cinco estrellas. Póngase el casco mágico y construya una casa. Ponte el casco mágico de motociclista y gana el TT de la Isla de Man. Tome una gorra de béisbol mágica y traiga la carrera ganadora del juego.

El aprendizaje por refuerzo con retroalimentación humana (RLHF) utiliza un modelo de recompensa asociado para ajustar un modelo previamente entrenado para tareas complejas y subjetivas. Un modelo de machine learning (ML) no puede juzgar si una pieza de escritura es evocativa, pero los humanos pueden, y esos humanos pueden enseñar a un modelo a imitar sus preferencias.

Con RLHF, los humanos capacitan un modelo de recompensa para la nueva tarea. El trabajo del modelo de recompensa es predecir con éxito cómo reaccionaría un humano a una entrada determinada. Mientras que el entrenamiento del modelo estándar penaliza los errores, el entrenamiento de recompensa incentiva el buen rendimiento.

Luego, el modelo de recompensa, a su vez, enseña al modelo fundacional cómo comportarse, en función de las preferencias de los entrenadores humanos. Una vez que se entrena el modelo de recompensa, puede entrenar el modelo fundacional sin un humano en el bucle (HITL).

Al igual que con todos los tipos de machine learning, el modelo no piensa críticamente, ni siquiera piensa en absoluto. Más bien, se trata de elegir matemáticamente el resultado que tiene más probabilidades de coincidir con las preferencias de sus entrenadores humanos.

El ajuste continuo (CFT) es un tipo de aprendizaje continuo que adapta secuencialmente un modelo a nuevas tareas. Mediante el ajustede instrucciones (entrenar un modelo mediante pares etiquetados de entradas de instrucción y salidas relacionadas), el modelo se adapta a un conjunto de datos más amplio para tareas posteriores. CFT a menudo muestra a los modelos a realizar la misma tarea en diferentes distribuciones de datos.

Un riesgo con todos los tipos de aprendizaje continuo es el olvido catastrófico: cuando un modelo pierde la capacidad de realizar tareas antiguas después de adaptarse a otras nuevas. Afortunadamente, los investigadores de machinee learning han desarrollado varias técnicas de mitigación para ayudar a los desarrolladores a evitar el olvido catastrófico en la búsqueda del aprendizaje continuo.

El refinamiento adapta los modelos a nuevos casos de uso, al tiempo que evita los costos de desarrollar nuevos modelos. Muchos tipos de refinamiento aumentan aún más la eficiencia ajustando solo un pequeño número de parámetros. El refinamiento también brilla en situaciones en las que no hay suficientes datos para entrenar un modelo desde cero.

También conocido como aprendizaje en contexto o aprendizaje basado en instrucciones, la ingeniería rápida incluye información relevante en la instrucción para ayudar al LLM a generar mejores respuestas. Durante la inferencia, cuando el modelo envía un mensaje de usuario, el usuario suele proporcionar instrucciones explícitas y ejemplos a seguir.

Por ejemplo, un modelo al que se le pide que realice un resumen de texto puede obtener un beneficio de una instrucción que le muestre cómo dar formato a su resumen, tal vez como una lista con viñetas. Unas instrucciones más completas ayudan al modelo a devolver el tipo de respuesta que el usuario espera recibir.

Los investigadores del aprendizaje profundo han desarrollado numerosos tipos de técnicas de ingeniería rápida. Algunos de los hitos son:

• Few-shot prompting: el modelo recibe unos cuantos resultados de ejemplo (conocidos como shots) luego de los cuales modelar sus respuestas. El modelo puede seguir los ejemplos y basar su respuesta en las tomas que el usuario proporciona en la instrucción.
   

• Indicaciones de cadena de pensamiento (CoT): la instrucción incluye un método de razonamiento paso a paso para que el modelo lo siga. El modelo estructura su generación de respuestas de acuerdo con el CoT proporcionado por el usuario. Las instrucciones de CoT son una técnica avanzada que requiere una comprensión práctica de cómo los LLM generan respuestas.

A diferencia de muchas otras técnicas de personalización de LLM, la Ingeniería rápida no requiere programación adicional. En cambio, los ingenieros de instrucciones deben conocer bien el contexto en el que se desplegará el LLM para que puedan elaborar instrucciones eficaces e informadas.

Cuando se implementa correctamente, la Ingeniería rápida es una técnica valiosa de procesamiento de lenguaje natural (PLN) que permite a cualquier persona, especialmente a los principiantes en inteligencia artificial (IA), personalizar los LLM. Junto con la disponibilidad generalizada de LLMs de código abierto y herramientas de IA de código abierto, la ingeniería rápida es una puerta de entrada accesible al machine learning que recompensa la experimentación, la curiosidad y la persistencia.