Llama 2 es una familia de modelos de lenguaje causales autorregresivos basados en transformadores. Los modelos autorregresivos del lenguaje toman una secuencia de palabras como entrada y predicen recursivamente, como salida, la(s) palabra(s) siguiente(s).

Durante el entrenamiento previoautosupervisado, los LLM reciben el comienzo de oraciones de muestra extraídas de un corpus masivo de datos sin etiquetar y se les asigna la tarea de predecir la siguiente palabra. Al entrenar el modelo para minimizar la divergencia entre la verdad fundamental (la siguiente palabra real) y sus propias predicciones, el modelo aprende a replicar patrones lingüísticos y lógicos en los datos de entrenamiento. Aunque el trabajo de investigación omite notablemente detalles sobre fuentes de datos específicas, afirma que Llama 2 fue entrenado con 2 billones de tokens —palabras representadas numéricamente, partes de palabras, frases y otros fragmentos semánticos que las redes neuronales basadas en transformadores utilizan para el procesamiento del lenguaje— de fuentes disponibles públicamente.

En un nivel fundamental, los modelos fundacionales no están entrenados previamente para responder realmente a una pregunta: le agregan texto de una manera gramaticalmente coherente. Un modelo fundacional listo para usar podría responder a un mensaje de “enséñame a hornear galletas” con “para una fiesta navideña”.Se requieren más ajustes, a través de técnicas como el aprendizaje supervisado y el aprendizaje por refuerzo, para entrenar un modelo fundacional para una aplicación específica como el diálogo, el seguimiento de instrucciones o la escritura creativa.

En cambio, los modelos base de Llama 2 están destinados a servir como base para construir un modelo específico de propósito. Hasta la fecha, los modelos Llama 2 (y la LLaMa original) han servido como base de varias LLM de código abierto prominentes, que incluyen:

• Alpaca: Una versión de LLaMa 7B ajustada para el seguimiento de instrucciones por parte de investigadores de la Universidad de Stanford. Cabe destacar que logró resultados competitivos con GPT-3.5 a pesar de costar solo USD 600 en recursos de cómputo.⁵
• Vicuna: Un modelo de asistente de chat de LMSYS Org, entrenado mediante el ajuste de Llama 2 13B en conversaciones de usuarios de ShareGPT (enlace externo a ibm.com). Superó a Alpaca en más del 90 % de los casos con un costo de entrenamiento de solo 300 USD.⁶
• Orca: Una versión ajustada de Llama 2, capacitada por Microsoft utilizando un esquema "estudiante", en el que se utiliza un LLM más grande y potente para generar ejemplos de comportamiento de razonamiento útil para el modelo más pequeño.⁷
• WizardLM: Afinado utilizando Evol-Instruct, un método para crear grandes cantidades de datos de instrucción sintética utilizando LLM, WizardLM alcanzó más del 90 % del rendimiento de ChatGPT en 17 de 29 skills evaluadas.⁸

Los modelos de chat Llama-2-son ajustados para casos de uso basados en diálogos, similares a las versiones específicas del modelo GPT utilizadas en ChatGPT.

El ajuste fino supervisado (SFT) se utilizó para preparar el modelo básico de Llama 2 previamente capacitado para generar respuestas en el formato esperado por los usuarios en un chatbot o un agente virtual. En una serie de tareas de aprendizaje supervisado, etiquetadas pares de intercambios estilo diálogo, anotadas como (pronta, respuesta), se utilizan para capacitar al modelo para minimizar la divergencia entre su propia respuesta para un aviso determinado y la respuesta de ejemplo proporcionada por los datos etiquetados. El modelo aprende así, por ejemplo, que la respuesta adecuada a un mensaje de “enséñame a hornear galletas” es proporcionar instrucciones reales para hornear galletas, en lugar de simplemente completar la oración.

En lugar de usar millones de ejemplos etiquetados, el documento establece que los resultados mejoraron usando "ejemplos menos pero de mayor calidad", señalando que Meta AI recopiló 27,540 muestras anotadas.

Después de SFT, Meta utilizó el aprendizaje de refuerzo con retroalimentación humana (RLHF) para alinear aún más el comportamiento de los modelos de chat con las preferencias e instrucciones humanas. En RLHF, la retroalimentación humana directa se utiliza para entrenar un "modelo de recompensa" para aprender patrones del tipo de respuestas que prefieren los humanos. Al traducir las predicciones del modelo de recompensa (con respecto a si los humanos preferirían una respuesta determinada) en una señal de recompensa escalar, el modelo de recompensa se utiliza para entrenar aún más a Llama-2-chat mediante el aprendizaje por refuerzo.

Hay muchos métodos y formatos diferentes en los que se puede recopilar retroalimentación humana. La Meta AI utilizó un método simple de comparación binaria: a los anotadores humanos se les pidió que escribieran un indicador, luego eligieran entre dos respuestas de modelo —basadas en criterios proporcionados por Meta— generadas por dos variantes diferentes de Llama 2. Para ayudar al modelo de recompensa a ponderar adecuadamente estas opciones, también se pidió a los anotadores que calificaran el grado en que preferían su respuesta elegida sobre la otra: “significativamente mejor”, “ ligeramente mejor” o “insignificantemente mejor/inseguro.”

Las preferencias humanas se utilizaron para entrenar dos modelos de recompensa separados: uno optimizado para la ayuda, el otro optimizado para la seguridad (i.e. evitar respuestas tóxicas y de odio o respuestas que podrían utilizarse para ayudar en la violencia o la actividad delictiva). Además de la optimización de políticas proximales (PPO), el algoritmo que normalmente se usa para actualizar los pesos del modelo LLM en RLHF, Meta también utilizó muestreo de rechazo (enlace reside fuera de ibm.com) para actualizar Llama-2-chat-70b.

Code Llama, construido sobre Llama 2, está ajustado para generar código (y lenguaje natural sobre el código) a partir de indicaciones basadas en código y basadas en lenguaje natural. Presentado poco después del lanzamiento de la base de llamadas 2 y los modelos de chat, es gratis para investigación y uso comercial.

Compatible con los lenguajes de programación más populares, incluidos Python, C++, Java, PHP y Javascript (entre otros), está disponible en tamaños de modelo de parámetros 7B, 13B y 34B, y cuenta con una longitud de contexto de hasta 100.000 tokens. Dos variaciones adicionales, Code Llama - Python y Code Llama - Instruct, están afinadas para Python (y PyTorch) e instrucciones siguientes, respectivamente.