¿Qué es Llama 2?
Utilice Llama 2 con Watsonx.ai Suscríbase a actualizaciones de IA
Ilustración con collage de pictogramas de nubes, gráfico circular, pictogramas gráficos

Publicado: 19 de diciembre de 2023
Colaborador: Dave Bergmann

¿Qué es Llama 2?

Llama 2 es una familia de modelos de lenguaje grande (LLM) preentrenados y ajustados publicados por Meta AI en 2023. Lanzados de forma gratuita para investigación y uso comercial, los modelos de IA Llama 2 pueden realizar una variedad de tareas de procesamiento del lenguaje natural (PLN), desde la generación de textos hasta código de programación.

La familia de modelos Llama 2, que se ofrece como modelos básicos y modelos de “chat” perfeccionados, sirve como sucesora de los modelos LLaMa 1 originales, que se lanzaron en 2022 bajo una licencia no comercial que otorga acceso caso por caso exclusivamente a instituciones de investigación. A diferencia de sus predecesores, los modelos Llama 2 están disponibles de forma gratuita tanto para investigación de IA como para uso comercial.

Por lo tanto, los modelos Llama de Meta pretenden desempeñar un papel importante en la democratización del ecosistema de la IA generativa. Como se indica en el artículo de investigación de Llama 2 (enlace externo a ibm.com), aunque la metodología para el preentrenamiento de los LLM autorregresivos mediante el aprendizaje autorsupervisado es, por ahora, relativamente sencilla y bien entendida, los inmensos requisitos computacionales que implica el proceso han limitado en gran medida el desarrollo de LLM de vanguardia a unos pocos actores clave. Dado que la mayoría de los LLM más avanzados, como GPT de OpenAI, Claude de Anthropic y BARD de Google, son modelos patentados (y masivos) de código cerrado, el acceso público a la investigación en IA que podría ayudar a entender cómo y por qué funcionan estos modelos; y cómo alinear mejor su desarrollo con los intereses humanos; ha sido notablemente limitado.

Además de poner a libre disposición su código y las ponderaciones de los modelos, el proyecto Llama se ha centrado en mejorar las capacidades de rendimiento de los modelos más pequeños, en lugar de aumentar el número de parámetros. Mientras que la mayoría de los modelos de código cerrado tienen cientos de miles de millones de parámetros, los modelos Llama 2 se ofrecen con siete mil millones (7B), 13 mil millones (13B) o 70 mil millones de parámetros (70B).

Esto permite a organizaciones más pequeñas, como startups y miembros de la comunidad de investigación, implementar instancias locales de modelos Llama 2, modelos basados en Llama desarrollados por la comunidad de IA, sin necesidad de tener que realizar unas inversiones de tiempo o infraestructura prohibitivamente caras.

Más información: IBM incluirá Llama 2 en su plataforma de IA y datos watsonx
Llama 2 contra LLaMa 1

El documento de investigación de Llama 2 detalla varias ventajas que ofrece la nueva generación de modelos de IA sobre los modelos LLaMa originales.

  • Mayor longitud de contexto: los modelos Llama 2 ofrecen una longitud de contexto de 4.096 tokens, que es el doble de LLaMa 1. La longitud del contexto (o ventana de contexto) se refiere al número máximo de elementos que el modelo puede «recordar» durante la inferencia (es decir, la generación de texto o una conversación en curso). Esto permite una mayor complejidad y un intercambio más coherente y fluido del lenguaje natural.
  • Mayor accesibilidad: mientras que LLaMa 1 se lanzó exclusivamente para uso de investigación, Llama 2 está disponible para cualquier organización (con menos de 700 millones de usuarios activos).
  • Formación más sólida: Llama 2 se entrenó previamente en un 40 % más de datos, aumentando su base de conocimientos y su comprensión contextual. Además, a diferencia de LLaMa 1, los modelos de chat Llama 2 se ajustaban utilizando el aprendizaje de refuerzo de la retroalimentación humana (RLHF), ayudando a alinear mejor las respuestas del modelo con las expectativas humanas.
El almacén de datos para la IA

Descubra el poder de integrar una estrategia basada en un lakehouse de datos en su arquitectura de datos, incluidas las mejoras para escalar la IA y las oportunidades de optimización de costos.

Contenido relacionado

Regístrese para leer el informe de IDC

¿Llama 2 es de código abierto?

Aunque Meta ha hecho que el código inicial y los pesos de los modelos Llama 2 estén disponibles gratuitamente para investigación y uso comercial, ciertas restricciones en su acuerdo de licencia han provocado un debate sobre si se puede llamar apropiadamente "código abierto".

El debate es algo técnico y semántico: aunque “código abierto” se usa a menudo coloquialmente para referirse a cualquier software (u otras herramientas de programación) cuyo código fuente se distribuye de forma gratuita, en realidad es una designación formal definida por la Open Source Initiative ( OSI). La OSI solo certifica una licencia de software determinada como "aprobada por la Iniciativa de Código Abierto" si considera que dicha licencia cumple los diez requisitos enumerados en la definición oficial de código abierto (OSD) (enlace externo a ibm.com) .

Como se explica en una declaración del director ejecutivo de OSI, Stefano Maffulli, "OSI se complace en ver que Meta está reduciendo las barreras de acceso a potentes sistemas de IA. Desafortunadamente, el gigante tecnológico ha creado la confusión de que LLaMa 2 es "código abierto" cuando no lo es".

La discrepancia se deriva de dos aspectos del acuerdo de licencia de Llama 2:

  • Cualquier organización con más de 700 millones de usuarios activos al mes debe solicitar una licencia de Meta (a su entera discreción). 2
  • La "Política de uso aceptable" prohíbe el uso de los modelos para la violencia, la actividad penal y la suplantación de humanos, entre otras restricciones legales y morales.

Estas restricciones contradicen dos puntos de la OSD:

  • Punto 5: "La licencia no debe discriminar a ninguna persona o grupo de personas." 3
  • Punto 6: "La licencia no debe restringir a nadie el uso del programa en un campo específico." 3

Para reconocer tanto el espíritu abierto de Llama 2 como su incumplimiento de la definición técnica de "código abierto", algunos integrantes de la comunidad tecnológica han utilizado el término "enfoque abierto". 4

¿Cómo funciona Llama 2?

Los modelos de base de Llama 2 son modelos básicos preentrenados que deben ajustarse para casos de uso específicos, mientras que los modelos de chat de Llama 2 ya están optimizados para el diálogo.

Modelos base Llama 2

Llama 2 es una familia de modelos lingüísticos causales autorregresivos basados en transformadores. Los modelos autorregresivos del lenguaje toman una secuencia de palabras como entrada y predicen recursivamente, como salida, la(s) siguiente(s) palabra(s).

Durante la capacitación previaautosupervisada, a los LLM se les proporciona el principio de ejemplos de oraciones extraídas de un enorme corpus de datos sin etiquetar y se les asigna la tarea de predecir la siguiente palabra. En la formación del modelo para minimizar la divergencia entre la verdad de base (la palabra siguiente real) y sus propias predicciones, el modelo aprende a replicar patrones lingüísticos y lógicos en los datos de entrenamiento. Si bien el documento de investigación omite notablemente detalles sobre fuentes de datos específicas, afirma que Llama 2 fue entrenado con 2 billones de tokens (palabras, partes de palabras, frases y otros fragmentos semánticos representados numéricamente que las redes neuronales basadas en transformadores utilizan para procesar el lenguaje) de fuentes disponibles públicamente.

En un nivel fundamental, los modelos básicos no están preentrenados para responder realmente a una pregunta: le añaden texto de forma gramaticalmente coherente. Un modelo de base listo para usar podría responder a un mensaje de "enséñame a preparar galletas" con "para una fiesta navideña".Se requiere un ajuste más preciso, a través de técnicas como el aprendizaje supervisado y el aprendizaje de refuerzo, para entrenar un modelo de base para una aplicación específica como diálogo, seguimiento de instrucciones o escritura creativa.

En cambio, los modelos básicos de Llama 2 están destinados a servir como base sobre la que construir un modelo con un propósito específico. Hasta la fecha, los modelos Llama 2 (y LLaMa original) han servido como base de varios LLM destacados de código abierto, entre ellos:

  • Alpaca: Una versión de LLaMa 7B ajustada para el seguimiento de instrucciones por parte de investigadores de la Universidad de Stanford. Cabe destacar que obtuvo resultados competitivos con GPT-3.5 a pesar de costar solo 600 USD en recursos informáticos.5
  • Vicuna: un modelo de asistente de chat de LMSYS Org, entrenado mediante el ajuste de Llama 2 13B con conversaciones de usuario de ShareGPT (enlace externo ibm.com). Superó a Alpaca en más del 90 % de los casos a un coste de formación de tan solo 300 USD.6
  • Orca: una versión ajustada de Llama 2, entrenada por Microsoft utilizando un esquema de "estudiante profesor", en el que se utiliza un LLM más grande y potente para generar ejemplos de comportamiento de razonamiento útil para el modelo más pequeño.7
  • WizardLM: ajustado utilizando Evol-Instruct, un método para crear grandes cantidades de datos de instrucciones sintéticas utilizando LLM, WizardLM logró más del 90 % del rendimiento de ChatGPT en 17 de 29 habilidades evaluadas.8
Modelos de chat Llama 2

Los modelos de chat Llama-2-se ajustan para casos de uso basados en diálogos, de forma similar a las versiones específicas del modelo GPT utilizadas en ChatGPT.

El ajuste preciso supervisado (SFT) se utilizó para preparar el modelo base preentrenado de Llama 2 para generar respuestas en el formato esperado por los usuarios en una configuración de chatbot o agente virtual. En una serie de tareas de aprendizaje supervisado, se utilizan pares etiquetados de intercambios de estilo conversacional, anotados como (instrucción, respuesta) para entrenar el modelo para minimizar la divergencia entre sus propias respuestas para una selección dinámica dada y la respuesta de ejemplo proporcionada por los datos etiquetados. El modelo aprende, por ejemplo, que la respuesta adecuada a un mensaje de "enséñame a preparar galletas" es proporcionar instrucciones reales para preparar galletas, en lugar de simplemente completar la frase.

En lugar de usar millones de ejemplos etiquetados, el informe afirma que los resultados se mejoraron utilizando "menos ejemplos pero de mayor calidad", observando que Meta AI recopiló 27.540 muestras anotadas.

Después de SFT, Meta utilizó el aprendizaje de refuerzo con retroalimentación humana (RLHF) para alinear aún más el comportamiento de los modelos de chat con las preferencias e instrucciones humanas. En RLHF, la retroalimentación humana directa se utiliza para entrenar un "modelo de recompensa" para aprender patrones del tipo de respuestas que prefieren los humanos. Al traducir las predicciones del modelo de recompensa (con respecto a si los humanos preferirían una respuesta determinada) en una señal de recompensa escalar, el modelo de recompensa se utiliza para entrenar aún más a Llama-2-chat mediante el aprendizaje por refuerzo.

Hay muchos métodos y formatos diferentes en los que se pueden recopilar comentarios humanos. Meta AI utilizó un método simple de comparación binaria: se pidió a los anotadores humanos que escribieran un mensaje y luego eligieran entre dos respuestas modelo, basadas en los criterios proporcionados por Meta, generadas por dos variantes diferentes de Llama 2. Para ayudar al modelo de recompensa a ponderar adecuadamente las opciones, también se pidió a los anotadores que calificaran el grado en que preferían la respuesta elegida sobre la otra: “significativamente mejor”, ligeramente mejor” o “insignificantemente mejor/no está claro".

Las preferencias humanas se utilizaron para entrenar dos modelos de recompensa distintos: uno optimizado para ser útil y el otro optimizado para la seguridad (p. ej. evitar respuestas tóxicas y de odio o respuestas que puedan usarse para ayudar en la violencia o la actividad delictiva). Además de la optimización de políticas proximales (PPO), el algoritmo que se suele utilizar para actualizar las ponderaciones de los modelos de LLM en RLHF, Meta también utilizó el muestreo de rechazo (el enlace se encuentra fuera de ibm.com) para actualizar Llama-2-chat-70b.

Código Llama

Code Llama, creado sobre Llama 2, está optimizado para generar código (y lenguaje natural sobre el código) a partir de indicaciones basadas en código y en lenguaje natural. Presentado poco después del lanzamiento de la base Llama 2 y de los modelos de chat, es gratis para investigación y uso comercial.

Compatible con los lenguajes de programación más populares, incluidos Python, C++, Java, PHP y Javascript (entre otros), está disponible en tamaños de modelo de parámetros 7B, 13B y 34B, y tiene una longitud de contexto de hasta 100.000 tokens. Dos variaciones adicionales, Code Llama - Python y Code Llama - Instruct, están ajustadas para Python (y PyTorch) y el seguimiento de instrucciones, respectivamente.

Llama 2 frente a modelos de código cerrado

En comparación con sus competidores de código cerrado, los modelos Llama 2 destacan en aspectos como la seguridad y la precisión de los datos. Aunque Llama 2 puede no contar con todas las capacidades de modelos mucho más grandes, su disponibilidad abierta y mayor eficiencia presentan ventajas únicas.

Al comparar Llama 2 con los modelos emblemáticos de la competencia, como OpenAI, Antrópico y Google, es importante considerar la escala. Aunque los modelos de código cerrado no siempre revelan todos los detalles de su arquitectura, la información disponible sugiere que todos superan con creces los 70 mil millones de parámetros de los modelos más grandes de Llama 2:

  • GPT-3 tiene 175 millones de parámetros.
  • Se estima que GPT-4 tiene 1 billón de parámetros.9
  • Se dice que PaLM 2 de Google tiene 340 mil millones de parámetros.10 Su predecesor, PaLM, tiene 540 mil millones de parámetros.11
  • Anthropic no ha publicado el recuento de parámetros para los modelos Claude, pero un artículo reciente sugiere la existencia de una versión de Claude 2 con 175 mil millones de parámetros.12


Evaluación humana
Según el documento de investigación Llama 2, los evaluadores humanos prefieren las respuestas de Llama-2-chat 70B a las de GPT-3.5.-turbo-0301, el modelo estándar para ChatGPT: las respuestas de Llama 2 tuvieron una tasa de victoria del 36 % y una tasa de empate del 31,5 %. En relación con PaLM Bison, el segundo modelo PaLM más grande, 70B tuvo una tasa de victoria de más del 50 %.


Seguridad
En las pruebas de Meta, los modelos 7B, 13B y 70B Llama 2 presentaron porcentajes de infracciones de seguridad significativamente inferiores a los de PaLM Bison; -3 % y 4 %, frente al 27 % de PaLM; así como porcentajes de infracciones de seguridad inferiores al 7 % de ChatGPT.
Se trata de un punto fuerte para los casos de uso empresarial, en los que el lenguaje tóxico, odioso o incendiario de los chatbots puede tener consecuencias importantes.


Privacidad y eficiencia
Una ventaja inherente de los modelos más pequeños y abiertos sobre los modelos masivos de código cerrado es la libertad de las empresas para ejecutar instancias de modelos locales y la rentabilidad de hacerlo sin inversiones masivas en infraestructura o cloud computing. Ejecutar un modelo local garantiza que el código propietario, las modificaciones de entrenamiento y los datos propietarios puedan utilizarse para afinar el rendimiento del modelo sin que se carguen en un servidor comercial o se utilicen potencialmente en futuros entrenamientos de modelos de código cerrado. Además, los tamaños de modelo más pequeños, como las variantes 7B y 13B, permiten un rendimiento más fluido en entornos como las aplicaciones móviles, donde la potencia de procesamiento es limitada.

Cómo usar Llama 2

Llama 2 no tiene su propia API dedicada, pero es accesible a través de varios proveedores.

  • Llama-2-13B-chat y Llama-2-70B-chat se encuentran entre los muchos modelos básicos disponibles en watsonx, gracias a la asociación de IBM con Hugging Face.

  • Los pesos de los modelos y el código inicial de Llama 2 se pueden descargar directamente desde Github, donde Meta también proporciona instrucciones, demostraciones y “recetas” para Llama 2 (enlace externo a ibm.com). Los modelos se pueden implementar en marcos de aprendizaje automático de código abierto como PyTorch o LangChain.

  • Llama 2 también está disponible a través de proveedores de código abierto como Hugging Face y proveedores empresariales como Microsoft Azure y Amazon Sagemaker y Bedrock, además de varias startups basadas en la nube.
Soluciones relacionadas
IBM watsonx.ai

Entrenar, validar, ajustar e implementar IA generativa, modelos fundacionales y capacidades de aprendizaje automático con facilidad y crear aplicaciones de IA en una fracción del tiempo con una fracción de los datos.

Explore watsonx.ai

IBM watsonx Assistant

Ofrezca una atención al cliente inteligente en todos los canales y puntos de contacto con IA conversacional.

Explore IBM watsonx Assistant

Servicios de consultoría de IA

Reimagine su forma de trabajar con la IA: nuestro equipo diverso y global de más de 20 000 expertos en IA puede ayudarle a diseñar y escalar la IA y la automatización de forma rápida y segura en toda su empresa, trabajando con nuestra propia tecnología IBM watsonx y un ecosistema abierto de socios para ofrecer cualquier modelo de IA, en cualquier nube, guiado por la ética y la confianza.

Explore servicios de consultoría de IA de IBM
Recursos de Llama 2

Obtenga más información sobre Llama 2 y los modelos fundacionales.

Modelos fundacionales

Los modelos modernos de IA que ejecutan tareas específicas en un solo dominio están dando paso a otros que aprenden de manera más general y funcionan en todos los dominios y problemas. Descubra cómo los modelos de base, entrenados en grandes conjuntos de datos no etiquetados y optimizados para una serie de aplicaciones, están impulsando este cambio.

Cómo está adaptando IBM la IA generativa a las empresas

Descubra cómo IBM está desarrollando modelos de base generativa que son fiables, energéticamente eficientes y portátiles, lo que permite a las empresas mover cargas de trabajo de IA sin problemas entre nubes públicas y privadas.

¿Qué es la alineación de la IA?

Explore el proceso de codificación de valores humanos y objetivos en grandes modelos lingüísticos para hacerlos lo más útiles, seguros y fiables posible. A través de la alineación, las empresas pueden adaptar los modelos de IA para seguir sus reglas y políticas empresariales.

Dé el siguiente paso

Entrene, valide, ajuste e implemente IA generativa, modelos fundacionales y capacidades de machine learning con IBM watsonx.ai, un estudio empresarial de próxima generación para constructores de IA. Cree aplicaciones de IA en menos tiempo y con menos datos.

Explore watsonx.ai Reserve una demostración en directo