Los modelos de lenguaje visual (VLM) son modelos de inteligencia artificial (IA) que combinan la visión artificial y las capacidades de procesamiento del lenguaje natural (PLN).
Los VLM aprenden a mapear las relaciones entre los datos de texto y los datos visuales, como imágenes o vídeos, lo que permite a estos modelos generar texto a partir de entradas visuales o comprender las instrucciones del lenguaje natural en el contexto de la información visual.
Los VLM, también conocidos como modelos de lenguaje visual, combinan modelos de lenguaje de gran tamaño (LLM) con modelos de visión o algoritmos de machine learning (ML) visual. Como sistemas de IA multimodal, los VLM toman entrada e imágenes o vídeos como entrada y producen un texto como salida, normalmente en forma de descripciones de imágenes o vídeos, respondiendo a preguntas sobre una imagen o identificando partes de una imagen u objetos en un vídeo.
Los modelos de lenguaje visual suelen constar de dos componentes clave:
Un codificador de lenguaje captura el significado semántico y las asociaciones contextuales entre palabras y frases y las convierte en embeddings de texto para que los modelos de IA las procesen.
La mayoría de los VLM utilizan una arquitectura de red neuronal conocida como modelo transformador para su codificador lingüístico. Algunos ejemplos de transformadores son el BERT (representaciones codificadoras bidireccionales a partir de transformadores) de Google, uno de los primeros modelos fundacionales que sustentan muchos de los LLM actuales, y el transformador preentrenado generativo (GPT) de OpenAI.
He aquí una breve descripción de la arquitectura del transformador:
Un codificador de visión extrae propiedades visuales vitales, como colores, formas y texturas, de una imagen o entrada y las convierte en embeddings vectoriales que los modelos de machine learning pueden procesar.
Las versiones anteriores de los VLM utilizaban algoritmos de deep learning como redes neuronales convolucionales para la extracción de características. Los modelos de lenguaje visual más modernos emplean un transformador de visión (ViT), que aplica elementos de un modelo de lenguaje basado en transformadores.
Un ViT procesa una imagen en parches y los trata como secuencias, de forma similar a los tokens en un transformador de lenguaje. A continuación, el transformador de visión implementa la autoatención en estos parches para crear una representación basada en transformadores de la imagen de entrada.
Boletín del sector
Obtenga conocimientos organizados sobre las noticias más importantes e intrigantes de la IA. Suscríbase a nuestro boletín semanal Think. Consulte la Declaración de privacidad de IBM.
Su suscripción se enviará en inglés. Encontrará un enlace para darse de baja en cada boletín. Puede gestionar sus suscripciones o darse de baja aquí. Consulte nuestra Declaración de privacidad de IBM para obtener más información.
Las estrategias de entrenamiento para los modelos de lenguaje visual implican alinear y fusionar la información de los codificadores de visión y lenguaje para que el VLM pueda aprender a correlacionar las imágenes con el texto y a tomar decisiones sobre las dos modalidades juntas.
La formación en VLM suele basarse en una combinación de enfoques:
El aprendizaje contrastivo mapea las embeddings de imagen y texto de ambos codificadores en un espacio de embedding conjunto o compartido. El VLM se entrena en conjuntos de datos de pares imagen-texto y aprende a minimizar la distancia entre los embeddings de los pares coincidentes y a maximizarla para los pares no coincidentes.
Un algoritmo habitual de aprendizaje contrastivo es el CLIP (Contrastive Language-Image Pretraining). CLIP se ha entrenado con 400 millones de pares de imágenes y subtítulos extraídos de Internet y ha demostrado una gran precisión en la clasificación zero-shot1.
El enmascaramiento es otra técnica de entrenamiento en la que los modelos del lenguaje visual aprenden a predecir partes ocultas al azar de un texto o una imagen de entrada. En el modelado de lenguaje enmascarado, los VLM aprenden a completar las palabras que faltan en una leyenda de texto dada una imagen sin máscara.
Mientras tanto, en el modelado de imágenes enmascaradas, los VLM aprenden a reconstruir los píxeles ocultos en una imagen dada una leyenda sin máscara.
Un ejemplo de un modelo que utiliza el enmascaramiento es FLAVA (Foundational Language And Vision Alignment). FLAVA emplea un transformador de visión como codificador de imágenes y una arquitectura del transformador tanto para su codificador de lenguaje como para su codificador multimodal.
El codificador multimodal aplica un mecanismo de atención cruzada para integrar información textual y visual. El entrenamiento de FLAVA abarca el modelado enmascarado junto con el aprendizaje contrastivo1.
El entrenamiento de modelos generativos para VLM implica aprender a generar nuevos datos. La generación de texto a imagen produce imágenes a partir del texto de entrada, mientras que la generación de imagen a texto produce texto, como leyendas, descripciones de imágenes o resúmenes, a partir de una imagen de entrada.
Ejemplos de modelos populares de conversión de texto a imagen son los modelos de difusión, como Imagen de Google, Midjourney, DALL-E de OpenAI (que comienza con DALL-E 2) y Stable Diffusion de Stability AI.
El entrenamiento de modelos de lenguaje visual desde cero puede requerir muchos recursos y ser costoso, por lo que los VLM pueden construirse a partir de modelos preentrenados.
Se puede utilizar un LLM preentrenado y un codificador de visión preentrenado, con una capa de red de mapeo añadida que alinea o proyecta la representación visual de una imagen en el espacio de entrada del LLM.
LLaVA (Large Language and Vision Assistant) es un ejemplo de un VLM desarrollado a partir de modelos preentrenados. Este modelo multimodal utiliza el Vicuna LLM y el CLIP ViT como codificador de visión, con sus salidas fusionadas en un espacio dimensional compartido utilizando un proyector lineal1.
Recopilar datos de entrenamiento de alta calidad para VLM puede ser tedioso, pero existen conjuntos de datos existentes que se pueden utilizar para el preentrenamiento, la optimización y el ajuste para tareas posteriores más específicas.
Por ejemplo, ImageNet contiene millones de imágenes anotadas, mientras que COCO tiene miles de imágenes etiquetadas para subtítulos a gran escala, detección de objetos y segmentación. Del mismo modo, el conjunto de datos LAION consta de miles de millones de pares multilingües de imagen y texto.
Los VLM pueden cerrar la brecha entre la información visual y la lingüística. Lo que antes requerían dos modelos de IA distintos para cada modalidad ahora se puede combinar en un modelo.
Los VLM se pueden utilizar para una serie de tareas de lenguaje visual:
Los modelos de lenguaje visual pueden generar leyendas o descripciones detalladas de las imágenes. También pueden resumir vídeos e información visual en documentos, como imágenes médicas para entornos sanitarios o gráficos de reparación de equipos en instalaciones de fabricación.
Los generadores de texto a imagen como DALL-E, Imagen, Midjourney y Stable Diffusion pueden ayudar a crear arte o imágenes para acompañar el contenido escrito. Las empresas también pueden utilizar estas herramientas durante las fases de diseño y creación de prototipos, lo que ayuda a visualizar ideas de productos.
Los VLM pueden buscar en grandes galerías de imágenes o bases de datos de vídeos y recuperar fotos o vídeos relevantes basándose en una consulta en lenguaje natural. Esto puede mejorar la experiencia de usuario de los compradores en los sitios web de comercio electrónico, por ejemplo, ayudándoles a encontrar un artículo concreto o a navegar por un amplio catálogo.
Un modelo de lenguaje visual puede dividir una imagen en segmentos basándose en las características espaciales que ha aprendido y extraído de la imagen. El VLM puede entonces suministrar descripciones de texto de esos segmentos.
También puede generar recuadros delimitadores para localizar objetos o proporcionar otras formas de anotación como etiquetas o resaltes de color para especificar secciones de una imagen relacionadas con una consulta.
Esto puede ser valioso para el mantenimiento predictivo, por ejemplo, ayudando a analizar imágenes o vídeos de las plantas de una fábrica para detectar posibles defectos de los equipos en tiempo real.
Los modelos de lenguaje visual pueden reconocer y clasificar objetos dentro de una imagen y proporcionar descripciones contextuales, como la posición de un objeto en relación con otros elementos visuales.
La detección de objetos se puede utilizar en robótica, por ejemplo, permitiendo a los robots comprender mejor su entorno y comprender instrucciones visuales.
Los VLM pueden responder preguntas sobre imágenes o vídeos, demostrando sus habilidades de razonamiento visual. Esto puede ayudar con el análisis de imágenes o vídeos e incluso puede extenderse a aplicaciones de IA agéntica.
En el sector del transporte, por ejemplo, los agentes de IA pueden encargarse de analizar vídeos de inspección de carreteras e identificar peligros como señales de tráfico dañadas, semáforos defectuosos y baches.
A continuación, se les puede dar instrucción para que elaboren un informe de mantenimiento que describa la ubicación y la descripción de esos peligros.
Los modelos de lenguaje visual están avanzando rápidamente, con el potencial de estar tan extendidos como los LLM avanzados actuales.
Estos son algunos ejemplos de VLM populares:
DeepSeek-VL2 es un modelo de lenguaje visual de código abierto con 4500 millones de parámetros de la startup china de IA DeepSeek. Se compone de un codificador visual, un adaptador de lenguaje visual y el LLM DeepSeekMoE, que adopta una arquitectura Mixture of Experts (MoE).
DeepSeek-VL2 tiene una variante pequeña con 1000 millones de parámetros y una variante pequeña con 2800 millones de parámetros2.
Gemini 2.0 Flash es parte del conjunto de modelos Google Gemini. Las modalidades de entrada incluyen audio, imagen, texto y vídeo, con una salida de solo texto. Ya está en camino una característica de generación de imágenes.
El GPT-4o de OpenAI es un modelo único entrenado de extremo a extremo a través de datos de audio, visión y texto. Puede aceptar una mezcla de entradas de audio, imagen, texto y vídeo y producir cualquier combinación de outputs de audio, imagen y texto, con la misma red neuronal procesando todas las entradas y salidas.
Su homólogo más pequeño, GPT-4o mini, admite entrada de imágenes y texto y genera output de texto.
Los modelos de código abierto Llama 3.2 incluyen 2 VLM en tamaños de parámetros de 11 y 90 000 millones. Las entradas pueden ser una combinación de texto e imágenes, con una salida de texto solo3.
Según Meta, la arquitectura VLM consta de un codificador de imagen ViT, un adaptador de vídeo y un adaptador de imagen4.El adaptador de imagen entrenado por separado tiene una serie de capas de atención cruzada que alimentan las representaciones del codificador de imágenes en el LLM Llama 3.1 previamente entrenado3.
NVLM es una familia de modelos multimodales de NVIDIA. NVLM-D es un modelo solo de decodificador que alimenta tokens de imagen directamente al decodificador LLM. NVLM-X emplea atención cruzada para procesar tokens de imagen y es más eficiente para manejar imágenes de alta resolución.
NVLM-H adopta una arquitectura híbrida que combina los enfoques de solo decodificador y atención cruzada, lo que mejora la eficiencia computacional y las capacidades de razonamiento5.
Qwen 2.5-VL es el modelo de lenguaje de visión insignia de la empresa china de cloud computing, Alibaba Cloud. Está disponible en tamaños de tres, siete y 72 mil millones de parámetros.
El modelo utiliza un codificador de visión ViT y el Qwen 2.5 LLM. Puede entender videos de más de una hora de duración y puede navegar por interfaces de escritorio y teléfonos inteligentes.
Al igual que los LLM, los VLM también tienen sus propios puntos de referencia. Cada punto de referencia puede tener su propia tabla de clasificación, pero también hay tablas de clasificación independientes, como la tabla de clasificación OpenVLM alojada en Hugging Face, que clasifica los modelos de lenguaje visual de código abierto en función de varias métricas.
Estos son algunos puntos de referencia comunes para los modelos de lenguaje visual:
La evaluación comparativa de VLM puede llevar mucho tiempo, pero algunas herramientas pueden ayudar a simplificar el proceso. VLMEvalKit es un kit de herramientas de evaluación de código abierto que permite la evaluación con un solo comando de los VLM. Otro conjunto de evaluaciones es LMMs-Eval, que también proporciona una interfaz de línea de comandos para la evaluación.
Al igual que con cualquier sistema de IA, los VLM aún deben lidiar con los riesgos de la IA. Las empresas deben tener esto en cuenta al considerar la integración de modelos de lenguaje visual en sus flujos de trabajo internos o su implementación para aplicaciones comerciales.
A continuación se presentan algunos desafíos asociados con los VLM:
Los modelos de lenguaje visual pueden aprender de los sesgos que puedan estar presentes en los datos del mundo real con los que están entrenados o de los modelos previamente entrenados sobre los que están construidos. El uso de diversas fuentes de datos y la incorporación de supervisión humana durante todo el proceso pueden ayudar a mitigar el sesgo.
Los modelos de visión y los modelos de lenguaje ya son complejos por sí mismos, por lo que fusionarlos puede aumentar aún más su complejidad. Esta complejidad lleva a la necesidad de más recursos, lo que dificulta implementar las VLM a gran escala. Las empresas deben estar preparadas para invertir en los recursos necesarios para desarrollar, formar e implementar estos modelos.
Los VLM pueden fallar en lo que respecta a la generalización, que es la capacidad de un modelo para adaptarse y hacer predicciones precisas sobre datos nuevos y nunca antes vistos.
Un conjunto de datos equilibrado que incluya valores atípicos o casos extremos y emplee el aprendizaje zero-shot puede permitir a los VLM adaptarse a conceptos nuevos o combinaciones atípicas de imagen y texto.
El punto de referencia LiveXiv de IBM para tareas de comprensión visual de documentos también puede ayudar. LiveXiv es un punto de referencia dinámico que se actualiza automáticamente mensualmente, evaluando los VLM en preguntas e imágenes que probablemente nunca antes hayan visto.
Los modelos de lenguaje visual pueden ser propensos a las alucinaciones de la IA. Validar los resultados de estos modelos es un paso crucial para garantizar que sean precisos.
Entrene, valide, ajuste e implemente IA generativa, modelos fundacionales y capacidades de machine learning con IBM watsonx.ai, un estudio empresarial de nueva generación para desarrolladores de IA. Cree aplicaciones de IA en menos tiempo y con menos datos.
Ponga la IA a trabajar en su negocio con la experiencia líder en IA del sector de IBM y junto a su cartera de soluciones.
Reinvente las operaciones y flujos de trabajo críticos añadiendo IA para maximizar las experiencias, la toma de decisiones en tiempo real y el valor empresarial.
Vínculos externos a ibm.com
1 An Introduction to Vision-Language Modeling. arXiv. 27 de mayo de 2024.
2 DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding. GitHub. 13 de diciembre de 2024.
3 Model Information. GitHub. 30 de septiembre de 2024.
4 The Llama 3 Herd of Models . arXiv. 23 de noviembre de 2024.
5 NVLM: Open Frontier-Class Multimodal LLMs. arXiv. 22 de octubre de 2024.