Las tendencias en IA más importantes en 2024

Dicho esto, la ambición de la IA generativa de última generación es cada vez mayor. La próxima oleada de avances se centrará no sólo en mejorar el rendimiento dentro de un dominio específico, sino en modelos multimodales que puedan tomar como entrada múltiples tipos de datos. Aunque los modelos que operan en distintas modalidades de datos no son un fenómeno estrictamente nuevo (los modelos de texto a imagen, como CLIP, y los de voz a texto, como Wave2Vec, existen desde hace años), normalmente han operado en una única dirección y se han entrenado para realizar una tarea específica.

La nueva generación de modelos interdisciplinarios, que incluye modelos patentados como GPT-4V de OpenAI o Gemini de Google, así como modelos de código abierto como LLaVa, Adept o Qwen-VL, puede moverse libremente entre tareas de procesamiento del lenguaje natural (PLN) y de visión artificial. Los nuevos modelos también incorporan el vídeo: a finales de enero, Google anunció Lumiere, un modelo de difusión de texto a vídeo que también puede realizar tareas de imagen a vídeo o utilizar imágenes como referencia de estilo.

El beneficio más inmediato de la IA multimodal son aplicaciones de IA y asistentes virtuales más intuitivos y versátiles. Los usuarios pueden, por ejemplo, preguntar por una imagen y recibir una respuesta en lenguaje natural, o pedir en voz alta instrucciones para reparar algo y recibir ayudas visuales junto con instrucciones textuales paso a paso.

En un nivel superior, la IA multimodal permite que un modelo procese entradas de datos más diversas, enriqueciendo y ampliando la información disponible para el entrenamiento y la inferencia. El vídeo, en particular, ofrece un gran potencial para el aprendizaje holístico. "Hay cámaras que están encendidas 24x7, y que captan lo que pasa tal y como pasa, sin ningún tipo de filtro, sin ninguna intencionalidad", afirma Peter Norvig, Miembro Distinguido de Educación del Stanford Institute for Human-Centered Artificial Intelligence (HAI)[3]. "Hasta ahora, los modelos de IA no disponían de ese tipo de datos. Esos modelos tendrán una mejor comprensión de todo".

En los modelos de dominio específico, en particular los LLM, es probable que hayamos alcanzado el punto de disminución de los beneficios de un mayor número de parámetros. Sam Altman, CEO de OpenAI (cuyo modelo GPT-4 se rumorea que tiene alrededor de 1,76 billones de parámetros), sugirió lo mismo en el evento Imagination in Action del MIT el pasado mes de abril: "Este es el final de la era de los modelos grandes; vamos a mejorarlos en otros aspectos", predijo. “Creo que se ha dado demasiado protagonismo al recuento de parámetros”.

Los modelos masivos iniciaron esta edad de oro de la IA en la que nos encontramos, pero no están exentos de inconvenientes. Sólo las empresas más grandes disponen de fondos y espacio en servidores para entrenar y mantener modelos que consumen mucha energía y tienen cientos de miles de millones de parámetros. Según una estimación de la Universidad de Washington, entrenar un solo modelo de tamaño GPT-3 requiere el consumo anual de electricidad de más de 1000 hogares; un día normal de consultas a ChatGPT rivaliza con el consumo diario de energía de 33 000 hogares estadounidenses.[4]

Los modelos más pequeños, por su parte, consumen muchos menos recursos. Un influyente artículo de marzo de 2022 de Deepmind demostró que entrenar modelos más pequeños con más datos produce un mejor rendimiento que entrenar modelos más grandes con menos datos. Por lo tanto, gran parte de la innovación continua en los LLM se ha centrado en obtener más resultados con menos parámetros. Como lo demuestran los recientes avances de los modelos en el rango de 3 a 70 000 millones de parámetros, especialmente los que se basaron en los modelos fundacionales LLaMa, Llama 2 y Mistral en 2023, los modelos se pueden reducir sin sacrificar mucho el rendimiento.

El poder de los modelos abiertos seguirá creciendo. En diciembre de 2023, Mistral lanzó "Mixtral", un modelo de mezcla de expertos (MoE) que integra ocho redes neuronales, cada una con siete mil millones de parámetros. Mistral afirma que Mixtral no solo supera a la variante de parámetros 70B de Llama 2 en la mayoría de los puntos de referencia a velocidades de inferencia seis veces más rápidas, sino que incluso iguala o supera al GPT-3.5 de OpenAI, mucho más grande, en la mayoría de los puntos de referencia estándar. Poco después, Meta anunció en enero que ya había comenzado a entrenar los modelos Llama 3 y confirmó que serían de código abierto. Aunque no se han confirmado detalles (como el tamaño del modelo), es razonable esperar que Llama 3 siga el marco establecido en las dos generaciones anteriores.

Estos avances en modelos más pequeños tienen tres importantes beneficios:

• .
• Ayudan a democratizar la IA: los modelos más pequeños que pueden funcionar a un coste menor en un hardware más asequible permiten a más aficionados e instituciones estudiar, entrenar y mejorar los modelos existentes.
• Pueden ejecutarse localmente en dispositivos más pequeños: esto permite una IA más sofisticada en escenarios como el edge computing y el Internet de las cosas (IoT). Además, la ejecución local de los modelos (por ejemplo, en el smartphone de un usuario) ayuda a evitar muchos problemas de privacidad y ciberseguridad que surgen de la interacción con datos personales sensibles o de propiedad.
• Hacen que la IA sea más explicable: cuanto más grande es el modelo, más difícil es determinar cómo y dónde toma decisiones importantes. La IA explicable es esencial para comprender, mejorar y confiar en el resultado de los sistemas de IA.

La tendencia hacia modelos más pequeños vendrá impulsada tanto por la necesidad como por el vigor empresarial, puesto que los costes del cloud computing aumentan a medida que disminuye la disponibilidad de hardware.

"Todas las grandes empresas (y cada vez más) están tratando de incorporar las capacidades de IA a sus propias empresas, y hay también cierta demanda de GPU", dice James Landay, vicedirector y director facultativo de investigación de Stanford HAI. "Esto creará una enorme presión no sólo para aumentar la producción de GPU, sino para que los innovadores propongan soluciones de hardware más baratas y fáciles de fabricar y utilizar"¹.

Como explica un informe de O'Reilly de finales de 2023, los proveedores de la nube soportan actualmente gran parte de la carga informática: son relativamente pocos los que adoptan la IA que mantienen su propia infraestructura, y la escasez de hardware no hará sino elevar los obstáculos y los costes de instalar servidores en entornos locales. A largo plazo, esto puede ejercer una presión al alza sobre los costes de la nube a medida que los proveedores actualizan y optimizan su propia infraestructura para satisfacer de manera efectiva la demanda de IA generativa[5].

Para las empresas, navegar por este panorama incierto requiere flexibilidad, tanto en términos de modelos, apostando por modelos más pequeños y eficientes cuando sea necesario o por modelos más grandes y de mayor rendimiento cuando sea práctico, como de entorno de implementación. "No queremos limitar dónde implementan la gente [un modelo]", afirmó el CEO de IBM, Arvind Krishna, en una entrevista concedida a la CNBC en diciembre de 2023, en referencia a la cartera de productos de IA IBM watsonx. "Así que [si] quieren implementarlo en una gran nube pública, lo haremos allí. Si quieren implementarlo en IBM, lo haremos en IBM. Si quieren hacerlo por su cuenta, y resulta que tienen suficiente infraestructura, lo haremos allí".

La tendencia a maximizar el rendimiento de los modelos más compactos está bien servida por la reciente producción de la comunidad de código abierto. 

Muchos avances clave han sido (y seguirán siendo) impulsados no sólo por nuevos modelos fundacionales, sino por nuevas técnicas y recursos (como conjuntos de datos de código abierto) para entrenar, ajustar, afinar o alinear modelos preentrenados. Entre las técnicas de diagnóstico de modelos que se impusieron en 2023 destacan:

• .
• Adaptación de rango bajo (LoRA): en lugar de ajustar directamente miles de millones de parámetros del modelo, LoRA implica congelar los pesos del modelo preentrenado e inyectar capas entrenables (que representan la matriz de cambios en los pesos del modelo como dos matrices más pequeñas (de rango inferior) en cada bloque transformador. Esto reduce drásticamente el número de parámetros que hay que actualizar, lo que, a su vez, acelera enormemente el ajuste fino y reduce la memoria necesaria para almacenar las actualizaciones del modelo.
• Cuantización: al igual que se reduce la tasa de bits de audio o vídeo para reducir el tamaño del archivo y la latencia, la cuantización disminuye la precisión utilizada para representar los puntos de datos del modelo (por ejemplo, de 16 bits en coma flotante a 8 bits enteros) para reducir el uso de memoria y acelerar la inferencia. Las técnicas QLoRA combinan la cuantificación con LoRA.
• Optimización de preferencias directas (DPO): los modelos de chat suelen utilizar el aprendizaje por refuerzo a partir del feedback humano (RLHF) para alinear los resultados de los modelos con las preferencias humanas. Aunque potente, el RLHF es complejo e inestable. La DPO promete beneficios similares al tiempo que es más ligera desde el punto de vista computacional y sustancialmente más sencilla.

Junto con los avances paralelos en modelos de código abierto en el espacio de los 3000 a los 70 000 millones de parámetros, estas técnicas en evolución podrían cambiar la dinámica del panorama de la IA al proporcionar a los agentes más pequeños, como startups y aficionados, capacidades sofisticadas de IA que antes estaban fuera de su alcance.

Así, las empresas de 2024 pueden buscar la diferenciación mediante el desarrollo de modelos a medida, en lugar de crear envoltorios en torno a servicios reempaquetados de "Big AI". Con los datos y el marco de desarrollo adecuados, los modelos y herramientas de IA de código abierto existentes se pueden adaptar a casi cualquier escenario del mundo real, desde los usos en atención al cliente hasta la gestión de la cadena de suministro y el análisis de documentos complejos.

Los modelos de código abierto brindan a las organizaciones la oportunidad de desarrollar potentes modelos de IA personalizados (entrenados a partir de sus propios datos y ajustados a sus necesidades específicas) con rapidez, sin inversiones prohibitivas en infraestructura. Esto es especialmente importante en ámbitos como el jurídico, el sanitario o el financiero, en los que es posible que los modelos fundacionales no hayan aprendido vocabulario y conceptos muy especializados en el preentrenamiento.

Los sectores jurídico, financiero y sanitario también son ejemplos destacados de sectores que pueden beneficiarse de modelos lo suficientemente pequeños como para funcionar localmente con un hardware modesto. Mantener el entrenamiento, la inferencia y la generación aumentada por recuperación (RAG) de la IA a nivel local evita el riesgo de que se utilicen datos confidenciales o información personal sensible para entrenar modelos de código cerrado o que pasen por las manos de terceros. Además, el uso de la RAG para acceder a la información relevante en lugar de almacenar todos los conocimientos directamente en el propio LLM ayuda a reducir el tamaño del modelo, lo que aumenta aún más la velocidad y reduce los costes.

A medida que 2024 siga igualando las condiciones del modelo, la ventaja competitiva vendrá impulsada cada vez más por las canalizaciones de datos patentadas que permitan el mejor ajuste del sector.

Con herramientas más sofisticadas y eficientes y un año de comentarios del mercado a su disposición, las empresas están preparadas para expandir los casos de uso de los agentes virtuales más allá de los simples chatbots de experiencia del cliente.

A medida que los sistemas de IA aceleran e incorporan nuevos flujos y formatos de información, amplían las posibilidades no sólo de comunicación y seguimiento de instrucciones, sino también de automatización de tareas. "2023 fue el año en que se pudo chatear con una IA. Múltiples empresas lanzaron productos, pero la interacción consistía siempre en que uno escribía algo y el programa respondía", dice Norvig, de Stanford. "En 2024, veremos si es posible que los agentes hagan cosas por usted. Hacer reservas, planificar viajes, conectarse a otros servicios".

La IA multimodal, en particular, aumenta significativamente las oportunidades de interacción fluida con los agentes virtuales. Por ejemplo, en lugar de limitarse a pedir recetas a un bot, un usuario puede apuntar con una cámara a una nevera abierta y solicitar recetas que puedan elaborarse con los ingredientes disponibles. Be My Eyes, una aplicación móvil que pone en contacto a invidentes y personas con baja visión con voluntarios para ayudarles a realizar tareas rápidas, está probando herramientas de IA que ayudan a los usuarios a interactuar directamente con su entorno a través de IA multimodal en lugar de esperar a un voluntario humano.

Explore IBM watsonx Assistant: IA conversacional líder del mercado con integración fluida para las herramientas que impulsan su negocio →

El aumento de las capacidades multimodales y la reducción de las barreras de entrada también abren nuevas puertas a los abusos: las falsificaciones profundas, los problemas de privacidad, la perpetuación de los prejuicios e incluso la evasión de las salvaguardias CAPTCHA pueden resultar cada vez más fáciles para los ciberdelincuentes. En enero de 2024, una oleada de deepfakes explícitos de famosos llegó a las redes sociales; las investigaciones de mayo de 2023 indicaban que se habían publicado en línea ocho veces más deepfakes de voz que en el mismo periodo de 2022[6].

La ambigüedad del entorno normativo puede ralentizar la adopción, o al menos una aplicación más agresiva, a corto y medio plazo. Existe un riesgo inherente a cualquier inversión importante e irreversible en una tecnología o práctica emergente que podría requerir un reajuste significativo (o incluso llegar a ser ilegal) a raíz de una nueva legislación o de cambios en los vientos políticos en los próximos años.

En diciembre de 2023, la Unión Europea (UE) llegó a un acuerdo provisional sobre la Ley de Inteligencia Artificial. Entre otras medidas, prohíbe el uso indiscriminado de imágenes para crear bases de datos de reconocimiento facial, así como los sistemas de categorización biométrica con potencial de sesgo discriminatorio, sistemas de "puntuación social" y el uso de la IA para la manipulación social o económica. También busca definir una categoría de sistemas de IA de "alto riesgo", con el potencial de amenazar la seguridad, los derechos fundamentales o el Estado de Derecho, que estarán sujetos a una supervisión adicional. Del mismo modo, establece requisitos de transparencia para lo que denomina sistemas de "IA de uso general (GPAI)" (modelos fundacionales), incluida la documentación técnica y las pruebas contradictorias sistémicas.

Pero aunque algunos actores clave, como Mistral, residen en la UE, la mayor parte del desarrollo pionero de la IA se está produciendo en Estados Unidos, donde una legislación sustantiva de la IA en el sector privado requerirá la acción del Congreso, lo que puede resultar improbable en un año electoral. El 30 de octubre, la administración Biden emitió una orden ejecutiva exhaustiva en la que se detallaban 150 requisitos para el uso de tecnologías de IA por parte de las agencias federales; meses antes, la administración consiguió compromisos voluntarios de destacados desarrolladores de IA para adherirse a ciertos guardarraíles de confianza y seguridad. Cabe destacar que tanto California como Colorado están tramitando activamente su propia legislación relativa a los derechos de protección de datos de los individuos con respecto a la IA.

China se ha movido de forma más proactiva hacia las restricciones formales de la IA, prohibiendo la discriminación de precios por algoritmos de recomendación en las redes sociales y obligando a etiquetar claramente los contenidos generados por IA. Las futuras normativas sobre IA generativa pretenden exigir que los datos de entrenamiento utilizados para entrenar los LLM y el contenido generado posteriormente por los modelos sean "reales y precisos", lo que los expertos han interpretado como medidas para censurar los outputs de los LLM.

Mientras tanto, el papel del material protegido por derechos de autor en el entrenamiento de los modelos de IA utilizados para la generación de contenidos, desde los modelos de lenguaje hasta los generadores de imágenes y los modelos de vídeo, sigue siendo una cuestión muy controvertida. El resultado de la sonada demanda interpuesta por el New York Times contra OpenAI puede afectar significativamente a la trayectoria de la legislación sobre IA. Herramientas adversarias, como Glaze y Nightshade, ambas desarrolladas en la Universidad de Chicago, han surgido en lo que puede convertirse en una especie de carrera armamentística entre creadores y desarrolladores de modelos.

Para las empresas, este creciente potencial de consecuencias legales, normativas, económicas o reputacionales se ve agravado por lo populares y accesibles que se han vuelto las herramientas de IA generativa. Las organizaciones no solo deben tener una política corporativa cuidadosa, coherente y claramente articulada en torno a la IA generativa, sino que también deben tener cuidado con la IA en la sombra: el uso personal "no oficial" de la IA en el lugar de trabajo por parte de los empleados.

También conocida como "TI invisible" o "BYOAI", la IA en la sombra surge cuando los empleados impacientes que buscan soluciones rápidas (o simplemente quieren explorar nuevas tecnologías más rápido de lo que permite una política prudente de la empresa) implementan la IA generativa en el lugar de trabajo sin pasar por TI para obtener aprobación o supervisión. Muchos servicios orientados al consumidor, algunos gratuitos, permiten incluso a personas sin conocimientos técnicos improvisar el uso de herramientas de IA generativa. En un estudio de Ernst & Young, el 90 % de los encuestados afirmaron utilizar la IA en el trabajo[7].

Ese espíritu emprendedor puede ser estupendo, en el vacío, pero los empleados ansiosos pueden carecer de la información o la perspectiva pertinentes en materia de seguridad, privacidad o conformidad. Esto puede exponer a las empresas a un gran riesgo. Por ejemplo, un empleado podría, sin saberlo, alimentar con secretos comerciales un modelo de IA de cara al público que se entrena continuamente con las entradas de los usuarios, o utilizar material protegido por derechos de autor para entrenar un modelo propio de generación de contenidos y exponer a su empresa a acciones legales.

Como muchos de los avances en curso, esto pone de relieve cómo los peligros de la IA generativa aumentan casi linealmente con sus capacidades. Un gran poder conlleva una gran responsabilidad.

A medida que avanzamos en un año crucial para la inteligencia artificial, comprender y adaptarse a las tendencias emergentes es esencial para maximizar el potencial, minimizar el riesgo y ampliar de forma responsable la adopción de la IA generativa.