Desinformación de la IA: cómo reducir la exposición y el riesgo de su empresa

La información precisa es el alma de las empresas modernas. Confían en ella para tomar decisiones comerciales clave en todo, desde la gestión de la cadena de suministro hasta el marketing de productos.

Si bien la inteligencia artificial (IA) puede mejorar esta toma de decisiones basada en datos, también puede obstaculizarla. El contenido generado por IA puede estar plagado de errores, desde titulares de noticias falsas y terribles consejos legales hasta recetas de pizza con el pegamento de Elmer como ingrediente clave.¹

¿Llegaremos algún día a un punto en el que estas situaciones difíciles sean cosa del pasado? Por mucho que a los entusiastas de la IA les guste creer lo contrario, la respuesta probablemente sea no.

Los modelos de IA generativa , explica Matt Candy de IBM, siempre serán vulnerables a producir inadvertidamente al menos algo de información errónea. "En virtud del hecho de que estas cosas son de naturaleza predictiva (predicen y adivinan cuál es la siguiente palabra), siempre se va a correr algún riesgo al respecto", dice Candy, socio gerente global de IA generativa en IBM® Consulting.

Candy agrega que los modelos tradicionales de machine learning (ML) tampoco son inmunes a la producción de información errónea. “Esos modelos son tipos de máquinas estadísticas que, efectivamente, intentan predecir algún tipo de resultado”, dice. "Entonces, al final del día, esos modelos aún pueden predecir una respuesta o resultado incorrecto".

Sin embargo, la buena noticia es que hay múltiples pasos que las empresas pueden tomar para reducir las posibilidades de que sus propios sistemas de IA produzcan y difundan información errónea.

Si estas medidas no evitan todos los casos de desinformación generada por IA, las empresas también pueden implementar salvaguardias para detectar la desinformación antes de que cause daños.

Antes de examinar cómo las empresas pueden protegerse de la información errónea generada por la IA, es importante analizar más de cerca la información errónea y los conceptos relacionados. Estos conceptos son anteriores en gran medida al uso generalizado actual de la IA en los ecosistemas de información, pero la influencia de la IA en estos fenómenos es significativa.

La desinformación es información falsa. Algunas definiciones también señalan que la desinformación no se crea a propósito para engañar a otros, sino que es causada por errores.

En el caso de desinformación generada por IA, los ejemplos podrían incluir modelos de lenguaje extensos (LLM) que producen resultados inexactos o sin sentido, e imágenes generadas por IA con representaciones poco realistas o inexactas (como “personas reales” con demasiados brazos).

Las alucinaciones de la IA son una causa común de desinformación generada por la IA. Las alucinaciones de la IA ocurren cuando los algoritmos de IA producen resultados que no se basan en datos de entrenamiento, son decodificados incorrectamente por el transformador o no siguen ningún patrón identificable.

“Las alucinaciones se producen porque el modelo de IA intenta cerciorarse de que el lenguaje sea fluido, pero también intenta unir diferentes fuentes de información”, explica Kush Varshney, IBM Fellow en IBM® Research. “Incluso los humanos, cuando intentamos hacer varias cosas al mismo tiempo, podemos cometer errores. Esto también está sucediendo con el modelo de IA: pierde la pista de la información mientras intenta hacer que el lenguaje sea fluido y viceversa”.

La desinformación se considera a veces un tipo de desinformación, pero se diferencia en que es un contenido falso creado para engañar a su audiencia. Algunos ejemplos son las teorías conspirativas y, más recientemente, los materiales audiovisuales inventados.

En el periodo previo a las elecciones presidenciales estadounidenses de 2024 se produjeron casos destacados de desinformación habilitada por bots y otras herramientas de IA. Entre ellas, una llamada automática que se hacía pasar por la voz del entonces presidente y candidato demócrata Joe Biden, y la difusión de imágenes que transmitían falsos apoyos de celebridades al presidente republicano Donald Trump.^2,3

Las herramientas para detectar deepfakes generados por IA y otros contenidos engañosos y de desinformación arrojaron resultados mixtos, aunque la generación más reciente de detectores de texto con IA demostró ser más eficaz que las iteraciones anteriores.^4,5 Mientras tanto, las plataformas de redes sociales, como TikTok y Facebook, comenzaron a etiquetar el contenido generado por IA.⁶

A diferencia de la información errónea y la desinformación, la información maliciosa es información potencialmente dañina basada en la realidad y los hechos. La información maliciosa es dañina porque se distribuye para dañar a otros, como personas o empresas.

Por ejemplo, compartir información confidencial sin permiso se clasifica como información maliciosa, una práctica que fue amplificada por la IA. Los estafadores pueden usar herramientas de IA generativa para crear correos electrónicos de phishing sofisticados y efectivos que pueden ayudarles a obtener y difundir información confidencial.

Si bien puede ser imposible garantizar que todos los resultados de la IA estén completamente libres de errores, hay medidas que las empresas pueden tomar para reducir significativamente la probabilidad de que sus sistemas de IA produzcan información inexacta o totalmente inventada.

• Garantizar la calidad de los datos
• Desplegar la generación aumentada por recuperación (RAG)
• Usar modelos de IA más pequeños

Los datos de alta calidad son críticos para el rendimiento de los modelos de IA. Los modelos deben entrenarse con datos diversos, equilibrados y bien estructurados para minimizar las posibilidades de sesgo y alucinaciones. Las empresas tecnológicas y los desarrolladores de IA pueden mejorar la calidad de los datos de entrenamiento mediante el uso de herramientas de preparación de datos para eliminar datos de baja calidad y contenido de odio, incluida la información maliciosa.

Una de las herramientas más populares para reducir la probabilidad de alucinaciones de IA es la generación aumentada por recuperación (RAG). La RAG es una arquitectura que conecta modelos de IA generativa con fuentes de datos externas, como los datos organizacionales de una empresa, revistas académicas y conjuntos de datos especializados. Al acceder a dicha información, los chatbots de IA y otras herramientas pueden producir contenido más preciso y específico del dominio.

Si bien las aplicaciones de LLM orientadas al consumidor en ChatGPT de OpenAI han captado la atención del público, las empresas a menudo encuentran modelos de IA más pequeños y especializados que se adaptan mejor a sus necesidades, al tiempo que son menos vulnerables a las alucinaciones.

“Existen estos grandes modelos fronterizos entrenados en la mayor cantidad de datos que puedan obtener”, dice Candy. “Pero si piensan en la mayoría de los casos de uso empresarial, no necesitan un modelo que esté entrenado en todas las obras de Shakespeare, Reddit y cualquier otro tipo de datos disponibles públicamente”.

Debido a que los modelos más pequeños tienen ventanas de contexto más estrechas y usan menos parámetros, su riesgo de alucinación disminuye. "Hay menos posibilidades de que las cosas se mezclen", agrega Varshney.

A la hora de evitar los daños causados por la información errónea generada por la IA, las medidas para mitigar las alucinaciones son solo una parte del rompecabezas. Las empresas también deben contar con estrategias y herramientas para detectar cualquier alucinación y resultados inexactos que logren colarse.

Las plataformas líderes de gobernanza de la IA y los modelos fundacionales ahora incluyen la capacidad de detectar alucinaciones. Tanto IBM watsonx.governance como la versión más reciente de IBM Granite Guardian (IBM® Granite Guardian 3.1, parte de la familia de modelos de lenguaje Granite de IBM diseñados para empresas), evalúan el rendimiento de los modelos de IA generativa en métricas, como la relevancia y la "fidelidad" de las respuestas.

"Lo llaman 'fidelidad', que es lo opuesto a la alucinación", explica Varshney. "Cuando una respuesta es fiel a sus documentos de origen, no es una alucinación". Granite Guardian 3.1 también cuenta con capacidades para detectar el uso y resultado contraproducentes de la IA, como jailbreaking, blasfemias y sesgos sociales.

A pesar de las herramientas de gobernanza de la IA, los humanos todavía tienen un papel clave que desempeñar en la prevención de la propagación de información errónea generada por la IA. A medida que las empresas implementan sistemas de IA, deben considerar dónde están estableciendo puntos de control que permitan la supervisión humana, dice Candy. "Necesitamos tener un propósito en el diseño de puntos en el proceso donde haya interacción humana, controles y equilibrios humanos y toma de decisiones humanas".

Tal toma de decisiones humana es especialmente importante, señala, con la llegada de poderosos agentes de IA que pueden abordar tareas cada vez más sofisticadas.

Por ejemplo, mientras que una empresa de ciencias de la vida podría utilizar varios agentes de IA para investigar y redactar informes de cumplimiento sobre el desarrollo de nuevos medicamentos, la empresa aún asignaría a un empleado humano para revisar y verificar los comentarios antes de presentarlos ante una agencia de gobierno.

"En última instancia, todavía va a haber un humano en el circuito de ese proceso, verificando y validando", dice Candy. “No subestimaría la importancia de la pieza humana”.