Información errónea sobre la IA: así es como puede reducir la exposición y el riesgo de su empresa

La información precisa es el alma de las empresas modernas. Confían en ello para tomar decisiones empresariales clave en todo, desde la gestión de la cadena de suministro hasta la comercialización de productos.

Aunque la inteligencia artificial (IA) puede mejorar esa toma de decisiones basada en los datos, también puede dificultarla. El contenido generado por la IA puede estar plagado de errores, desde titulares de noticias falsas y pésimos consejos legales hasta recetas de pizza con el pegamento de Elmer como ingrediente clave¹.

¿Llegaremos algún día a un punto en el que estas situaciones difíciles sean cosa del pasado? Por mucho que a los entusiastas de la IA les gustaría creer lo contrario, la respuesta probablemente sea no.

Los modelos de IA generativa (IA gen), explica Matt Candy de IBM, siempre serán vulnerables a producir inadvertidamente al menos algo de información errónea. "Dado que estas cosas son de naturaleza predictiva, están prediciendo y adivinando cuál es la siguiente palabra, siempre va a haber cierto riesgo de que eso ocurra", afirma Candy, socio director global de IA generativa de IBM Consulting.

Candy agrega que los modelos tradicionales de machine learning (ML) tampoco son inmunes a producir información errónea. “Esos modelos son un tipo de máquinas estadísticas que, en realidad, intentan predecir algún tipo de resultado”, afirma. “Así que, al final, esos modelos aún pueden predecir una respuesta o un resultado incorrecto”.

Sin embargo, la buena noticia es que hay varias medidas que las empresas pueden tomar para reducir las probabilidades de que sus propios sistemas de IA produzcan y difundan información errónea.

Si esas medidas no evitan todos los casos de información errónea generada por IA, las empresas también pueden implementar salvaguardas para detectar la información errónea antes de que cause daño.

Antes de examinar cómo las empresas pueden protegerse de la información errónea generada por la IA, es importante analizar más de cerca la información errónea y los conceptos relacionados. Estos conceptos son en gran medida anteriores al uso generalizado actual de la IA en los ecosistemas de información, pero la influencia de la IA en estos fenómenos es significativa.

La información errónea es información falsa. Algunas definiciones también indican que la información errónea no se crea a propósito para engañar a otros, sino que se debe a errores.

En el caso de la información errónea generada por IA, los ejemplos pueden incluir modelos de lenguaje de gran tamaño (LLM) produciendo un resultado inexacto o sin sentido, e imágenes generadas por IA con representaciones poco realistas o inexactas (como "personas reales" con demasiados brazos).

Las alucinaciones de la IA son una causa común de la información errónea generada por la IA. Las alucinaciones de IA se producen cuando los algoritmos de IA producen resultados que no se basan en datos de entrenamiento, son decodificados incorrectamente por el transformador o no siguen ningún patrón identificable.

"La forma en la que se producen las alucinaciones es que el modelo de IA intenta asegurarse de que el lenguaje es fluido, pero también intenta unir diferentes fuentes de información", explica Kush Varshney, miembro de IBM en IBM Research. "Incluso los humanos, cuando intentamos hacer varias cosas al mismo tiempo, podemos equivocarnos. Esto también está sucediendo con el modelo de IA, está perdiendo el rastro de la información al intentar que el lenguaje sea fluido, y viceversa".

La desinformación a veces se considera un tipo de información errónea, pero se distingue por ser contenido falso creado para engañar a su público. Los ejemplos incluyen teorías de conspiración y, más recientemente, materiales de audio y visuales fabricados.

Casos destacados de desinformación facilitados por bots y otras herramientas de IA tuvieron lugar en el período previo a las elecciones presidenciales estadounidenses de 2024. Estos incluyeron una llamada automática que imitaba la voz del entonces presidente y candidato demócrata Joe Biden, y la difusión de imágenes que transmitían falsos respaldos de celebridades al presidente republicano Donald Trump^2,3.

Las herramientas para detectar deepfakes generados por la IA y otros contenidos engañosos y desinformativos han dado resultados dispares, aunque la última generación de detectores de texto de IA ha demostrado ser más eficaz que las versiones anteriores^4,5. Mientras tanto, las plataformas de redes sociales como TikTok y Facebook han empezado a etiquetar el contenido generado por la IA⁶.

A diferencia de la información errónea y la desinformación, la mala información es información potencialmente dañina basada en la realidad y los hechos. La mala información es perjudicial porque se distribuye para perjudicar a otros, como personas o empresas.

Por ejemplo, compartir información confidencial sin permiso entra en el ámbito de la mala información, una práctica que se ha visto amplificada por la IA. Los estafadores pueden utilizar herramientas de IA generativa para crear correos electrónicos de suplantación de identidad sofisticados y eficaces que puedan ayudarlos a obtener y difundir información confidencial.

Aunque puede ser imposible garantizar que todos los resultados de la IA estén completamente libres de errores, hay medidas que las empresas pueden tomar para reducir significativamente la probabilidad de que sus sistemas de IA produzcan información inexacta o totalmente inventada.

• Garantizar la calidad de los datos
• Implementar la generación aumentada por recuperación (RAG)
• Uso de modelos de IA generativa más pequeños

Los datos de alta calidad son críticos para el rendimiento del modelo de IA. Los modelos deben entrenarse con datos diversos, equilibrados y bien estructurados para minimizar las posibilidades de sesgos y alucinaciones. Las empresas tecnológicas y los desarrolladores de IA pueden mejorar la calidad de los datos de entrenamiento utilizando herramientas de data preparation y filtrado de datos para eliminar los datos de baja calidad y el contenido odioso, incluida la información errónea.

Una de las herramientas más populares para reducir la probabilidad de alucinación es la generación aumentada por recuperación (RAG). RAG es una arquitectura que conecta modelos de IA generativa con fuentes de datos externas, como los datos organizativos de una empresa, revistas académicas y conjuntos de datos especializados. Al acceder a dicha información, los chatbots de IA y otras herramientas pueden producir contenido más preciso y específico del dominio.

Aunque las aplicaciones de LLM orientadas al consumidor en ChatGPT de OpenAI han captado la atención del público, las empresas suelen encontrar modelos de IA más pequeños y especializados que se adaptan mejor a sus necesidades y, además, son menos vulnerables a las alucinaciones.

"Tienes estos grandes modelos de frontera entrenados con la mayor cantidad de datos posible", dice Candy. "Pero si piensa en la mayoría de los casos de uso empresarial, no necesita un modelo entrenado con las obras completas de Shakespeare, Reddit y cualquier otro dato disponible públicamente".

Dado que los modelos más pequeños tienen ventanas de contexto más estrechas y utilizan menos parámetros, su riesgo de alucinación disminuye. "Hay menos posibilidades de que las cosas se mezclen", añade Varshney.

A la hora de evitar el daño causado por la información errónea generada por la IA, las medidas para mitigar las alucinaciones son solo una parte del rompecabezas. Las empresas también deberían tener estrategias y herramientas para detectar cualquier alucinación y outputs inexactos que consigan escapar.

Las principales plataformas de gobierno de la IA y los modelos fundacionales ahora incluyen la capacidad de detectar alucinaciones. IBM watsonx.governance y la última versión de IBM Granite Guardian (IBM Granite Guardian 3.1, parte de la familia de modelos de lenguaje IBM Granite diseñados para empresas), evalúan el rendimiento de los modelos de IA generativa en métricas como la relevancia de las respuestas y la fidelidad.

“Lo llaman ‘fidelidad’, que es lo opuesto a la alucinación”, explica Varshney. “Cuando una respuesta es fiel a sus documentos originales, no es una alucinación”. Granite Guardian 3.1 también cuenta con capacidades para detectar usos y resultados contraproducentes de IA, como jailbreaking, blasfemias y sesgos sociales.

A pesar de las herramientas de gobierno de la IA, los humanos siguen desempeñando un papel clave en la prevención de la propagación de la información errónea generada por la IA. A medida que las empresas implementan sistemas de IA, deben considerar dónde están estableciendo puntos de control que permitan la supervisión humana, dice Candy. "Necesitamos tener un propósito en el diseño de puntos en el proceso en los que haya interacción humana, controles y equilibrios humanos y toma de decisiones humana".

Esta toma de decisiones humana es especialmente importante, señala, con la llegada de potentes agentes de IA que pueden abordar tareas cada vez más sofisticadas.

Por ejemplo, mientras que una empresa de ciencias de la vida podría utilizar varios agentes de IA para investigar y redactar informes de cumplimiento sobre el desarrollo de nuevos medicamentos, la empresa asignaría a un empleado humano para que revisara y verificara los informes antes de presentarlos ante un gobierno.

"Al final, seguirá habiendo un ser humano involucrado en ese proceso, verificando y validando", dice Candy. “No subestimaría la importancia del factor humano”.