Riesgo de alucinación para IA
Descripción
Las alucinaciones generan contenidos inexactos o falsos en relación con los datos de entrenamiento o de entrada del modelo. Las alucinaciones también se refieren a veces a la falta de fidelidad o de arraigo. En algunos casos, los datos sintéticos generados por grandes modelos lingüísticos pueden incluir alucinaciones que hagan que los datos sean inexactos, fabricados o desconectados de la realidad. Las alucinaciones pueden comprometer el rendimiento, la precisión y la pertinencia de los modelos.
¿Por qué la alucinación es una preocupación para los modelos de fundación?
Las alucinaciones pueden ser engañosas. Estos resultados falsos pueden inducir a error a los usuarios e incorporarse a artefactos posteriores, propagando aún más la desinformación. La salida falsa puede dañar tanto a los propietarios como a los usuarios de los modelos de IA. En algunos usos, las alucinaciones pueden ser especialmente graves. La alucinación puede introducir datos fabricados o irreales, una falta de conexión con los patrones del mundo real y una disminución del poder predictivo del modelo base.
Casos legales falsos
Según el artículo de la fuente, un abogado citó casos y citas falsas que son generadas por ChatGPT en un escrito legal que se presenta en el tribunal federal. Los abogados consultaron a ChatGPT para complementar su investigación legal para un reclamo de lesiones de aviación. Posteriormente, el abogado preguntó a ChatGPT si los casos proporcionados eran falsos. El chatbot respondió que eran reales y "se pueden encontrar en bases de datos de investigación legal como Westlaw y LexisNexis". El abogado no revisó los casos, y el tribunal los sancionó.
Tema principal: Atlas de riesgos de IA
Proporcionamos ejemplos cubiertos por la prensa para ayudar a explicar muchos de los riesgos de los modelos básicos. Muchos de estos sucesos de los que se ha hecho eco la prensa aún están evolucionando o se han resuelto, y hacer referencia a ellos puede ayudar al lector a comprender los riesgos potenciales y a trabajar para mitigarlos. El resaltado de estos ejemplos sólo tiene fines ilustrativos.