Herramientas para una IA confiable

Se desarrolló una nueva herramienta para detectar a los estudiantes que hacen trampa con ChatGPT. Tiene una eficacia del 99.9 %. Pero OpenAI no lo ha lanzado porque está sumido en preocupaciones éticas.

Es solo un ejemplo de uno de los principales desafíos que enfrenta la IA. ¿Cómo podemos monitorear la tecnología para asegurarnos de que se use de manera ética?

Durante los últimos años, los nombres más importantes de la IA han presionado para que su tecnología se utilice de manera responsable. Y usar la IA de forma ética no solo es lo correcto para las compañías, sino también algo que los consumidores quieren. De hecho, el 86 % de las empresas cree que los clientes prefieren empresas que utilizan directrices éticas y tienen claro cómo utilizan sus datos y modelos de IA, según el IBM Global AI Adoption Index.

“Todos estamos más allá de esperar que las empresas sean conscientes [del uso ético de la IA]”, dice Phaedra Boinodiris, líder global de IA confiable de IBM. "La pregunta más importante es: ¿por qué es importante que las empresas y otras organizaciones rindan cuentas de los resultados seguros y responsables de la IA que despliegan?" 

¿Pueden ayudar las herramientas de ética de la IA? ¿Las herramientas en sí mismas están sesgadas? He aquí un vistazo rápido a las últimas investigaciones.

Los intentos de fraude deepfake aumentaron un 3000 % entre 2022 y 2023, y cada vez son más elaborados. En febrero, un trabajador financiero de una compañía multinacional en Hong Kong fue engañado para pagar 25 millones de dólares a criminales que crearon una videollamada con múltiples personajes deepfake, incluido el director financiero de la firma.

En mayo, OpenAI anunció que había lanzado su propia herramienta de detección de deepfakes para investigadores de desinformación. La herramienta pudo detectar el 98.8 % de las imágenes creadas por DALL-E 3. OpenAI también se unió a Google, Adobe y otros en el comité directivo de la Coalición para la Procedencia y Autenticidad del Contenido (C2PA ), una coalición de la industria que desarrolla un estándar para certificar la historia y fuente del contenido multimedia. 

Hasta que se establezca ese estándar, las empresas están creando herramientas que esperan que puedan llenar el vacío. En agosto, McAfee anunció su McAfee Deepfake Detector. La herramienta utiliza modelos de Neural Networks profundas para detectar audio falso de AI en videos que se reproducen en su navegador. En 2022, Intel presentó FakeCatcher, que analiza el flujo sanguíneo en los píxeles de vídeo y distingue a los seres humanos de los deepfakes con una precisión del 96 %. Y no están solos. Entre las startups más destacadas en este campo se encuentran Reality Defender, con sede en Nueva York; Clarity, de Israel; y Sentinel, con sede en Estonia. Todas ellas cuentan con herramientas de escaneo que utilizan IA para detectar patrones en diversos tipos de deepfakes.

Con la tecnología de detección de deepfakes evolucionando a un ritmo tan rápido, es importante tener en cuenta los posibles sesgos algorítmicos. El informático y experto en deepfake Siwei Lyu y su equipo en la Universidad de Buffalo desarrollaron lo que creen que son los primeros algoritmos de detección de deepfake diseñados para minimizar el sesgo. Los investigadores de la UB hicieron un collage de fotos de los cientos de rostros que se identificaron como falsos en sus algoritmos de detección; los resultados mostraron un tono de piel más oscuro en general.

"Los deepfakes pueden utilizarse para atacar a grupos minoritarios subrepresentados, por lo que es importante asegurarse de que las tecnologías de detección no los atiendan", dice Lyu. ¿Y cuál es el futuro de la detección de deepfakes? “Las tecnologías de IA generativa subyacentes a los deepfakes sin duda continuarán creciendo, por lo que vamos a ver cada vez más deepfakes en número, calidad y formas. Espero que las futuras tecnologías [de detección] estén equipadas con más medidas de seguridad para reducir las posibilidades de usos indebidos”.

Los sistemas de reconocimiento facial se están volviendo cada vez más comunes como una forma conveniente de autenticar la identidad de un usuario, pero estos sistemas llevan mucho tiempo plagados de problemas éticos que van desde el sesgo racial hasta la privacidad de los datos. Para complicar el problema, "algunos sesgos [también] son interseccionales, lo que agrava múltiples capas de prejuicios", señala Helen Edwards, cofundadora del grupo de expertos sobre ética de la IA Artificiality.

En mayo,se produjo una filtración de datos de la empresa emergente australiana de reconocimiento facial Outabox, que reveló los datos biométricos de más de un millón de usuarios. A principios de este año, 'GoldPickAxe', un troyano dirigido a dispositivos Android e iOS, fue sorprendido capturando datos faciales para acceder a cuentas bancarias.

Un enfoque prometedor para proteger los datos biométricos faciales es codificarlos de forma imperceptible para el ojo humano pero que confunda los sistemas de reconocimiento. Una de las primeras herramientas para hacer esto fue Fawkes, un proyecto desarrollado en la Universidad de Chicago. El programa, que debe su nombre a la máscara de Guy Fawkes, está diseñado para ocultar fotografías alterando sutilmente los pixeles; se puede descargar gratis en el sitio web del proyecto.

Más recientemente, los investigadores del USSLAB de la Universidad de Zhejiang han sido pioneros en CamPro, cuyo objetivo es lograr AFR a nivel del sensor de la cámara. CamPro produce imágenes que reducen la identificación facial al 0.3 % sin interferir con otras aplicaciones como el reconocimiento de actividad.

Detectar la escritura generada por IA sigue siendo un desafío para las empresas y las instituciones educativas. En una prueba a ciegas en la Universidad de Reading, cinco módulos de psicología diferentes tenían exámenes escritos por ChatGPT mezclados con exámenes escritos por estudiantes reales. El estudio de junio descubrió que el 94 % de las respuestas del examen ChatGPT no fueron detectadas por las personas que calificaron los exámenes. Los exámenes generados por IA también promediaron medio grado más alto que los exámenes de los estudiantes.

Una variedad de detectores de escritura de IA han inundado el mercado para dirigirse a este problema, buscando características comunes del texto generado por IA, como la repetición y la gramática perfecta. Pero los expertos advierten que aún no son fiables y a menudo muestran sesgos.

El año pasado, un estudio de Stanford encontró que los detectores de IA detectaban la escritura de los no nativos de inglés en un promedio del 61,3 % de las veces, pero cometían muchos menos errores al evaluar la escritura de hablantes nativos de inglés.

Que los humanos hagan pasar la escritura generada por IA como propia no solo es deshonesto—a veces también es plagio, lo que puede tener graves consecuencias legales. Debido a esta preocupación, algunas empresas están utilizando detectores de escritura de IA para probar la copia de sus escritores. Esto ha llevado a las empresas a acusar falsamente a los escritores de hacer pasar los textos generados por IA como propios, dañando la reputación y la carrera de los escritores.

Los conjuntos de datos suelen incluir los sesgos inconscientes de las personas que los crean. Es por eso que el sesgo algorítmico es un problema tan persistente en los LLM que se entrenan con estos datos.

En un ejemplo, investigadores de Cornell emplearon ChatGPT y Alpaca para generar cartas de recomendación tanto para hombres como para mujeres; Las cartas mostraban sesgos significativos a favor de los hombres. El lenguaje generado como "Kelly es una persona cálida" frente a "Joseph es un modelo a seguir" demostró la forma en que estos sesgos podrían afectar a las mujeres en el lugar de trabajo.

Los investigadores están trabajando para encontrar formas de marcar y mitigar los sesgos. Un equipo de la Universidad de Illinois Urbana-Champaign desarrolló QuaCer-B, que genera medidas de sesgo LLM probables para instrucciones muestreadas de distribuciones dadas y se puede usar tanto para API como para LLM de código abierto.

"La industria de IA actualmente depende de evaluar la seguridad y confiabilidad de sus modelos probándolos en un pequeño conjunto de entradas de punto de referencia", dice el profesor de la UIUC Gagandeep Singh, uno de los investigadores principales detrás de QuaCer-B. “Sin embargo, la generación segura en puntos de referencia no garantiza que el contenido generado por LLM sea ético al manejar diversos escenarios invisibles en el mundo real. QuaCer-B permite a los desarrolladores de LLM tomar decisiones informadas sobre la idoneidad de sus modelos para el despliegue en el mundo real y también identificar las causas de las fallas para mejorar el modelo”.

A medida que la IA continúe evolucionando, nuevos problemas éticos seguirán evolucionando junto con ella. Y aunque las herramientas para marcar, monitorear y prevenir el uso poco ético de la tecnología son un comienzo, los expertos en ética de IA no las consideran una solución integral.

“La parte difícil es no comprar la herramienta adecuada”, agrega Boinodiris. “Curar la IA de manera responsable es un desafío sociotécnico que requiere un enfoque holístico. Y las personas son la parte más difícil de la ecuación”.

"Además de una regulación y aplicación reflexivas, la clave de la IA ética es la auditoría posterior a la comercialización, el monitoreo continuo del rendimiento y la minimización de riesgos", explica Gemma Galdón-Clavell, asesora de las Naciones Unidas y la UE sobre ética aplicada e IA responsable y fundadora. de Eticas.ai. "Think en la industria automotriz: las luces de advertencia y los sensores de proximidad pueden ayudar a los conductores a evitar choques, pero aún necesitamos cinturones de seguridad, bolsas de aire e inspecciones periódicas para garantizar que la carretera abierta sea lo más segura posible".