Los peligros de antropomorfizar la IA: una perspectiva de la seguridad de la información

La revolución de la IA generativa no muestra signos de desaceleración. Los chatbots y los asistentes de IA se han convertido en una parte integral del mundo empresarial, ya sea para capacitar a los empleados, responder a las consultas de los clientes o algo completamente diferente. Incluso les hemos dado nombres y géneros y, en algunos casos, personalidades distintivas.

Hay dos tendencias muy significativas en el mundo de la IA generativa. Por un lado, continúa el impulso desesperado por humanizarlos, a veces de manera imprudente y sin tener en cuenta las consecuencias. Al mismo tiempo, según el último informe de Deloitte State of Generative AI in the Enterprise, la confianza de las empresas en la IA ha aumentado considerablemente en todos los ámbitos durante los últimos dos años.

Sin embargo, muchos clientes y empleados claramente no sienten lo mismo. Más del 7 % de los consumidores están preocupados por la desinformación. A los empleados les preocupa ser reemplazados por IA. Existe una creciente brecha de confianza, y se ha convertido en una fuerza definitoria de una era caracterizada por la falsificación impulsada por IA.

Esto es lo que significa para los profesionales de la seguridad de la información y la gobernanza.

La tendencia a humanizar la IA y el grado en que la gente confía en ella pone de manifiesto serias preocupaciones éticas y legales. Las herramientas "humanizadoras" impulsadas por IA afirman transformar el contenido generado por IA en narrativas "naturales" y "similares a las humanas". Otras han creado “humanos digitales” para su uso en marketing y publicidad. Lo más probable es que el próximo anuncio que vea con una persona no sea una persona en absoluto, sino una forma de medio sintético. En realidad, llamémoslo exactamente por lo que es: un deepfake.

Los esfuerzos por personificar la IA no son nada nuevo. Apple fue pionera en 2011 con el lanzamiento de Siri. Ahora, tenemos innumerables miles más de estos asistentes digitales, algunos de los cuales están adaptados a casos de uso específicos, como la atención médica digital, la atención al cliente o incluso la compañía personal.

No es coincidencia que muchos de estos asistentes digitales vengan con personajes femeninos imaginarios, con nombres y voces femeninas. Después de todo, los estudios demuestran que la mayoría de las personas prefieren las voces femeninas, lo que nos hace estar más predispuestos a confiar en ellas. Aunque carecen de formas físicas, encarnan a una mujer competente, confiable y eficiente. Pero como lo expresa el estratega tecnológico y orador George Kamide, esto “refuerza los sesgos y estereotipos humanos y es una peligrosa ofuscación de cómo opera la tecnología”.

No es solo un problema ético; también es un problema de seguridad, ya que cualquier cosa diseñada para persuadir puede hacernos más susceptibles a la manipulación. En el contexto de la ciberseguridad, esto presenta un nivel completamente nuevo de amenaza por parte de los estafadores de ingeniería social.

Las personas establecen relaciones con otras personas, no con máquinas. Pero cuando se vuelve casi imposible notar la diferencia, es más probable que confiemos en la IA al tomar decisiones sensibles. Nos volvemos más vulnerables; más dispuestos a compartir nuestros pensamientos personales y, en el caso de los negocios, nuestros secretos comerciales y propiedad intelectual.

Esto presenta serias ramificaciones para la seguridad y privacidad de la información. La mayoría de los modelos de lenguaje grandes (LLM) guardan un registro de cada interacción, que pueden utilizar para entrenar futuros modelos.

¿Realmente queremos que nuestros asistentes virtuales revelen nuestra información privada a futuros usuarios? ¿Los líderes empresariales quieren que su propiedad intelectual resurja en respuestas posteriores? ¿Queremos que nuestros secretos formen parte de un enorme corpus de contenido textual, auditivo y visual para entrenar la próxima versión de la IA?

Si empezamos a pensar en las máquinas como sustitutos de la interacción humana real, entonces es mucho más probable que sucedan todas estas cosas.

Estamos condicionados a creer que las computadoras no mienten, pero la verdad es que los algoritmos pueden programarse para hacer precisamente eso. Incluso si no están específicamente entrenados para engañar, aún pueden “alucinar” o ser explotados para revelar sus datos de entrenamiento.

Los actores de amenazas son muy conscientes de ello, por lo que la IA es la próxima gran frontera en el delito cibernético. Así como una empresa puede usar un asistente digital para persuadir a clientes potenciales, también un actor de amenazas puede usarlo para engañar a una víctima desprevenida para que tome la acción deseada. Por ejemplo, un chatbot llamado Love-GPT estuvo recientemente implicado en estafas románticas gracias a su capacidad de generar perfiles aparentemente auténticos en plataformas de citas e incluso chatear con los usuarios.

La IA generativa solo se volverá más sofisticada a medida que se refinen los algoritmos y la potencia de cálculo requerida se vuelva más fácilmente disponible. La tecnología ya existe para crear los llamados “humanos digitales” con nombres, géneros, rostros y personalidades. Los videos deepfake son mucho más convincentes que hace solo un par de años. Ya están participando en conferencias en vivo, con un trabajador financiero que paga 25 millones de dólares tras una videollamada con su director financiero deepfake.

Cuanto más pensamos en los algoritmos como personas, más difícil será notar la diferencia y más vulnerables nos volvemos a aquellos que utilizarían la tecnología para hacer daño. Si bien no es probable que las cosas se pongan más fáciles, dado el rápido ritmo de avance en la tecnología de IA, las organizaciones legítimas tienen el deber ético de ser transparentes en su uso de la IA.

Tenemos que aceptar que la IA generativa está aquí para quedarse. Tampoco deberíamos subestimar sus beneficios. Los asistentes inteligentes pueden disminuir en gran medida la carga cognitiva de los trabajadores del conocimiento y pueden liberar recursos humanos limitados para darnos más tiempo para centrarnos en problemas más importantes. Pero tratar de hacer pasar cualquier tipo de capacidades de machine learning como sustitutos de la interacción humana no solo es éticamente cuestionable; también es contrario a la buena gobernanza y la formulación de políticas.

La IA avanza a una velocidad que los gobiernos y los reguladores no pueden seguir. Si bien la UE está poniendo en vigor la primera regulación del mundo sobre inteligencia artificial, conocida como Ley de IA de la UE, aún tenemos un largo camino por recorrer. Por lo tanto, corresponde a las empresas tomar la iniciativa con una autorregulación estricta en cuanto a la seguridad, privacidad, integridad y transparencia de la IA y cómo la utilizan.

En la incesante búsqueda de humanizar la IA, es fácil perder de vista esos elementos cruciales que constituyen las prácticas comerciales éticas. Deja a los empleados, clientes y todos los demás interesados vulnerables a la manipulación y el exceso de confianza. El resultado de esta obsesión no es tanto humanizar la IA; es que terminamos deshumanizando a los humanos.

Eso no quiere decir que las empresas deban evitar la IA generativa y tecnologías similares. Sin embargo, lo que deben hacer es ser transparentes sobre cómo las utilizan y comunicar claramente los riesgos potenciales a sus empleados. Es imperativo que la IA generativa se convierta en una parte integral no solo de su estrategia tecnológica empresarial, sino también de su concientización en seguridad, gobernanza y elaboración de políticas.

En un mundo ideal, todo lo que sea IA estaría etiquetado y sería verificable como tal. Y si no es así, entonces probablemente no sea de confianza. Entonces, podríamos volver a preocuparnos solo por los estafadores humanos, aunque, por supuesto, con su inevitable uso de IA no autorizadas. En otras palabras, tal vez deberíamos dejar la antropomorfización de la IA a los actores maliciosos. De esa manera, al menos tendremos la oportunidad de poder notar la diferencia.