Navegando por la ética de la IA en la ciberseguridad

Aunque no siempre seamos conscientes de ello, la inteligencia artificial ahora nos rodea. Ya estamos acostumbrados a sistemas de recomendación personalizados en comercio electrónico, chatbots de atención al cliente impulsados por IA conversacional y mucho más. En el ámbito de la seguridad de la información, llevamos años confiando en filtros de spam impulsados por IA para protegernos de los correos electrónicos maliciosos.

Todos esos son casos de uso bien establecidos. Sin embargo, desde el meteórico ascenso de la IA generativa en los últimos años, las máquinas se han vuelto capaces de mucho más. Desde la detección de amenazas hasta la Automatización de la respuesta a incidentes y la prueba de la concientización de los empleados a través de correos electrónicos de phishing simulados, la oportunidad de IA en ciberseguridad es indiscutible.

Pero con cualquier nueva oportunidad surgen nuevos riesgos. Los actores de amenazas ahora están utilizando la IA para lanzar ataques de phishing cada vez más convincentes a una escala que antes no era posible. Para adelantarse a las amenazas, quienes están en las líneas defensivas también necesitan IA, pero su uso debe ser transparente y con un enfoque central en la ética para evitar entrar en el ámbito de las tácticas de sombrero gris.

Ahora es el momento de que los líderes de seguridad de la información adopten estrategias de IA responsables.

El delito es un problema humano, y el delito cibernético no es diferente. La tecnología, incluida la IA generativa, es simplemente otra herramienta en el arsenal de un atacante. Las empresas legítimas entrenan sus modelos de IA con grandes cantidades de datos extraídos de Internet. Estos modelos no solo se entrenan a menudo con los esfuerzos creativos de millones de personas reales, sino que también existe la posibilidad de que recopilen información personal que terminó en el dominio público, intencionalmente o no. Como resultado, algunos de los mayores desarrolladores de modelos de IA ahora enfrentan demandas, mientras que la industria en general enfrenta una creciente atención por parte de los reguladores.

Si bien a los actores de amenazas les importa poco la ética de la IA, es fácil que las empresas legítimas terminen haciendo lo mismo sin saberlo. Las herramientas de web scraping, por ejemplo, pueden utilizarse para recopilar datos de entrenamiento con el fin de crear un modelo para detectar contenido de phishing. Sin embargo, es posible que estas herramientas no distingan entre información personal y anonimizada, especialmente en el caso del contenido de imágenes. Los conjuntos de datos de código abierto como LAION para imágenes o The Pile para texto tienen un problema similar. Por ejemplo, en 2022, una artista californiana descubrió que las fotos médicas privadas tomadas por su médico habían terminado en el conjunto de datos LAION-5B utilizado para entrenar el popular sintetizador de imágenes de código abierto Stable Diffusion.

No se puede negar que el desarrollo descuidado de modelos de IA verticalizados para la ciberseguridad puede generar un riesgo mayor que no utilizar la IA en absoluto. Para evitar que eso suceda, los desarrolladores de soluciones de seguridad deben mantener los más altos estándares de calidad y privacidad de los datos, especialmente cuando se trata de anonimizar o salvaguardar la información confidencial. Leyes como el Reglamento General de Protección de Datos de Europa y la California Consumer Privacy Act, aunque se desarrollaron antes del auge de la IA generativa, sirven como directrices valiosas para informar estrategias éticas de IA.

Las empresas han estado utilizando machine learning para detectar amenazas y vulnerabilidades de seguridad mucho antes del auge de la IA generativa. Los sistemas impulsados por procesamiento de lenguaje natural (PLN), analytics de comportamiento y sentimiento y aprendizaje profundo están bien establecidos en estos casos de uso. Pero también presentan enigmas éticos en los que la privacidad y la seguridad pueden convertirse en disciplinas en competencia.

Por ejemplo, considere una empresa que utiliza IA para monitorear los historiales de navegación de los empleados para detectar amenazas de usuario interno. Si bien esto mejora la seguridad, también podría implicar capturar información personal de navegación, como búsquedas médicas o transacciones financieras, que los empleados esperan mantener en privado.

La privacidad también es una preocupación en la seguridad física. Por ejemplo, el reconocimiento de huellas dactilares impulsado por IA puede impedir el acceso no autorizado a sitios o dispositivos sensibles, pero también implica la recopilación de datos biométricos altamente sensibles que, si se ven comprometidos, podrían causar problemas duraderos a las personas afectadas. Después de todo, si se hackean los datos de su huella digital, no puede obtener exactamente un nuevo dedo. Por eso es imperativo que los sistemas biométricos se mantengan bajo la máxima seguridad y estén respaldados con políticas responsables de retención de datos.

Quizás lo más importante que hay que recordar sobre la IA es que, al igual que las personas, puede equivocarse de muchas maneras diferentes. Una de las tareas centrales de adoptar una estrategia ética de IA es TEVV, o pruebas, evaluación, validación y verificación. Esto es especialmente cierto en un área de misión crítica como la ciberseguridad.

Muchos de los riesgos que conlleva la IA se manifiestan durante el proceso de desarrollo. Por ejemplo, los datos de entrenamiento deben someterse a una TEVV exhaustiva para garantizar la calidad, así como para garantizar que no hayan sido manipulados. Esto es vital porque el envenenamiento de datos es actualmente uno de los principales vectores de ataque desplegados por los ciberdelincuentes más sofisticados.

Otro problema inherente a la IA, al igual que a las personas, es el sesgo y la imparcialidad. Por ejemplo, una herramienta de IA utilizada para marcar correos electrónicos maliciosos podría marcar correos electrónicos legítimos porque muestran signos de vernáculo comúnmente asociados con un grupo cultural específico. Esto da como resultado la elaboración de perfiles injustos y la orientación de grupos específicos, lo que genera preocupación sobre las acciones injustas que se están tomando.

El propósito de la IA es aumentar la inteligencia humana, no reemplazarla. Las máquinas no pueden hacerse responsables si algo sale mal. Es importante recordar que la IA hace lo que los humanos la entrenan para que haga. Por ello, la IA hereda los sesgos humanos y los malos procesos de toma de decisiones. La naturaleza de "caja negra" de muchos modelos de IA también puede hacer que sea notoriamente difícil identificar las causas principales de tales problemas, simplemente porque los usuarios finales no tienen insight sobre cómo la IA toma las decisiones que toma. Estos modelos carecen de la capacidad explicativa fundamental para obtener transparencia y responsabilidad en la toma de decisiones impulsada por IA.

Ya sea desarrollando o interactuando con la IA, en ciberseguridad o en cualquier otro contexto, es esencial mantener a los humanos informados durante todo el proceso. Los datos de capacitación deben ser auditados regularmente por equipos diversos e inclusivos y refinados para reducir los sesgos y la desinformación. Aunque las personas son propensas a los mismos problemas, la supervisión continua y la capacidad de explicar cómo la IA llega a sus conclusiones pueden mitigar en gran medida estos riesgos.

Por otro lado, el simple hecho de ver la IA como un atajo y un reemplazo humano inevitablemente da como resultado que la IA evolucione a su manera, siendo entrenada en sus propios resultados hasta el punto de que solo amplifica sus propias deficiencias, un concepto conocido como desviación de la IA.

El papel humano en la protección de la IA y en la responsabilidad de su adopción y uso no puede subestimarse. Por eso, en lugar de centrarse en la IA como una forma de reducir el personal y ahorrar dinero, las empresas deberían invertir los ahorros en volver a capacitar y hacer la transición de sus equipos a nuevos roles adyacentes a la IA. Esto significa que todos los profesionales de la seguridad de la información deben dar prioridad al uso ético de la IA (y, por lo tanto, a las personas).