¿Qué es la seguridad de la IA?

Construir sistemas de inteligencia artificial (IA) seguros es una consideración crítica para las empresas y la sociedad, debido a la creciente prevalencia e impacto de la IA. La seguridad de la IA garantiza que los sistemas se utilicen de la forma más responsable posible y que el futuro de esta tecnología se desarrolle en consonancia con los valores humanos.

Desarrollar y mantener una IA segura implica identificar los riesgos potenciales de la IA (como el sesgo, la seguridad de datos y la vulnerabilidad a las amenazas externas) y crear procesos para evitar y mitigar dichos riesgos. Por ejemplo, las medidas de seguridad de la IA, como la mitigación de sesgos, las pruebas de solidez y los marcos éticos de IA, pueden ayudar a las empresas a desarrollar y utilizar herramientas de IA de forma responsable dentro de sus organizaciones.

A medida que los sistemas de IA se vuelven más sofisticados, se integran más profundamente en la vida de las personas y en ámbitos críticos del mundo real como las infraestructuras, las finanzas y la seguridad nacional. Estas tecnologías pueden tener repercusiones tanto positivas como negativas en las organizaciones que las utilizan y en la sociedad en su conjunto.

La preocupación por las repercusiones negativas de la IA es cada vez mayor. Una encuesta de 2023 reveló que el 52 % de los estadounidenses estaban más preocupados que entusiasmados por el uso creciente de la IA.¹ Otro concluyó que al 83 % le preocupa que la IA pueda desencadenar un evento catastrófico de manera accidental.²

Otras investigaciones muestran que estas preocupaciones no son infundadas: un informe de 2024 reveló que el 44 % de los encuestados afirmó que sus organizaciones habían experimentado consecuencias negativas (como problemas de imprecisión o ciberseguridad) por el uso de la IA.³ A menudo, los esfuerzos de seguridad se tratan como una idea tardía: según el Informe de Impacto 2023 del Centro para la Seguridad de la IA (en inglés, el Center for AI Safety’s 2023 Impact Report), solo el 3 % de la investigación técnica se centra en hacer que la IA sea más segura.⁴

Para la sociedad en su conjunto, las medidas de seguridad de la IA son necesarias para proteger la seguridad pública, la privacidad y los derechos fundamentales. Los sistemas de IA sesgados, opacos o no acordes con los valores humanos pueden perpetuar o amplificar las desigualdades sociales.

A los expertos también les preocupa que algunos sistemas avanzados de IA puedan llegar a ser igual o más inteligentes que los humanos. La inteligencia artificial general (AGI) se refiere a sistemas potenciales de IA que entienden, aprenden y llevan a cabo tareas de pensamiento de la misma manera que lo hacen los seres humanos. La superinteligencia artificial (ASI) se refiere a sistemas hipotéticos de IA con un alcance intelectual y funciones cognitivas más avanzadas que cualquier ser humano. El desarrollo de la AGI y la ASI suscita la preocupación de que estos sistemas sean peligrosos si no se alinean con los valores humanos o no están sujetos a la supervisión humana. Si se les dota de demasiada autonomía, los críticos afirman que estos sistemas supondrían una amenaza existencial para la humanidad.

Desde el punto de vista empresarial, una IA segura ayuda a generar confianza en los consumidores, a protegerse frente a responsabilidades legales y a evitar la toma de decisiones erróneas. Las organizaciones que toman medidas para garantizar que el uso de la IA está en consonancia con sus valores pueden evitar consecuencias negativas para sí mismas y para sus clientes.

Los riesgos de la IA pueden clasificarse en varios tipos, cada uno de los cuales requiere diferentes medidas de seguridad de la IA y esfuerzos de gestión de riesgos.

• Sesgo y equidad
• Privacidad
• Pérdida de control
• Riesgos existenciales
• Uso indebido malintencionado
• Ciberseguridad

Los sistemas de IA pueden perpetuar o amplificar los sesgos sociales. El sesgo algorítmico se produce cuando la IA se entrena con entradas y datos incompletos o engañosos. Esto puede llevar a una toma de decisiones injusta. Por ejemplo, una herramienta de IA entrenada con datos discriminatorios podría ser menos propensa a aprobar hipotecas para solicitantes de determinados orígenes o podría ser más propensa a recomendar la contratación de un hombre en lugar de una mujer.

Los sistemas de inteligencia artificial pueden acceder a datos personales, exponerlos o utilizarlos indebidamente, lo que plantea problemas de privacidad. Si se vulneran datos sensibles, los creadores o usuarios de un sistema de IA podrían ser considerados responsables.

Los resultados de los sistemas avanzados de IA, especialmente los creados para funcionar como agentes autónomos, pueden ser impredecibles. Sus acciones también pueden ser perjudiciales. Si son capaces de decidir de forma independiente, puede ser difícil detenerlos. Sin un elemento de control humano, podría ser imposible intervenir o detener un sistema de IA que actúe de forma inadecuada.

La AGI, la ASI y otros sistemas de IA muy avanzados podrían actuar de forma que pusieran en peligro a la humanidad o perturbaran los sistemas globales si se gestionan incorrectamente. Los peligros de una carrera de la IA, similar a una carrera armamentística, podrían afectar a la estabilidad geopolítica.

La IA también podría utilizarse indebidamente para la manipulación social a gran escala o la guerra cibernética. En 2023, el Centro para la Seguridad de la IA (CAIS), una organización sin ánimo de lucro, publicó una declaración de una sola frase respaldada por varios investigadores y líderes de la IA. Decía: "Mitigar el riesgo de extinción de la IA debería ser una prioridad mundial junto con otros riesgos a escala social, como las pandemias y la guerra nuclear".⁵

Aunque las consecuencias no deseadas y los errores son una fuente de riesgo de la IA, los malos actores también pueden utilizar la tecnología intencionadamente para causar daño. La IA puede convertirse en un arma para ciberataques, campañas de desinformación, vigilancia ilegal o incluso daños físicos. Estas amenazas existen tanto a nivel individual como social.

Los sistemas de IA pueden ser vulnerables a problemas de seguridad. Se enfrentan a la posibilidad de sufrir ataques adversos, en los que actores malintencionados manipulan las entradas de datos para engañar a los modelos, lo que conduce a outputs incorrectos.

Por ejemplo, los jailbreaks de IA (o fugas de IA) se producen cuando los piratas informáticos utilizan inyecciones de prompt y otras técnicas para explotar las vulnerabilidades de los sistemas de IA y llevar a cabo acciones restringidas. El envenenamiento de datos se produce cuando los datos de entrenamiento comprometidos sesgan el comportamiento de la IA. El acceso no autorizado y otras vulnerabilidades o riesgos de seguridad pueden dar lugar a un uso indebido de los sistemas de IA y sus datos.

La seguridad y la protección de la IA son aspectos relacionados pero distintos de la inteligencia artificial. La seguridad de la IA tiene como objetivo abordar los problemas inherentes y las consecuencias no deseadas, mientras que la protección de la IA se centra en proteger los sistemas de IA de las amenazas externas.

La seguridad de la IA intenta conectar esta tecnología con los valores humanos y reducir la posibilidad de que los sistemas de IA tengan un impacto negativo en las empresas y la sociedad. Hace hincapié en la alineación de la IA, que es el proceso de codificación de los valores y objetivos humanos en modelos de IA.

La protección de la IA consiste en proteger los sistemas de IA de amenazas externas como ciberataques y vulneraciones de datos. Implica salvaguardar la confidencialidad e integridad de los modelos de IA. La protección de la IA también puede referirse al uso de la inteligencia artificial para mejorar la posición de seguridad de una organización. Según esta definición, incluye el uso de la IA y el machine learning (ML) para anticipar y hacer frente a posibles amenazas.

Los líderes y las empresas de IA están aplicando diversas prácticas para apoyar el desarrollo y el uso responsables de las tecnologías de IA. Las medidas de seguridad de la IA incluyen:

• Detección y mitigación de sesgos algorítmicos
• Pruebas de solidez y validación
• IA explicable (XAI)
• Marcos éticos de IA
• Supervisión humana
• Protocolos de seguridad
• Colaboración en todo el sector

Los algoritmos pueden perpetuar o amplificar los prejuicios presentes en los datos con los que se entrenan. Para combatir este problema, las empresas están invirtiendo en esfuerzos para abordar el sesgo algorítmico. Técnicas como la recopilación de conjuntos de datos diversos, las evaluaciones de imparcialidad algorítmica y los métodos de depuración ayudan a identificar posibles problemas.

Unas pruebas y procesos de validación rigurosos ayudan a los sistemas de IA a resistir los peligros y pueden identificar los riesgos técnicos Técnicas como las pruebas adversariales, las pruebas de estrés y la verificación formal ayudan a garantizar que las herramientas y los modelos de IA funcionen según lo previsto y no muestren comportamientos indeseables.

Muchos modelos de IA, especialmente los modelos de lenguaje de gran tamaño (LLM), son "cajas negras" que toman decisiones que son difíciles de interpretar para los humanos. Sin transparencia en el proceso de toma de decisiones, es menos probable que los usuarios confíen en los resultados y las recomendaciones. La IA explicable (XAI) pretende aclarar los procesos opacos que subyacen a los complejos sistemas de IA, y para ello se centra en la interpretabilidad para mostrar cómo llegan a sus resultados.

Muchas organizaciones cuentan con marcos éticos de IA para guiar el desarrollo y el uso de sistemas de IA. Estos marcos y sus puntos de referencia relacionados suelen incluir principios como la transparencia, la equidad, la responsabilidad y la privacidad. Proporcionan barreras para el uso y el desarrollo de herramientas de IA.

Aunque la automatización forma parte del atractivo de la IA para muchas empresas, mantener el control humano es importante por razones de seguridad. Esto significa contar con operadores humanos que monitoricen el rendimiento del sistema de IA, intervengan cuando sea necesario y tomen las decisiones finales en situaciones críticas. Los enfoques "human-in-the-loop" ayudan a garantizar que una persona real sea responsable de las acciones de un sistema de IA.

La aplicación de medidas de seguridad sólidas, como el cifrado, el control de acceso y la detección de anomalías, ayuda a proteger los sistemas de IA de usos indebidos o accesos no autorizados. Las empresas también pueden invertir en medidas de ciberseguridad para protegerse de ciberataques y ciberamenazas que puedan comprometer la integridad de sus sistemas de IA.

La seguridad de la IA es un campo complejo y en evolución que requiere la colaboración entre investigadores, líderes del sector y responsables políticos. Muchas empresas participan en consorcios industriales, iniciativas de investigación y esfuerzos de normalización para compartir conocimientos, buenas prácticas y lecciones aprendidas. Al trabajar de manera conjunta, la comunidad de la IA puede desarrollar medidas de seguridad más sólidas y fiables.

La investigación sobre la seguridad de la IA es un esfuerzo compartido por muchas partes interesadas.  

La seguridad de la IA empieza con los desarrolladores e ingenieros responsables de diseñar, construir y probar los sistemas de IA. Pueden centrarse en cuestiones fundamentales, como alinear los objetivos de la IA con los valores humanos y crear modelos transparentes y explicables. También son responsables de probar y validar los modelos y herramientas para garantizar que funcionan según lo previsto.

Las empresas líderes en el desarrollo de la IA, como IBM, OpenAI, Google DeepMind, Microsoft, Anthropic y otras, están a la vanguardia de los esfuerzos de seguridad de la IA. Invierten en equipos dedicados a la seguridad de la IA, establecen directrices éticas y se adhieren a los principios de IA responsable para evitar resultados nocivos.

Algunas empresas también han creado marcos y protocolos para dirección los riesgos tanto en la fase de investigación como en la de implementación, como herramientas de detección de sesgos que permiten la supervisión humana. Muchos también colaboran en coaliciones industriales para compartir conocimientos y establecer normas de seguridad de la IA en todo el sector.

Los esfuerzos más amplios de gobierno de la IA son una parte fundamental de las medidas globales de seguridad de la IA. Organizaciones internacionales como las Naciones Unidas, el Foro Económico Mundial y la Organización de Cooperación y Desarrollo Económicos (OCDE) lideran iniciativas centradas en la ética y la seguridad de la IA. Los gobiernos de todo el mundo también están elaborando normas y reglamentos de seguridad de la IA:

En Estados Unidos, el Instituto de Seguridad de la Inteligencia Artificial (AISI), que forma parte del Instituto Nacional de Estándares y Tecnología (NIST), trabaja para dirección los problemas de seguridad. Sus esfuerzos se centran en las prioridades como el avance de la investigación y el desarrollo de mitigaciones de riesgos.

En la Unión Europea, la Ley de IA de la UE incluye varias normas y directrices de seguridad y sanciones por incumplimiento. Por otra parte, el Reino Unido creó el Instituto de Seguridad de la IA para promover el desarrollo seguro de la IA. Otros países, como Singapur, Japón y Canadá, también están creando organismos de seguridad de la IA para investigar e informar sobre el desarrollo y la regulación centrados en la seguridad pública.

Responsables políticos e investigadores de organizaciones no gubernamentales (ONG), grupos de reflexión y otros colectivos trabajan para dar respuesta a los problemas de seguridad. Abordan cuestiones de seguridad nacional, derechos humanos y política legislativa, y recomiendan formas de contribuir a que el desarrollo de la IA se ajuste a los valores e intereses sociales. Conciencian sobre los riesgos, establecen directrices éticas, fomentan la transparencia y promueven la investigación responsable.

Algunos de los principales grupos sin ánimo de lucro y de defensa de la seguridad de la IA son:

• Center for AI Safety: el CAIS es una organización sin ánimo de lucro con sede en San Francisco que investiga y crea material didáctico (como libros de texto) para reducir los riesgos a escala social asociados a la IA.
  
  
• Center for Human-Compatible AI: el CHAI es un centro de investigación de la Universidad de California, Berkeley, que investiga sobre la seguridad de la IA, lo que incluye trabajos sobre el aprendizaje por refuerzo y el aprendizaje de valores.
  
  
• Stanford Institute for Human-Centered Artificial Intelligence: esta organización, con sede en la Universidad de Stanford, investiga y promueve el desarrollo de la IA centrada en el ser humano y los valores de seguridad, confianza y responsabilidad.
  
  
• Machine Intelligence Research Institute: el MIRI es un grupo de investigación que se centra en los retos técnicos de la IA fiable y la alineación de la IA.
  
  
• Partnership on AI: colaboración de organizaciones académicas y sectoriales que promovían prácticas responsables de IA a través de la investigación, la información pública y otras labores.
  
  
• Future of Life Institute: esta organización sin ánimo de lucro pretende reducir los riesgos existenciales asociados al desarrollo avanzado de la IA a través de la investigación y la defensa.
  
  
• AI Safety Initiative by the Cloud Security Alliance: la coalición de la CSA trabaja para crear orientaciones y herramientas que permitan a las organizaciones implementar soluciones de IA que sean seguras, responsables y éticas.