Prepara tu organización para escalar una IA responsable y autónoma

En la gobernanza de la IA, no se puede gobernar lo que no se puede ver. Sin embargo, la visibilidad por sí sola no es útil a menos que también se comprendan los riesgos que entrañan los modelos y sistemas de inteligencia artificial (IA).

Esto es especialmente cierto para las tecnologías emergentes, como la IA agentiva. Los agentes de IA pueden mejorar la eficiencia y aumentar la productividad, pero comprender el alcance total de los riesgos que introducen es más complicado. “Los riesgos para la IA generativa y el aprendizaje automático pueden ser significativos para empezar, especialmente para ciertos casos de uso”, escriben Manish Bhide, Heather Gentile y Jordan Byrd de IBM. “Agregue agentes de IA y los riesgos se amplifican aún más”.  

Nuestro informe técnico, “Agentes de IA: Oportunidades, riesgos y mitigaciones”, proporciona una investigación exhaustiva sobre los riesgos de IA agentic, explorando tanto la amplificación de los riesgos de IA previamente conocidos como la aparición de nuevos y únicos desafíos.

Sobre la base de nuestro trabajo anterior de identificación de riesgos y mitigaciones para los modelos fundacionales, este documento proporciona a los profesionales los conocimientos básicos necesarios para comprender, identificar y mitigar los riesgos. Este es un primer paso importante hacia una escalabilidad responsable de la IA agente.

Los agentes de IA son altamente autónomos y realizan diversas tareas sin necesidad de supervisión humana continua. También poseen 4 características que pueden introducir riesgos:

· Opacidad: La visibilidad limitada del funcionamiento interno y las interacciones de un agente de IA puede dificultar la comprensión de sus acciones.

· Abierto: Los agentes de IA pueden seleccionar por sí mismos recursos, herramientas e incluso otros agentes de IA para completar tareas, lo que aumenta la probabilidad de que se produzcan acciones inesperadas.  

· Complejidad: A medida que los agentes de IA aprenden y se adaptan, su funcionamiento interno se vuelve más complejo, lo que dificulta cada vez más su análisis.

· Irreversibilidad: al actuar sin supervisión humana continua, los agentes de IA tienen más posibilidades de tomar medidas irreversibles con consecuencias tangibles tanto en el ámbito digital como en el      físico.

La autonomía y las características de los agentes de IA presentan riesgos potenciales, desafíos e impactos sociales que los profesionales deben comprender para escalar de forma responsable la IA agente.

Agentic AI introduce nuevos riesgos y desafíos en el panorama de riesgos de IA, que es menos probable que los profesionales hayan considerado en el diseño, desarrollo, adopción o gobierno de sistemas de IA anteriores.

Por ejemplo, un nuevo riesgo emergente tiene que ver con el sesgo de los datos: un agente de IA podría modificar un conjunto de datos o una base de datos de tal manera que introdujera un sesgo. Aquí, el agente de IA toma una acción que potencialmente impacta al mundo y podría ser irreversible si el sesgo introducido escala sin ser detectado.

La IA agente también amplifica varias áreas de riesgo conocidas, incluyendo la evaluación de sistemas y la posibilidad de acciones inexplicables o no rastreables. Los profesionales deben reevaluar estas áreas cuando trabajen con agentes de IA.

Por ejemplo, un agente de IA con acceso sin restricciones a recursos, bases de datos o herramientas aumenta el riesgo de compartir información sensible o confidencial con los usuarios. Sin las medidas de seguridad adecuadas, un agente de este tipo podría almacenar y compartir de forma inapropiada información personal, propiedad intelectual u otros datos confidenciales con los usuarios del sistema. El informe técnico detalla estos riesgos y desafíos, explicando sus orígenes y posibles impactos.

Abordar los riesgos y desafíos únicos de la IA agentiva requiere un enfoque integral para la mitigación de riesgos, promulgado a través de una gobernanza holística de la IA. Sin embargo, como explicaron recientemente Phaedra Boinodiris y Jon Parker de IBM, "la IA agente está avanzando tan rápido que las organizaciones pueden tener dificultades para encontrar precedentes o mejores prácticas para minimizar los daños".

Afortunadamente, muchas Estrategias que pueden ayudar a mitigar los riesgos para otros tipos de IA, como la IA generativa y el machine learning, también pueden ayudar a mitigar los riesgos para la IA agentiva. Por ejemplo, incorporar a un humano en el bucle es una de las mejores prácticas para una IA responsable de todo tipo. Habilitar la validación humana y la retroalimentación sobre las acciones tomadas por los agentes de IA puede ayudar a garantizar la precisión y relevancia y mantener la alineación con los valores organizacionales.  

Comprender los riesgos únicos de la IA agentic es un paso crítico para escalarla de manera responsable en toda la empresa y lograr el retorno de la inversión (ROI) de la IA responsable. “Agentes de IA: oportunidades, riesgos y mitigación” puede ayudarlo a conceptualizar el escenariode riesgos de la IA agentic con mayor claridad y considerar cómo su organización puede capitalizar responsablemente las inmensas oportunidades que presentan los agentes de IA.

Lee Agentes de IA: oportunidades, riesgos y mitigaciones

Aprenda más sobre el enfoque de IBM hacia la IA responsable