Prepare su organización para escalar la IA agéntica responsable

En el gobierno de la IA, no se puede gobernar lo que no se ve. Sin embargo, la visibilidad por sí sola no es útil a menos que también comprenda los riesgos dentro de sus modelos y sistemas de inteligencia artificial (IA).

Esto es especialmente cierto en el caso de tecnologías emergentes como la IA agéntica. Los agentes de IA pueden mejorar la eficiencia y aumentar la productividad, pero comprender el alcance total de los riesgos que introducen es más complicado. “Los riesgos para la IA generativa y el machine learning pueden ser significativos desde el principio, especialmente para ciertos casos de uso”, escriben Manish Bhide, Heather Gentile y Jordan Byrd de IBM. “Si se añaden los agentes de IA, los riesgos se amplifican aún más”.  

Nuestro informe técnico, “AI agents: Opportunities, risks and mitigations”, ofrece una investigación exhaustiva de los riesgos de la IA agéntica, explorando tanto la amplificación de los riesgos de la IA conocidos anteriormente como la aparición de retos nuevos y únicos.

Basándose en nuestro trabajo previo de identificación de riesgos y mitigaciones para los modelos fundacionales, este artículo dota a los profesionales del conocimiento fundamental necesario para comprender, identificar y mitigar riesgos. Se trata de un primer paso importante hacia una escalabilidad responsable de la IA agéntica.

Los agentes de la IA son altamente autónomos y realizan diversas tareas sin supervisión humana continua. También poseen 4 características que pueden introducir riesgos:

·      Opacidad: la visibilidad limitada del funcionamiento interno y las interacciones de un agente de IA puede dificultar la comprensión de las acciones.

·      Apertura: los agentes de IA pueden seleccionar por sí mismos los recursos, las herramientas e incluso otros agentes de IA para completar las tareas, lo que aumenta la probabilidad de que se tomen medidas inesperadas.  

·      Complejidad: a medida que los agentes de IA aprenden y se adaptan, su funcionamiento interno se vuelve más complejo, lo que dificulta cada vez más su análisis.

·      No reversibilidad: al actuar sin supervisión humana continua, los agentes de IA tienen más posibilidades de tomar medidas irreversibles con consecuencias tangibles tanto en el ámbito digital como en el físico.

La autonomía y las características de los agentes de IA presentan riesgos potenciales, retos e impactos sociales que los profesionales deben comprender para escalar de forma responsable la IA agéntica.

La IA agéntica introduce nuevos riesgos y retos en el panorama de riesgos de la IA, que los profesionales probablemente no hayan tenido en cuenta en el diseño, desarrollo, adopción o gobierno de los sistemas de IA anteriores.

Por ejemplo, uno de los nuevos riesgos emergentes es el sesgo de los datos: un agente de IA podría modificar un conjunto de datos o una base de datos de forma que se introdujera un sesgo. En este caso, el agente de IA realiza una acción que podría tener un impacto en el mundo y ser irreversible si el sesgo introducido se amplía sin ser detectado.

La IA agéntica también amplifica varias áreas de riesgo conocidas, incluyendo la evaluación de sistemas y la posibilidad de acciones inexplicables o no rastreables. Los profesionales deben reevaluar estas áreas cuando trabajen con agentes de IA.

Por ejemplo, un agente de IA con acceso ilimitado a recursos, bases de datos o herramientas amplifica el riesgo de compartir información sensible o confidencial con los usuarios. Sin las salvaguardas adecuadas, dicho agente podría almacenar y compartir indebidamente información personal, propiedad intelectual u otros datos confidenciales con los usuarios del sistema. El informe técnico detalla estos riesgos y retos y explica sus orígenes y posibles repercusiones.

Para abordar los riesgos y retos únicos de la IA agéntica se requiere un enfoque de mitigación de riesgos de principio a fin, implementado a través de una gobierno holístico de la IA. Sin embargo, como explicaron recientemente Phaedra Boinodiris y Jon Parker de IBM, “la IA agéntica avanza tan rápido que las organizaciones pueden tener dificultades para encontrar precedentes o buenas prácticas para minimizar los daños”.

Afortunadamente, muchas estrategias que pueden ayudar a mitigar los riesgos para otros tipos de IA, como la IA generativa y el machine learning, también pueden ayudar a mitigar los riesgos para la IA agéntica. Por ejemplo, incorporar a un humano en el proceso es una buena práctica para cualquier tipo de IA responsable. Permitir la validación y el feedback humanos sobre las acciones realizadas por los agentes de IA puede ayudar a garantizar la precisión y la relevancia, y a mantener la alineación con los valores de la organización.  

Comprender los riesgos únicos de la IA agéntica es un paso crítico hacia la escalada responsable de la IA en toda la organización y obtener el retorno de la inversión (ROI) de la IA responsable. El artículo “AI agents: Opportunities, risks, and mitigations” puede ayudarle a conceptualizar el panorama de riesgos de la IA agéntica con mayor claridad y a considerar cómo su organización puede aprovechar de manera responsable las inmensas oportunidades que ofrecen los agentes de IA.

Lea AI agents: Opportunities, risks, and mitigations

Más información sobre el enfoque de IBM hacia la IA responsable