¿Qué es la IA en la sombra?

25 de octubre de 2024

Autores

Alexandra Jonker

Editorial Content Lead

Amanda McGrath

Writer

IBM

¿Qué es la IA en la sombra?

La IA en la sombra es el uso no autorizado de cualquier herramienta o aplicación de inteligencia artificial (IA) por parte de empleados o usuarios finales sin la aprobación o supervisión formal del departamento de tecnología de la Información (TI).

Un ejemplo común de IA en la sombra es el uso no autorizado de aplicaciones de IA generativa, ,como ChatGPT de OpenAI, para automatizar tareas, como la edición de texto y el análisis de datos. Los empleados suelen recurrir a estas herramientas para mejorar la productividad y agilizar los procesos. Sin embargo, dado que los equipos de TI desconocen que se utilizan estas aplicaciones, los empleados pueden exponer a la organización sin saberlo a riesgos significativos relacionados con la seguridad de los datos, el cumplimiento y la reputación de la empresa.

Para los CIO y los CISO, el desarrollo de una sólida estrategia de IA que incorpore iniciativas de gobernanza y seguridad de la IA es clave para una gestión de los riesgos de la IA. Al comprometerse con las políticas de IA que enfatizan la importancia del cumplimiento y la ciberseguridad, los líderes pueden gestionar los riesgos de la IA en la sombra mientras adoptan los beneficios de las tecnologías de IA.

TI en la sombra frente a IA en la sombra

Para comprender las implicaciones de la IA en la sombra, es útil distinguirla de la TI en la sombra.

TI en la sombra

TI en la sombra se refiere al despliegue de cualquier software, hardware o tecnología de la información en una red empresarial sin la aprobación, conocimiento o supervisión de un departamento de TI o director de sistemas de información (CIO). Los empleados pueden recurrir a la tecnología de IA no autorizada cuando consideran que las soluciones son insuficientes o creen que las opciones aprobadas son demasiado lentas. Algunos ejemplos comunes son el uso de servicios personales de almacenamiento en la nube o herramientas de gestión de proyectos no aprobadas.

IA en la sombra

Mientras que la TI en la sombra se centra en cualquier aplicación o servicio no autorizado, la IA en la sombra se centra en herramientas, plataformas y casos de uso específicos de la IA. Por ejemplo, un empleado podría usar un modelo de lenguaje extenso (LLM) para generar rápidamente un informe sin darse cuenta de los riesgos de seguridad. La diferencia fundamental radica en la naturaleza de las herramientas utilizadas: la IA en la sombra consiste en el uso no autorizado de inteligencia artificial, lo que plantea problemas específicos relacionados con la gestión de datos, los resultados de los modelos y la toma de decisiones.

¿Cuáles son los riesgos de la IA en la sombra?

De 2023 a 2024, la adopción de aplicaciones de IA generativa por parte de los empleados de las empresas creció del 74 % al 96 % a medida que las organizaciones adoptaron las tecnologías de IA.1 Junto con este crecimiento, se produjo un aumento de la IA en la sombra. Hoy en día, más de un tercio (38 %) de los empleados reconocen compartir información laboral confidencial con herramientas de IA sin el permiso de sus empleadores.2

La IA en la sombra puede exponer a las empresas a varios riesgos, como la fuga de datos, multas por incumplimiento y graves daños a su reputación:

Filtraciones de datos y vulnerabilidades de seguridad

Uno de los principales riesgos asociados con la IA en la sombra es la posibilidad de filtraciones de datos. Cuando hay una falta de supervisión con respecto al uso de la IA, los empleados pueden exponer inadvertidamente información confidencial que genera problemas de privacidad de datos. Según una encuesta reciente realizada a varios CISO, 1 de cada 5 empresas del Reino Unido experimentaron fugas de datos debido a que los empleados usaban IA generativa.3 El mayor riesgo de fuga de datos podría explicar por qué tres cuartas partes de los encuestados también afirmaron que los usuarios internos representan un riesgo mayor para la organización que las amenazas externas.4

Incumplimiento de la normativa

En muchas industrias, el cumplimiento normativo no es negociable. El uso de la IA en la sombra puede generar problemas de cumplimiento, especialmente en lo que respecta a la protección y la privacidad de los datos. Es posible que las organizaciones deban cumplir con regulaciones, como el Reglamento General de Protección de Datos (RGPD). Las multas por incumplimiento del RGPD pueden ser sustanciales: las infracciones graves (como el tratamiento de datos con fines ilegales) pueden costar a las empresas más de 20 000 000 de euros o el 4 % de los ingresos mundiales de la organización en el año anterior, lo que sea mayor. 

Daño a la reputación

Confiar en modelos de IA no autorizados puede afectar la calidad de la toma de decisiones. Sin una gobernanza adecuada, es posible que los resultados generados por estos modelos no se alineen con los objetivos o las normas éticas de la organización. Los datos sesgados, el sobreajuste y la desviación del modelo son algunos ejemplos de los riesgos de la IA que pueden conducir a malas decisiones estratégicas y dañar la reputación de una empresa. 

El uso no autorizado de la IA también puede contradecir los estándares de calidad de una empresa y socavar la confianza de los consumidores. Considere la reacción cuando Sports Illustrated fue expuesto por publicar artículos escritos por autores generados por IA o cuando Uber Eats fue criticado por usar imágenes de alimentos generadas por IA.

Causas de la IA en la sombra

A pesar de los riesgos, la IA en la sombra se está volviendo más común por varias razones. Las organizaciones están adoptando la transformación digital y, por extensión, la integración de tecnologías de IA para reinventar los flujos de trabajo y la toma de decisiones. 

La proliferación de herramientas de IA fáciles de usar significa que los empleados pueden acceder fácilmente a soluciones avanzadas de IA para mejorar sus capacidades. Muchas aplicaciones de IA están disponibles como productos de software como servicio (SaaS), lo que permite a las personas adoptar rápidamente estas herramientas sin involucrar necesariamente a los equipos de TI o de seguridad. A través de la democratización de la IA, los empleados están encontrando nuevas formas de:

  • Mejorar la productividad: los empleados suelen utilizar herramientas de IA en la sombra para aumentar su productividad y eludir las ineficiencias operativas. Mediante el uso de aplicaciones de IA generativa, las personas pueden automatizar tareas repetitivas, generar contenido rápidamente y optimizar procesos que de otro modo llevarían mucho más tiempo.
  • Acelerar la innovación: la IA en la sombra puede fomentar una cultura de innovación, permitiendo a los equipos experimentar con nuevas herramientas de IA sin esperar la aprobación oficial. Esta agilidad puede conducir a soluciones creativas y flujos de trabajo mejorados, dando a las organizaciones una ventaja competitiva en mercados que cambian rápidamente.
  • Optimice las soluciones: a menudo, la IA en la sombra permite a los equipos abordar desafíos en tiempo real. Los empleados pueden encontrar soluciones ad hoc rápidamente utilizando las herramientas de IA disponibles, en lugar de depender de métodos tradicionales y más lentos. Esta capacidad de respuesta puede mejorar la atención al cliente y la eficiencia operativa.
Diseño 3D de pelotas rodando en una pista

Las últimas novedades e insights sobre IA 


Insights curados por expertos y noticias sobre IA, la nube y más en el boletín semanal Think. 

Ejemplos de IA en la sombra

La IA en la sombra se manifiesta de diversas formas en las organizaciones, a menudo impulsada por la necesidad de eficiencia e innovación. Algunos ejemplos habituales de IA en la sombra son los chatbots impulsados por IA, los modelos de machine learning (ML) para el análisis de datos, las herramientas de automatización de marketing y las herramientas de visualización de datos.

Chatbots impulsados por IA

 En la atención al cliente, los equipos pueden recurrir a chatbots de IA no autorizados para generar respuestas a las consultas. Por ejemplo, un representante de atención al cliente podría intentar responder la pregunta de un cliente pidiendo respuestas a un chatbot en lugar de mirar los materiales aprobados de su empresa. Esto puede dar lugar a mensajes incoherentes o falsos, posibles problemas de comunicación con los clientes y riesgos de seguridad si la pregunta del representante contiene datos confidenciales de la empresa.

Modelos de ML para el análisis de datos

Los empleados pueden usar modelos externos de machine learning para analizar y encontrar patrones dentro de los datos de la empresa. Si bien estas herramientas pueden generar insights valiosos, el uso no autorizado de los servicios de IA puede crear vulnerabilidades de seguridad. Por ejemplo, un analista podría utilizar un modelo de comportamiento predictivo para comprender mejor el comportamiento del cliente a partir de un conjunto de datos patentado, exponiendo sin saberlo información confidencial en el proceso.

herramientas de automatización de marketing

Los equipos de marketing pueden buscar optimizar las campañas utilizando herramientas de IA en la sombra, que pueden automatizar los esfuerzos de marketing por correo electrónico o analizar los datos de participación en las redes sociales. El uso de estas herramientas puede conducir a mejores resultados de marketing. Sin embargo, la ausencia de gobernanza podría dar lugar al incumplimiento de las normas de protección de datos, especialmente si los datos de los clientes se manejan de forma inadecuada.

Herramientas de visualización de datos

Muchas organizaciones emplean las herramientas de visualización de datos impulsadas por IA para crear rápidamente mapas de calor, gráficos de líneas y de barras, entre otros. Estas herramientas pueden ayudar a reforzar la business intelligence al mostrar relaciones de datos complejas e insights de una manera fácil de entender. Sin embargo, ingresar datos de la empresa sin la aprobación de TI puede generar imprecisiones en los informes y posibles problemas de seguridad de datos.

Cómo gestionar los riesgos de la IA en la sombra

 Para gestionar los riesgos de la IA en la sombra, las organizaciones pueden considerar varios enfoques que fomenten el uso de la IA responsable, al tiempo que reconocen la necesidad de flexibilidad e innovación:

Enfatizar la colaboración

El diálogo abierto entre los departamentos de TI, los equipos de seguridad y las unidades de negocio puede facilitar una mejor comprensión de las capacidades y limitaciones de la IA Una cultura de colaboración puede ayudar a las organizaciones a identificar qué herramientas de IA son beneficiosas, al tiempo que ayuda a garantizar el cumplimiento de los protocolos de protección de datos.

Desarrollar un marco de gobernanza flexible

Los marcos de gobernanza pueden adaptarse a la naturaleza acelerada de la adopción de la IA mientras se mantienen las medidas de seguridad. Estos marcos pueden incluir pautas claras sobre qué tipos de sistemas de IA se pueden usar, cómo se debe manejar la información sensible y qué capacitación necesitan los empleados con respecto a la ética y el cumplimiento de la IA.

Implemente medidas de seguridad

Las medidas de seguridad en torno al uso de IA pueden proporcionar una red de seguridad, lo que ayuda a garantizar que los empleados solo utilicen herramientas aprobadas dentro de parámetros definidos. Las medidas de seguridad pueden incluir políticas sobre el uso externo de IA, entornos de sandbox para probar aplicaciones de IA o cortafuegos para bloquear plataformas externas no autorizadas.

Monitorear el uso de IA

Puede que no sea posible eliminar todas las instancias de IA en la sombra. Por lo tanto, las organizaciones pueden implementar herramientas de monitoreo de red para rastrear el uso de las aplicaciones y establecer controles de acceso para limitar el software no aprobado. Las auditorías periódicas y el monitoreo activo de los canales de comunicación también pueden ayudar a identificar si se están empleando aplicaciones no autorizadas y de qué manera.

Reiterar los riesgos

El ámbito de IA en la sombra está en constante evolución, presentando nuevos desafíos para las organizaciones. Las empresas pueden establecer comunicaciones periódicas, como boletines o actualizaciones trimestrales, para informar a los empleados sobre la IA en la sombra y los riesgos asociados.

Al aumentar la concientización sobre las implicaciones del uso de herramientas de IA no autorizadas, las organizaciones pueden fomentar una cultura de uso de IA responsable. Este entendimiento podría alentar a los empleados a buscar alternativas aprobadas o consultar con TI antes de desplegar nuevas aplicaciones.

Notas de pie de página

Todos los enlaces se encuentran fuera de ibm.com

1 Sensitive Data Sharing Risks Heightened as GenAI Surges, Infosecurity Magazine, 17 de julio de 2024.

2 Over a Third of Employees Secretly Sharing Work Info with AI, Infosecurity Magazine, 26 de septiembre de 2024.

3 Fifth of CISOs Admit Staff Leaked Data Via GenAI, Infosecurity Magazine, 24 de abril de 2024.

Artículo 99: Sanciones, Ley de Inteligencia Artificial de la UE.

Soluciones relacionadas
IBM watsonx.governance™

Gobierne modelos de IA generativa desde cualquier lugar y despliéguelos en la nube u on-premises con IBM watsonx.governance.

Descubra watsonx.governance
Servicios de consultoría sobre gobernanza de la IA

Prepárese para la Ley de IA de la UE y establezca un enfoque de gobernanza de la IA responsable con la ayuda de IBM Consulting.

Explore los servicios de gestión de IA
IBM OpenPages

Simplifique la forma de gestionar el riesgo y el cumplimiento normativo con una plataforma de GRC unificada.

Explorar OpenPages
Dé el siguiente paso

Dirija, gestione y monitoree su IA con una única cartera para acelerar una IA responsable, transparente y explicable.

Explore watsonx.governance Reserve una demostración en vivo