La capa ética

El auge de la IA generativa ha dado lugar a todo tipo de cosas, desde chatbots virales hasta valoraciones multimillonarias. Sin embargo, la base ética que sustenta todo ello sigue siendo preocupantemente débil.

En un solo mes, OpenAI ganó y perdió casos de marcas registradas en un tribunal federal y Anthropic retiró discretamente un blog generado por su propio modelo Claude después de que los usuarios criticaran el texto por ser vago y engañoso. A medida que los sistemas de IA se extienden por todos los sectores e interfaces, las cuestiones sobre la responsabilidad, la seguridad y la integridad ya no son teóricas: son operativas.

Esa brecha entre la capacidad y la credibilidad es el núcleo de un creciente ajuste de cuentas ético dentro del mundo de la IA. La ética suele tratarse como una capa superpuesta, en lugar de como una capa estructural. Sin embargo, dentro de IBM, algunos equipos están intentando invertir esta tendencia incorporando restricciones éticas directamente en el entrenamiento, la comercialización y la implementación de los sistemas.

PJ Hagerty, un veterano de la comunidad de desarrolladores con raíces en las herramientas de código abierto y la evangelización de productos, es una de las personas involucradas en este trabajo. Como responsable de promoción de la IA en IBM, su trabajo consiste en ayudar a los desarrolladores a utilizar la IA de forma más eficaz y responsable. Sin embargo, en la práctica, esto significa algo más amplio: cuestionar el hype, aclarar los límites y establecer expectativas realistas. “No estamos creando mentes”, me dijo. “Estamos creando herramientas. Actuemos en consecuencia”.

Hoy en día, la mayor parte de la atención en el campo de la IA se centra en los resultados: lo que genera un modelo, su precisión o credibilidad, su rendimiento en comparación con los parámetros de referencia. Pero para Hagerty, la verdadera tensión ética comienza antes, en el nivel del modelo fundacional. Se trata de la infraestructura básica de la IA moderna, la capa base del machine learning entrenada con vastos conjuntos de datos recopilados de la web. Es lo que alimenta a los modelos de lenguaje de gran tamaño (LLM), como ChatGPT y Claude.

“La base es donde ocurre todo”, me dijo Hagerty. “Es lo primero que aprende el sistema, y si está lleno de basura, esa basura no desaparece”.

Estos modelos básicos están diseñados para ser de uso general. Eso es lo que los hace tan poderosos y peligrosos, según Hagerty. Al no estar creados pensando en tareas o limitaciones específicas, tienden a absorberlo todo, desde valiosas estructuras semánticas hasta basura tóxica de internet. Y una vez entrenados, los modelos son difíciles de auditar. Incluso sus creadores a menudo no pueden decir con certeza qué sabe un modelo o cómo responderá a una determinada instrucción.

Hagerty comparó esto con verter una base de hormigón defectuosa para un rascacielos. Si la mezcla es incorrecta desde el principio, es posible que no se vean grietas inmediatamente. Pero con el tiempo, la estructura se vuelve inestable. En la IA, el equivalente es un comportamiento frágil, un sesgo no deseado o un uso indebido catastrófico una vez que se implementa el sistema. Sin una configuración cuidadosa desde el principio, un modelo conlleva los riesgos que absorbió durante el entrenamiento en todas las aplicaciones posteriores.

No está solo en esta preocupación. No es el único que comparte esta preocupación. Investigadores del Center for Research on Foundation Models (CRFM) de Stanford han advertido en repetidas ocasiones sobre los riesgos emergentes del entrenamiento a gran escala, entre los que se incluyen la propagación de sesgos, las alucinaciones de conocimiento, la contaminación de datos y la dificultad de identificar fallos. Estos problemas pueden mitigarse, pero no eliminarse, lo que hace que las decisiones de diseño iniciales, como la conservación, el filtrado y el gobierno de los datos, sean aún más críticas.

Según Hagerty, una de las mayores barreras éticas para un progreso significativo es la gran vaguedad de lo que las empresas entienden por “IA”. Si se pregunta a cinco equipos de producto qué entienden por tecnología “con IA”, es probable que se obtengan cinco respuestas diferentes. Hagerty considera que esta ambigüedad en la definición es uno de los principales fallos éticos de la era actual.

“La mayoría de las veces, cuando la gente habla de IA, se refiere a la automatización. O a un árbol de decisión. O a una instrucción if/else”, afirmó.

La falta de claridad en torno a los términos no es una sutileza académica. Cuando las empresas presentan un software determinista como razonamiento inteligente, los usuarios tienden a confiar en él. Cuando las startups promocionan herramientas básicas de búsqueda y filtrado como modelos generativos, los inversores invierten dinero en espejismos. Hagerty se refiere a esto como “fuga de hype” y lo considera una fuente creciente de confusión y daño a la reputación.

En sectores regulados como el financiero o el sanitario, las consecuencias pueden ser más graves. Si se induce a error a un usuario haciéndole creer que un sistema tiene una conciencia más profunda de la que realmente tiene, este puede delegar decisiones que deberían haber seguido siendo humanas. La línea entre herramienta y agente se difumina y, con ella, la responsabilidad.

Este problema también conduce a un esfuerzo inútil. Hagerty citó una investigación reciente sobre el uso indebido de los LLM para la previsión de series temporales, un método estadístico utilizado para predecir valores futuros basándose en datos históricos, una tarea en la que los métodos clásicos siguen siendo más precisos y eficientes. Sin embargo, algunas empresas siguen utilizando los LLM de todos modos, persiguiendo la novedad o señalando la innovación.

“Se están quemando GPU para obtener malas respuestas”, afirmó. “Y lo que es peor, a esto se le llama progreso”.

La cuestión ética no es solo la ineficiencia. Es una tergiversación. Los equipos crean productos basados en una tecnología que apenas comprenden, añaden un marketing que exagera sus capacidades y los implementan para usuarios que no tienen forma de evaluar lo que están utilizando.

Gran parte de la inquietud pública en torno a la IA se ha centrado en la posibilidad de una pérdida masiva de puestos de trabajo. ¿Reemplazará la IA a abogados, profesores, programadores y escritores? Hagerty considera que esta pregunta es prematura y está mal planteada.

“La mayoría de estas herramientas no están reemplazando a las personas”, afirmó. “Están reemplazando tareas, y solo las realmente tediosas”.

Señala asistentes de código como watsonx Code Assistant y GitHub Copilot, y herramientas como Cursor y CodeWhisperer de Amazon. Estos sistemas no escriben aplicaciones completas desde cero. Lo que hacen es rellenar bloques de código predecibles, sugerir plantillas y reducir la carga que supone escribir lógica repetitiva. La ventaja no es la creatividad, sino la velocidad.

Hagerty cree que esto es algo positivo en términos netos. Los desarrolladores júnior pueden empezar a trabajar más rápido. Los ingenieros sénior pueden centrarse en la arquitectura en lugar de en la sintaxis. La barrera de entrada es menor y se reduce la dificultad del mantenimiento. Pero advierte que no hay que pensar que se trata de un problema resuelto.

“Estos modelos se entrenan en la web abierta”, afirmó. “Y hay mucha basura en esos conjuntos de datos, incluidos los míos”.

Esa basura incluye código inseguro, prácticas obsoletas y trucos específicos del contexto. También incluye plagios, violaciones de licencias y errores ocultos que pueden resurgir en los resultados generados. Así que, aunque un modelo puede ahorrar tiempo, también corre el riesgo de reintroducir los mismos problemas que se pretendía reducir. Lo que se escala no es la calidad, sino todo aquello a lo que ha estado expuesto el modelo.

Aquí es donde Hagerty cree que la revisión humana sigue siendo esencial. La herramienta puede ayudar, pero la responsabilidad sigue recayendo en el desarrollador.

Uno de los fallos más notorios en materia de seguridad de la IA se produjo hace casi una década, cuando se lanzó el chatbot Tay en Twitter. En cuestión de horas, fue secuestrado para publicar contenido ofensivo y teorías conspirativas. Sus creadores lo retiraron de la red y emitieron una disculpa. Pero el episodio se convirtió en un símbolo perdurable de lo que sucede cuando los desarrolladores lanzan sistemas sin medidas de seguridad.

Hoy en día, la mayoría de las empresas han aprendido a envolver sus modelos generativos en capas de moderación. Los filtros, los clasificadores, los desinfectantes de instrucciones y el ajuste de refuerzo pueden ayudar, pero no son infalibles. Según Hagerty, estas medidas tienden a centrarse en cuestiones superficiales, como el tono del lenguaje o las palabras malsonantes, en lugar de en vulnerabilidades más profundas, como la inyección de instrucciones o el reutilización maliciosa. En cambio, él ve la seguridad como una cuestión de diseño más amplia. “¿Se va a hacer un uso indebido de este modelo? ¿Se va a sacar de contexto? ¿Se va a confiar en los resultados cuando no se debería?”, afirmó. “Si no ha pensado en estas cuestiones, no ha terminado. No está listo para la producción”.

Hagerty señaló el ejemplo de las herramientas que manipulan o generan contenido multimedia, como los generadores de imágenes, los editores de vídeo y los clones de voz. Estos sistemas no solo producen contenido, sino que también alteran la percepción. Afirmó que, cuando los resultados son lo suficientemente realistas, comienzan a afectar a la memoria, el juicio y la atribución.

En estos casos, la seguridad no tiene que ver con la corrección técnica, sino con la conciencia contextual. ¿Qué ocurre con este resultado una vez que sale de su interfaz? ¿Quién lo ve? ¿Qué suponen?

Esas preguntas rara vez tienen una única respuesta. Pero ignorarlas por completo, según Hagerty, es un error.

En entornos tecnológicos que evolucionan con rapidez, el gobierno puede parecer un lastre. Ralentiza los lanzamientos. Añade papeleo. Introduce ambigüedad. Pero para Hagerty, esta visión no da en el clavo.

“No se enviaría código sin probar”, afirmó. “¿Por qué se enviaría un modelo sin auditar?”.

Considera que herramientas como watsonx.governance de IBM son una infraestructura necesaria, no un extra opcional. Estos sistemas permiten a los equipos realizar un seguimiento de los datos de entrenamiento, monitorizar los cambios en los modelos y señalar las desviaciones a lo largo del tiempo. Ayudan a las organizaciones a cumplir con las nuevas normativas, pero lo más importante es que crean una memoria institucional. Permiten a los equipos ver lo que hicieron, cómo lo hicieron y por qué.

Esto es importante no solo para el cumplimiento, sino también para la calidad. Si un modelo funciona de forma diferente al mes siguiente, es necesario saber qué ha cambiado. Si empieza a dar problemas en la producción, es necesario encontrar una forma de rastrear el problema hasta su origen. Un buen gobierno es el equivalente en IA al control de versiones.

Y va más allá de los modelos. Hagerty señaló el creciente interés por el “machine unlearning” (desaprendizaje automático), la capacidad de eliminar quirúrgicamente datos o comportamientos problemáticos sin necesidad de volver a entrenar desde cero. Este enfoque, aunque todavía está en sus inicios, refleja un cambio más amplio en la mentalidad. El objetivo no es crear modelos más inteligentes, sino crear modelos que puedan adaptarse, corregirse y rendir cuentas.

Nada de esto requiere perfección. Hagerty no duda en admitir que los sesgos persistirán, la seguridad fallará y las herramientas se utilizarán de forma incorrecta. Pero la diferencia entre un fallo aceptable y un daño por negligencia se reduce al proceso.

“No exagere. No confíe en exceso. Haga mejores preguntas desde el principio”, afirmó.

Recomienda incorporar revisiones éticas en los ciclos de planificación, no solo en las listas de verificación de lanzamiento. Utilizar herramientas como AI Fairness 360 y Granite Guardian de IBM, así como ARX, para detectar problemas evidentes. Realizar pruebas de equipo rojo para encontrar casos extremos antes que los usuarios. Y, sobre todo, crear sistemas que faciliten la corrección del rumbo.

El trabajo, argumenta, no consiste en detener el daño. Se trata de dar forma al impacto.

“No se creará un sistema perfecto”, dijo. “Pero se puede crear uno que falle más lentamente, que falle de formas que se puedan entender”.

Desde este punto de vista, la ética no es una restricción, sino un principio de diseño. Es una forma de crear un software mejor, sistemas más predecibles, expectativas más claras y, en última instancia, más valor.

Cuando se le preguntó qué le daba esperanza, Hagerty no habló de alineación, AGI o marcos políticos. Habló de los asistentes de código.

“Funcionan”, dijo. “Reducen la fricción. No pretenden hacer más de lo que pueden. Ese es el modelo a seguir”.

Quiere que la IA sea aburrida. Útil. Limitada. Honesta sobre lo que hace y cómo funciona. Eso no significa limitar la ambición, sino aclararla. Crear para la fiabilidad en lugar de para la sorpresa. Diseñar sistemas que funcionen bien no solo en las demostraciones, sino también en la implementación.

La IA no va a desaparecer. Las herramientas seguirán evolucionando, pero también lo harán las expectativas. Y los equipos que tengan éxito, según Hagerty, serán aquellos que combinen el poder técnico con la disciplina ética. Porque funciona.