La capa ética

El auge de la IA generativa ha entregado de todo, desde chatbots virales hasta valoraciones multimillonarias. Pero la base ética subyacente sigue siendo preocupantemente escasa.

En un solo mes, OpenAI ganó y perdió casos de marcas en un tribunal federal y Anthropic hizo retroceder silenciosamente un blog generado por su propio modelo Claude después de que los usuarios criticaran la escritura por considerarla vaga y engañosa. A medida que los sistemas de IA se expanden entre industrias e interfaces, las cuestiones sobre responsabilidad, seguridad e integridad ya no son teóricas. Están operativos.

Esa brecha entre capacidad y credibilidad es el núcleo de un creciente replanteamiento ético dentro del mundo de la IA. La ética generalmente se trata como una superposición, en lugar de una capa estructural. Sin embargo, dentro de IBM, algunos equipos están intentando revertir este patrón incorporando restricciones éticas directamente en la capacitación, el marketing y el despliegue de sistemas.

PJ Hagerty, un veterano de la comunidad de desarrolladores con experiencia en herramientas de código abierto y evangelización de productos, es una de las personas involucradas en este trabajo. Como responsable de defensa de la IA en IBM, su trabajo es ayudar a los desarrolladores a emplear la IA de forma más eficaz y responsable. En la práctica, sin embargo, esto significa algo más amplio: desafiar el revuelo, aclarar los límites y establecer expectativas realistas. “No estamos construyendo mentes”, me dijo. “Estamos construyendo herramientas. Actuemos como tal”.

Hoy en día, la mayor parte de la atención en la IA se centra en los resultados: lo que genera un modelo, qué tan preciso o convincente es, qué tan bien se desempeña en comparación con los puntos de referencia. Pero para Hagerty, la verdadera tensión ética comienza antes, a nivel del modelo fundacional. Esta es la infraestructura en bruto de la IA moderna, la capa base del machine learning entrenado con vastos conjuntos de datos extraídos de la web. Es lo que impulsa a los modelos de lenguaje grandes (LLM) como ChatGPT y Claude.

“La base es donde todo sucede”, me dijo Hagerty. “Eso es lo primero que aprende el sistema, y si está lleno de basura, esa basura no desaparece”.

Estos modelos básicos están diseñados para ser de uso general. Eso es lo que los hace poderosos y peligrosos, dijo Hagerty. Debido a que no se crean teniendo en cuenta tareas o restricciones específicas, tienden a absorber todo, desde estructuras semánticas valiosas hasta lodos tóxicos de Internet. Y una vez entrenados, los modelos son difíciles de auditar. Incluso sus creadores a menudo no pueden decir con certeza qué sabe un modelo o cómo responderá a una instrucción determinada.

Hagerty comparó esto con verter una base de concreto defectuosa para un rascacielos. Si la mezcla es incorrecta desde el principio, es posible que no vea grietas de inmediato. Pero con el tiempo, la estructura se vuelve inestable. En IA, el equivalente es un comportamiento frágil, un sesgo no intencionado o un mal uso catastrófico una vez que se despliega un sistema. Sin una configuración cuidadosa desde el principio, un modelo lleva los riesgos que absorbió durante el entrenamiento a cada aplicación posterior.

No es el único que comparte esta preocupación. Investigadores del Center for Research on Foundation Models (CRFM) de Stanford han advertido repetidamente sobre los riesgos emergentes del entrenamiento a gran escala, incluida la propagación de sesgos, la alucinación del conocimiento, la contaminación de datos y la dificultad de identificar fallas. Estos problemas pueden mitigarse, pero no eliminarse, lo que hace que las decisiones de diseño iniciales, como la curaduría, el filtrado y la gobernanza de los datos, sean más críticas.

Como lo ve Hagerty, una de las mayores barreras éticas para el progreso significativo es la gran vaguedad de lo que las empresas quieren decir cuando se refieren a la "IA". Pregúntele a cinco equipos de productos qué quieren decir con “impulsado por IA” y es probable que obtenga cinco respuestas diferentes. Hagerty considera esta escurridiza definición como uno de los principales fallos éticos de la era actual.

“La mayoría de las veces, cuando la gente dice IA, se refiere a automatización. O un árbol de decisiones. O una declaración si/si no”, dijo.

La falta de claridad en torno a los términos no es un problema académico. Cuando las empresas presentan el software determinista como razonamiento inteligente, los usuarios tienden a confiar en él. Cuando las startups presentan herramientas básicas de búsqueda y filtrado como modelos generativos, los inversionistas invierten dinero en espejismos. Hagerty se refiere a esto como "fuga de publicidad" y lo ve como una fuente creciente de confusión y daño a la reputación.

En industrias reguladas como las finanzas o la atención médica, las consecuencias pueden ser más severas. Si se engaña a un usuario para que piense que un sistema tiene una concientización más profunda de la que tiene, puede delegar decisiones que deberían haber seguido siendo humanas. La línea entre herramienta y agente se difumina, y con ella, la responsabilidad.

Este problema también lleva a un esfuerzo inútil. Hagerty citó una investigación reciente sobre el mal uso de los LLM para el forecasting de series temporales, un método estadístico utilizado para predecir valores futuros basado en datos históricos, una tarea en la que los métodos clásicos siguen siendo más precisos y eficientes. Sin embargo, algunas empresas siguen utilizando los LLM de todos modos, persiguiendo la novedad o señalando la innovación.

“Estamos quemando GPU para obtener malas respuestas”, dijo. “Y lo que es peor, lo llamamos progreso”.

La cuestión ética no es solo la ineficiencia. Es una interpretación errónea. Los equipos crean productos en torno a una tecnología que apenas entienden, agregan marketing que exagera su capacidad y la despliegan a usuarios que no tienen forma de evaluar lo que están usando.

Gran parte de la ansiedad pública que rodea a la IA se ha centrado en la posibilidad de pérdida masiva de empleos. ¿Reemplazará la IA a abogados, profesores, programadores y escritores? Hagerty ve esta pregunta como prematura y mal planteada.

“La mayoría de estas herramientas no reemplazan a las personas”, dijo. “Están reemplazando tareas, y solo las realmente tediosas”.

Señaló asistentes de código como watsonx Code Assistant y GitHub Copilot, y herramientas como Cursor y CodeWhisperer de Amazon. Estos sistemas no escriben aplicaciones completas desde cero. Lo que hacen es rellenar bloques predecibles de código, sugerir texto repetitivo y reducir la sobrecarga de escribir lógica repetitiva. La ganancia no es la creatividad; es la velocidad.

Hagerty cree que esto es algo positivo en términos generales. Los desarrolladores novatos pueden comenzar más rápido. Los ingenieros experimentados pueden centrarse en la arquitectura en lugar de en la sintaxis. La barrera de entrada es menor, y el problema de mantenimiento se reduce. Sin embargo, advierte que no hay que pensar que se trata de un problema resuelto.

“Estos modelos están entrenados en la web abierta”, dijo. “Y hay mucha basura en esos conjuntos de datos, incluido el mío”.

Esa basura incluye código inseguro, prácticas obsoletas y hacks específicos del contexto. También incluye plagio, infracciones de licencia y errores fantasma que pueden resurgir en la salida generada. Entonces, si bien un modelo puede ahorrar tiempo, también corre el riesgo de reintroducir los mismos problemas que estaba destinado a reducir. Lo que se escala no es la calidad; es a lo que el modelo ha estado expuesto.

Aquí es donde Hagerty cree que la revisión humana sigue siendo esencial. La herramienta puede ayudar, pero la responsabilidad sigue recayendo en el desarrollador.

Uno de los fracasos más notorios en materia de seguridad de la IA ocurrió hace casi una década, cuando se lanzó el chatbot Tay en Twitter. En cuestión de horas, fue secuestrado para publicar contenido ofensivo y teorías de conspiración. Sus creadores lo retiraron de la red y emitieron una disculpa. Pero el episodio se convirtió en un símbolo perdurable de lo que sucede cuando los desarrolladores lanzan sistemas sin medidas de seguridad.

Hoy en día, la mayoría de las empresas han aprendido a envolver sus modelos generativos en capas de moderación. Los filtros, clasificadores, desinfectantes de instrucciones y ajustes de refuerzo pueden ayudar, pero no son infalibles. Según Hagerty, estas medidas tienden a centrarse en problemas superficiales, como el tono del lenguaje o las blasfemias, en lugar de vulnerabilidades más profundas, como la inyección de instrucciones o la reutilización maliciosa. En cambio, ve la seguridad como una cuestión de diseño más amplia. “¿Este modelo va a ser mal utilizado? ¿Se va a sacar de contexto? ¿Se confiará en los resultados cuando no se debería confiar en ellos?”, dijo. “Si no ha pensado en esas preguntas, no ha terminado. No está listo para la producción”.

Hagerty señaló el ejemplo de las herramientas que manipulan o generan medios, como generadores de imágenes, editores de video y clones de voz. Estos sistemas no solo producen contenido, sino que también alteran la percepción. Dijo que cuando los resultados son lo suficientemente realistas, comienzan a afectar la memoria, el juicio y la atribución.

En estos casos, la seguridad no se trata de la corrección técnica, sino de la concientización contextual. ¿Qué ocurre con esta salida una vez que sale de su interfaz? ¿Quién la ve? ¿Qué asume?

Esas preguntas rara vez tienen una respuesta. Pero ignorarlas por completo, dijo Hagerty, es un error.

En entornos tecnológicos que evolucionan rápidamente, la gobernanza puede parecer un lastre. Ralentiza las publicaciones. Aumenta el papeleo. Introduce ambigüedad. Pero para Hagerty, esta visión no capta el punto.

“No se enviaría código sin probar”, dijo. “¿Por qué se enviaría un modelo no auditado?”

Considera herramientas como watsonx.governance de IBM como infraestructura necesaria, no como extras opcionales. Estos sistemas permiten a los equipos rastrear datos de entrenamiento, monitorear cambios en los modelos y señalar desviaciones a lo largo del tiempo. Ayudan a las organizaciones a cumplir con las regulaciones emergentes, pero, lo que es más importante, crean memoria institucional. Permiten a los equipos ver lo que hicieron, cómo lo hicieron y por qué.

Esto es importante no solo para el cumplimiento, sino también para la calidad. Si un modelo funciona de manera diferente el próximo mes, necesita saber qué cambió. Si comienza a alucinar en producción, necesita una forma de rastrear el problema hasta la fuente. La buena gobernanza es el equivalente en IA al control de versiones.

Y va más allá de los modelos. Hagerty señaló el creciente interés en el "desaprendizaje automático", la capacidad de eliminar quirúrgicamente datos o comportamientos problemáticos sin reentrenarse desde cero. Este enfoque, aunque aún es temprano, refleja un cambio de mentalidad más amplio. El objetivo no es crear modelos más inteligentes, sino modelos que puedan adaptarse, corregirse y rendir cuentas.

Nada de esto requiere perfección. Hagerty admite rápidamente que el sesgo persistirá, la seguridad fallará y las herramientas se utilizarán indebidamente. Pero la diferencia entre un fracaso aceptable y un daño negligente se reduce al proceso.

“No exagere. No confíe en exceso. Haga mejores preguntas desde el principio”, dijo.

Recomienda incorporar revisiones éticas en los ciclos de planificación, no solo en las listas de verificación de lanzamiento. Con herramientas como AI Fairness 360 y Granite Guardian de IBM, así como ARX, para detectar problemas evidentes. Ejecutar pruebas en equipo para encontrar casos periféricos antes de que los usuarios lo hagan. Y sobre todo, sistemas de construcción que facilitan la corrección del rumbo.

El trabajo, argumenta, no se trata de detener el daño. Se trata de dar forma al impacto.

“No se construirá un sistema perfecto”, dijo. “Pero se puede construir uno que falle más lento, que falle de maneras que se entiendan”.

La ética, desde este punto de vista, no es una restricción sino un principio de diseño. Es una forma de crear un mejor software, sistemas más predecibles, expectativas más claras y, en última instancia, más valor.

Cuando se le preguntó qué le da esperanza, Hagerty no habló sobre alineación, AGI o infraestructuras de políticas. Habló sobre los asistentes de código.

“Funcionan”, dijo. “Reducen la fricción. No pretenden hacer más de lo que pueden. Ese es el modelo a seguir”.

Quiere que la IA sea aburrida. Útil. Estrecha. Honesta sobre lo que hace y cómo funciona. Eso no significa limitar la ambición; significa aclararla. Construir para la confiabilidad en lugar de la sorpresa. Diseñar sistemas que funcionen bien no solo en las demostraciones, sino también en el despliegue.

La IA no va a desaparecer. Las herramientas continuarán evolucionando, pero también lo harán las expectativas. Y los equipos que tengan éxito, cree Hagerty, serán los que combinen el poder técnico con la disciplina ética. Porque funciona.