A camada ética

O boom da IA generativa proporcionou de tudo, desde chatbots virais até avaliações multibilionárias. Mas a base ética subjacente a tudo isso permanece preocupantemente tênue.

Em um único mês, a OpenAI ganhou e perdeu casos de marca registrada em tribunal federal e a Anthropic silenciosamente reverteu um blog gerado por seu próprio modelo Claude depois que usuários criticaram a escrita como vaga e enganosa. À medida que os sistemas de IA se expandem por diferentes setores e interfaces, questões sobre responsabilidade, segurança e integridade deixaram de ser teóricas. Eles são operacionais.

Essa lacuna entre recursos e credibilidade está no centro de uma crescente consideração ética dentro do mundo da IA. A ética é geralmente tratada como uma sobreposição, em vez de uma camada estrutural. No entanto, na IBM, algumas equipes estão tentando reverter esse padrão, incorporando restrições éticas diretamente no treinamento, marketing e implementação de sistemas.

PJ Hagerty, um veterano da comunidade de desenvolvedores com raízes em ferramentas de código aberto e evangelismo de produtos, é um dos indivíduos envolvidos neste trabalho. Como AI Advocacy Lead na IBM, seu trabalho é ajudar os desenvolvedores a usar a IA de forma mais eficaz e responsável. Na prática, no entanto, isso significa algo mais amplo: desafiar a propaganda, esclarecer limites e definir expectativas realistas. "Não estamos construindo mentes", ele me disse. "Estamos construindo ferramentas. Vamos agir como tal.”

A maior parte da atenção da IA hoje está voltada para a produção — o que um modelo gera, quão preciso ou convincente ele é, quão bem ele se comporta em relação aos benchmarks. Contudo, para Hagerty, a verdadeira tensão ética começa mais cedo, no nível do modelo de base. Essa é a infraestrutura bruta da IA moderna, a camada básica do aprendizado de máquina treinado com base em vastos conjuntos de dados extraídos da web. É o que alimenta grandes modelos de linguagem (LLMs) como ChatGPT e Claude.

"A base é onde isso acontece", disse Hagerty. “Essa é a primeira coisa que o sistema aprende, e se estiver cheio de lixo eletrônico, esse lixo não desaparece.”

Esses modelos de base são projetados para serem de uso geral. Isso é o que os torna poderosos e perigosos, disse Hagerty. Como não são construídos com tarefas ou restrições específicas em mente, eles tendem a absorver tudo, desde estruturas semânticas valiosas até lodo tóxico da internet. E uma vez treinados, os modelos são difíceis de auditar. Mesmo seus criadores muitas vezes não conseguem dizer com certeza o que um modelo sabe ou como ele responderá a um determinado prompt.

Hagerty comparou isso a despejar uma base de concreto defeituosa para um arranha-céu. Se a mistura estiver errada desde o início, você pode não ver as rachaduras imediatamente. Mas com o tempo, a estrutura se torna instável. Na IA, o equivalente é um comportamento frágil, viés não intencional ou uso indevido catastrófico após a implementação do sistema. Sem uma modelagem cuidadosa no início, um modelo carrega os riscos que absorveu durante o treinamento para todas as aplicações posteriores.

Ele não está sozinho nessa preocupação. Pesquisadores do Centro de Pesquisa em Modelos de Base (CRFM) de Stanford têm alertado repetidamente sobre os riscos emergentes do treinamento em larga escala, incluindo propagação de viés, alucinação de conhecimento, contaminação de dados e a dificuldade de identificar falhas. Esses problemas podem ser mitigados, mas não eliminados, o que torna as escolhas iniciais de design, como curadoria de dados, filtragem e governança, mais críticas.

Na opinião de Hagerty, uma das maiores barreiras éticas ao progresso significativo é a imprecisão do que as empresas querem dizer quando afirmam "IA". Pergunte a cinco equipes de produtos o que elas querem dizer com “impulsionado por IA” e provavelmente você obterá cinco respostas diferentes. Hagerty vê essa imprevisibilidade por definição como uma das principais falhas éticas da era atual.

"Na maioria das vezes, quando as pessoas falam de IA, elas se referem à automação. Ou uma árvore de decisão. Ou uma declaração if/else”, disse ele.

A falta de clareza em torno dos termos não é uma questão acadêmica. Quando as empresas apresentam o software determinístico como um raciocínio inteligente, os usuários tendem a confiar nele. Quando as startups apresentam ferramentas básicas de pesquisa e filtragem como modelos generativos, os investidores atolam dinheiro em miragens. Hagerty se refere a isso como “vazamento de hype” e o vê como uma fonte crescente de confusão e danos à reputação.

Em setores regulamentados, como finanças ou saúde, as consequências podem ser mais graves. Se um usuário for induzido a pensar que um sistema tem uma consciência mais profunda do que possui, ele poderá delegar decisões que deveriam ter permanecido humanas. A linha entre ferramenta e agente torna-se tênue e, com ela, a responsabilidade.

Esse problema também leva ao desperdício de esforço. Hagerty citou pesquisa recente sobre o uso indevido de LLMs para previsão de séries temporais, um método estatístico usado para prever valores futuros com base em dados históricos, uma tarefa em que os métodos clássicos continuam sendo mais precisos e eficientes. No entanto, algumas empresas continuam a usar LLMs de qualquer maneira, buscando novidades ou sinalizando inovação.

“Você está queimando GPUs para obter respostas ruins”, disse ele. “E pior, você está chamando isso de progresso.”

A questão ética não é apenas ineficiência. Trata-se de uma representação enganosa. As equipes criam produtos em torno de uma tecnologia que mal entendem, adicionam marketing que exagera seus recursos e os implementam para usuários que não têm como avaliar o que estão usando.

Grande parte da ansiedade do público em relação à IA concentrou-se na possibilidade de perda de empregos em massa. A IA substituirá advogados, professores, programadores e escritores? Hagerty vê essa pergunta como prematura e mal estruturada.

"A maioria dessas ferramentas não está substituindo as pessoas", disse ele. “Eles estão substituindo tarefas e apenas as realmente tediosas.”

Ele apontou assistentes de código como o Code Assistant watsonx e o GitHub Copilot, e ferramentas como o Cursor e o CodeWhisperer da Amazon. Esses sistemas não escrevem aplicações inteiras do zero. O que eles fazem é preencher blocos previsíveis de código, sugerir clichês e reduzir a sobrecarga de escrever lógica repetitiva. O ganho não é criatividade; é velocidade.

Hagerty acredita que este é um bem líquido. Os desenvolvedores júnior podem começar mais rápido. Os engenheiros seniores podem se concentrar na arquitetura em vez da sintaxe. A barreira de entrada é menor e a dificuldade de manutenção é reduzida. Mas ele alerta contra imaginar isso como um problema resolvido.

"Esses modelos são treinados na web aberta", disse ele. “E há muito lixo nesses conjuntos de dados, inclusive no meu.”

Esse lixo inclui código inseguro, práticas obsoletas e hacks específicos de contexto. Também inclui plágio, violações de licença e bugs fantasmas que podem ressurgir na produção gerada. Assim, embora um modelo possa poupar tempo, também corre o risco de reintroduzir os próprios problemas que deveria reduzir. O que é dimensionado não é qualidade; é aquilo a que o modelo foi exposto.

É aqui que Hagerty acredita que a avaliação humana continua essencial. A ferramenta pode ajudar, mas a responsabilidade ainda é do desenvolvedor.

Uma das falhas mais notórias da segurança da IA aconteceu há quase uma década, quando o chatbot Tay foi lançado no Twitter. Em poucas horas, ela foi sequestrado para publicar conteúdo ofensivo e teorias da conspiração. Seus criadores a retiraram do ar e emitiram um pedido de desculpas. Mas o episódio se tornou um símbolo duradouro do que acontece quando os desenvolvedores lançam sistemas sem proteções.

Atualmente, a maioria das empresas aprendeu a envolver seus modelos generativos em camadas de moderação. Filtros, classificadores, sanitizadores de prompt e ajuste de reforço podem ajudar, mas não são infalíveis. De acordo com Hagerty, essas medidas tendem a se concentrar em questões de nível superficial, como tom de linguagem ou palavrões, em vez de vulnerabilidades mais profundas, como injeção de prompt ou redirecionamento malicioso. Em vez disso, ele vê a segurança como uma questão de design mais ampla. “Esse modelo será usado indevidamente? Será que vai ser retirado do contexto? Serão as produções confiáveis quando não deveriam ser?" ele disse. “Se você não pensou nessas perguntas, ainda não terminou. Você não está pronto para a produção.”

Hagerty apontou o exemplo de ferramentas que manipulam ou geram mídia, como geradores de imagens, editores de vídeo e clones de voz. Esses sistemas não apenas produzem conteúdo, mas também alteram a percepção. Ele disse que quando os resultados são realistas o suficiente, eles começam a afetar a memória, o julgamento e a atribuição.

Nesses casos, a segurança não se trata de exatidão técnica, mas de consciência contextual. O que acontece com essa produção quando ela sai da sua interface? Quem vê isso? O que eles supõem?

Essas perguntas raramente têm uma única resposta. Mas ignorá-los completamente, disse Hagerty, é um erro.

Em ambientes tecnológicos em rápida evolução, a governança pode parecer um empecilho. Ele retarda as liberações. Isso aumenta a burocracia. Isso introduz ambiguidade. Mas para Hagerty, essa visão está errada.

“Você não enviaria um código não testado”, disse ele. "Por que você enviaria um modelo não auditado?"

Ele vê ferramentas como o watsonx.governance da IBM como uma infraestrutura necessária, não extras opcionais. Esses sistemas permitem que as equipes rastreiem dados de treinamento, monitorem mudanças no modelo e sinalizem desvios ao longo do tempo. Elas ajudam as organizações a cumprir as regulamentações emergentes, mas, mais importante, constroem memória institucional. Eles permitem que as equipes vejam o que fizeram, como fizeram e por quê.

Isso é importante não apenas para a conformidade, mas também para a qualidade. Se um modelo tiver um desempenho diferente no mês que vem, você precisará saber o que mudou. Se começar a alucinar na produção, você precisa de uma maneira de rastrear o problema de volta à fonte. A boa governança é o equivalente em IA do controle de versão.

E vai além dos modelos. Hagerty apontou para o crescente interesse em "machine unlearning," a capacidade de remover cirurgicamente dados ou comportamentos problemáticos sem retreinamento do zero. Essa abordagem, embora ainda seja precoce, reflete uma mudança mais ampla de mentalidade. O objetivo não é construir modelos mais inteligentes, mas construir modelos que possam se adaptar, corrigir e ser responsáveis.

Nada disso exige perfeição. Hagerty admite que o viés persistirá, a segurança falhará e as ferramentas serão mal utilizadas. Mas a diferença entre uma falha aceitável e um dano negligente se resume ao processo.

“Não faça promessas exageradas.” Não confie demais. Faça perguntas melhores logo no início”, disse ele.

Ele recomenda a construção de avaliações éticas em ciclos de planejamento, não apenas listas de verificação de lançamento. Usando ferramentas como o AI Fairness 360 da IBM e o Granite Guardian, bem como o ARX, para detectar problemas óbvios. Executar testes de red teaming para encontrar casos edge antes dos usuários. E, acima de tudo, construir sistemas que facilitem a correção do curso.

O trabalho, ele argumenta, não é sobre impedir danos. Trata-se de moldar o impacto.

"Você não construirá um sistema perfeito", disse ele. "Mas você pode construir um que falhe mais lentamente, que falhe de maneiras que você entende."

A ética, nessa visão, não é uma restrição, mas um princípio de design. É uma maneira de criar software melhor, sistemas mais previsíveis, expectativas mais claras e, em última análise, mais valor.

Ao ser perguntado sobre o que lhe dá esperança, Hagerty não falou sobre alinhamento, AGI ou framework de políticas. Ele falou sobre assistentes de código.

"Eles funcionam", disse ele. “Eles reduzem o atrito.” Eles não fingem fazer mais do que podem. Esse é o modelo a seguir.”

Ele quer que a IA seja entediante. Útil. Estreita. Honesta sobre o que faz e como funciona. Isso não significa limitar a ambição; significa esclarecê-la. Construir para confiabilidade em vez de surpresa. Projetar sistemas que se comportem bem não apenas em demonstrações, mas em implementações.

A IA não vai desaparecer. As ferramentas continuarão evoluindo, mas as expectativas também. E as equipes de sucesso, acredita Hagerty, serão as que combinam o poder técnico com a disciplina ética. Porque funciona.