Risco de ataque de inferência de associação para IA
Descrição
Um ataque de inferência de associação consulta repetidamente um modelo para determinar se uma determinada entrada fez parte do treinamento do modelo. Mais especificamente, com um modelo treinado e uma amostra de dados, um invasor faz uma amostragem adequada do espaço de entrada, observando as saídas para deduzir se essa amostra fazia parte do treinamento do modelo.
Por que o ataque de inferência de associação é uma preocupação para modelos de fundação?
Identificar se uma amostra de dados foi usada para dados de treinamento pode revelar quais dados foram usados para treinar um modelo, possivelmente dando aos concorrentes uma visão de como um modelo foi treinado e a oportunidade de replicar o modelo ou adulterá-lo. Os modelos que incluem dados disponíveis publicamente correm um risco maior de sofrer esses ataques.
Tópico principal: Atlas de risco de IA
Nós fornecemos exemplos cobertos pela imprensa para ajudar a explicar muitos dos riscos dos modelos de fundação. Muitos desses eventos cobertos pela imprensa ainda estão evoluindo ou já foram resolvidos, e fazer referência a eles pode ajudar o leitor a entender os possíveis riscos e a trabalhar para mitigá-los. O destaque desses exemplos é apenas para fins ilustrativos.