Os sistemas de IA são considerados de alto risco de acordo com a Lei de IA da UE se forem um produto ou componente de segurança de um produto, regulamentado pela legislação específica da UE referenciada pela lei, como leis sobre segurança de brinquedos e dispositivos médicos para diagnóstico in vitro.
A lei também lista usos específicos geralmente considerados de alto risco, incluindo sistemas de IA usados:
- em contexto de emprego, como sistemas usados para recrutar candidatos, avaliar postulantes e tomar decisões de promoção
- em determinados dispositivos médicos
- em certos contextos de educação e treinamento profissional
- no processo judicial e democrático, como sistemas que se destinam a influenciar o resultado das eleições
- para determinar o acesso a serviços públicos ou privados essenciais, incluindo sistemas que avaliam o direito a benefícios públicos e avaliam as pontuações de crédito.
- em gerenciamento de infraestrutura crítica (por exemplo, abastecimento de água, gás e eletricidade, entre outros)
- em qualquer sistema de identificação biométrica que não esteja proibido, exceto para sistemas cujo único propósito é verificar a identidade de uma pessoa (por exemplo, utilizar um leitor de impressão digital para conceder a alguém acesso a um aplicativo bancário).
Para os sistemas incluídos nesta lista, pode haver uma exceção disponível se o sistema de IA não representar uma ameaça considerável à integridade, à segurança ou aos direitos dos indivíduos. A lei especifica critérios, dos quais um ou mais devem ser atendidos, antes que uma exceção possa ser acionada (por exemplo, quando o sistema de IA tem como objetivo executar uma tarefa processual restrita). Se basear-se nessa exceção, o provedor deverá documentar sua avaliação de que o sistema não é de alto risco e os reguladores podem solicitar para ver essa avaliação. A exceção não está disponível para sistemas de IA que processam automaticamente dados pessoais para avaliar ou prever algum aspecto da vida de uma pessoa, como suas preferências de produto (criação de perfis) que sempre são considerados de alto risco.
Assim como na lista de práticas proibidas de IA, a Comissão da UE poderá atualizar a lista de sistemas de IA de alto risco no futuro.