Modelo de recursos de IA generativa

Os recursos empresariais, essenciais para alcançar metas estratégicas e requisitos operacionais, são descritos no modelo de capacidade da arquitetura da IA generativa. Ele inclui seis categorias principais, apresentando recursos exclusivos e de suporte necessários para uma implementação eficaz da IA generativa, com documentação abrangente disponível em outras arquiteturas.

• As operações de IA generativa são os recursos necessários para gerenciar, implementar e personalizar modelos de IA generativa para uso em uma empresa. Incluído nessa categoria estão os recursos para treinar e ajustar modelos, gerenciar o ciclo de vida dos modelos depois de implementados e gerenciar modelos e conjuntos de dados disponíveis para os usuários dentro da empresa.

• Desenvolvimento de aplicações de IA generativa são os recursos necessários para ajuste de modelos de base para uso em soluções empresariais e específicas de domínio, e para desenvolver aplicações de IA generativa de funcionalidade completa. Isso inclui os recursos necessários para criar e implementar aplicações de IA agêntica, além de testar e ajustar prompts.

• A governança de IA generativa é um pacote de recursos necessários para monitorar e gerenciar com eficiência modelos implementados em produção. Isso inclui recursos para monitorar as respostas precisas e apropriadas contínuas dos modelos, recursos para proteger os modelos contra entradas inadequadas e/ou maliciosas e recursos de governança para gerenciar riscos corporativos e ajudar nos requisitos de conformidade regulatória e de geração de relatórios.

• O gerenciamento de segurança da IA generativa concentra-se nos recursos necessários para proteger os sistemas de IA, garantindo sua implementação ética e responsável. Isso envolve a segurança de todo o stack de IA, protegendo tanto os modelos quanto seu uso, bem como os dados dos quais dependem.

Os grupos de recursos restantes são recursos de suporte para a IA generativa. Os recursos não são exclusivos da IA generativa, mas devem estar presentes para suportá-la como um recurso empresarial. Esses grupos são:

• Gerenciamento de dados é um grupo de recursos para armazenar, gerenciar e transformar dados em formulários que os tornam adequados para ajuste e treinamento de modelos de IA generativa. Também incluídos nessa categoria estão recursos para registrar e classificar as respostas do modelo para fins de auditoria e como entrada para ajuste e refinamento adicionais do modelo.
   

• Os recursos de suporte são um agrupamento abrangente de recursos de aplicações, integração e operações de TI necessários para implementar e gerenciar com sucesso soluções de IA generativa com uma empresa.
   

• Os recursos de IA generativa capturam os recursos de hardware e plataforma necessários para desenvolver, ajustar, implementar e gerenciar de forma eficiente e eficaz modelos e soluções de IA generativa.

Cada categoria de recursos é composta por um ou mais grupos de recursos. Esta seção destaca os grupos e recursos fundamentais para a IA generativa.

O grupo de recursos do Model Hub encapsula os recursos necessários para gerenciar modelos importados, bem como modelos ajustados ou treinados pela empresa. Esses recursos permitem que as empresas gerenciem os modelos e conjuntos de dados disponíveis para uso dentro da empresa e limitem o acesso a modelos e conjuntos de dados a usuários ou grupos específicos dentro da empresa. A importação de modelos e a importação de dados são recursos fundamentais para que as empresas reduzam a entrada de modelos do número crescente de repositórios de modelos públicos, como o Hugging Face.

Model Hosting O Model Hosting oferece recursos para implementar modelos gerais e ajustados como serviços habilitados por API dentro de uma empresa, otimizando a utilização de recursos, permitindo refinamento e substituição independentes e simplificando a governança. A chave para isso é o gerenciamento de políticas de acesso a modelos, garantindo que o acesso aos modelos seja restrito a usuários e grupos autorizados, evitando o uso não autorizado.

A personalização de modelos é um grupo de recursos que permitem que uma empresa ajuste e treine modelos de IA generativa para necessidades específicas de negócios. Normalmente, esse recurso será realizado usando uma plataforma de nuvem, pois o modelo pré-pago da nuvem é adequado à natureza "explosiva" do ajuste e do treinamento das demandas de recursos.

Modelo e gestão de dados é um conjunto crítico de recursos para que uma empresa use modelos de IA generativa em ampla escala. Especificamente, esses recursos fornecem às empresas os insights necessários para monitorar e gerenciar os riscos do modelo, como a introdução de viés nas respostas do modelo, e para ajudar a lidar com os requisitos regulatórios e de conformidade para transparência e justiça do modelo.

O monitoramento de modelos é o análogo operacional da governança de modelos; enquanto a governança de modelos lida com o gerenciamento de riscos e modelos de longo prazo, os recursos do monitoramento de modelos permitem que as empresas monitorem e gerenciem as operações dos modelos em tempo real. O monitoramento de modelos é composto por vários recursos principais, incluindo:

• Detecção de viés: a capacidade de detectar e sinalizar quando as respostas de um modelo se desviam das respostas estabelecidas/ideais e começam a favorecer um conjunto de resultados em detrimento de outro.

• A detecção de ódio, abuso e palavrões (HAP) é a capacidade de detectar e filtrar ódio, abuso e palavrões em ambos os prompt enviados pelos usuários e em respostas geradas pelo modelo. Esses são considerados recursos "base"; as empresas frequentemente optam por estender a lista de tópicos filtrados para incluir tópicos não apropriados à empresa, como por exemplo, temas sexualmente sugestivos em um escritório de empréstimos ou para acomodar as normas sociais de um público-alvo.

• O monitoramento e a segurança de prompts são um recurso emergente necessário para proteger os modelos implementados contra ataques, como a injeção de prompts, projetados para corromper o modelo ou para contornar os controles de modelos estabelecidos pela empresa.
  
  

O gerenciamento de conformidade da IA generativa é uma categoria de recursos relacionada à ativação dos controles necessários para “proteger o uso” da IA por meio do stack de aplicações e “proteger as aplicações por si só”. Aderir aos padrões éticos e diretrizes para garantir que os sistemas de IA respeitem os valores e direitos humanos.

• Conformidade de aplicativos de IA. O recurso para permitir a adesão de "aplicações" de IA às diretrizes, regulamentações e padrões estabelecidos. Fornecimento de recursos para habilitar controles como: gerenciamento e conformidade da postura de aplicativos de IA, realização de testes confiáveis do sistema de IA.

• A conformidade dos modelos de IA é o recurso que permite o gerenciamento e a adesão dos modelos de IA às diretrizes, regulamentações e normas estabelecidas. Ela permite controles fundamentais, como: rastreamento de desvios de modelos. Gerenciamento e conformidade da postura do modelo.

• Gerenciamento jurídico e de conformidade. Garantia de que uma organização se mantenha atualizada com o cenário regulatório (observação regulatória) e siga os requisitos legais, regras e padrões que regem o desenvolvimento, a implementação, o monitoramento e o uso da IA (por exemplo, observação regulatória e de conformidade em andamento)
   

Gerenciamento de segurança de aplicações de IA. Essa categoria de recursos trata de habilitar os controles necessários para “proteger o uso” da IA por meio do stack de aplicações e “proteger as próprias aplicações”. Aderir aos padrões éticos e diretrizes para garantir que os sistemas de IA respeitem os valores e direitos humanos.

• Gerenciamento e proteção contra ameaças de aplicativos de IA é a capacidade de identificar, avaliar e mitigar riscos e vulnerabilidades potenciais que possam impactar a segurança, funcionalidade ou confiabilidade de uma aplicação de IA, garantindo sua capacidade de se adaptar, recuperar e continuar funcionando de forma eficaz mesmo diante de eventos inesperados, falhas ou interrupções. Também para garantir a robustez, a segurança e a confiabilidade dos sistemas de IA durante todo o seu ciclo de vida.

• A segurança e proteção de interações com aplicativos de IA são mecanismos para garantir que as interações entre sistemas de IA e seus usuários, outros sistemas e o ambiente ocorram de maneira segura. (por exemplo, manipulação de entradas, restringir consultas excessivas, evitar resultados tóxicos)

• Segurança de aplicativos de IA. Os recursos e as práticas para garantir a operação segura e confiável dos sistemas de IA. Abrange estratégias para prevenir consequências não intencionais, erros e danos causados por aplicações de IA (por exemplo, documentar o esforço da IA confiável, avaliação da imparcialidade).
   

Gerenciamento de segurança de modelos de IA. Essa categoria de recursos trata de habilitar os controles necessários para "proteger o modelo" na camada, bem como proteger o uso de modelos. Implementar as melhores práticas para treinamento, validação e avaliação de modelos para melhorar o desempenho e a confiabilidade.

• Segurança e proteção de prompts é o recurso para garantir que os prompts de entrada fornecidos aos modelos de IA sejam seguros, não maliciosos e alinhados com o comportamento pretendido do modelo, e proteger o modelo contra acesso, adulteração ou ataques não autorizados. Da mesma forma, verificar se os prompts de resposta são seguros em termos de conteúdo que podem revelar inadvertidamente, como IIP (por exemplo, proteção contra injeção de prompts, prevenção de ataques de inferência/minimizar resposta a consultas, prevenir resultados tóxicos)

• A detecção de ameaças a modelos de IA é a capacidade de identificar e mitigar riscos potenciais ou vulnerabilidades que possam comprometer a integridade, a segurança ou o desempenho dos modelos de IA e a interação com esses modelos (por exemplo, testes de segurança de modelos, mitigação de vulnerabilidades de modelos)

• Gerenciamento de acesso a modelos de IA. Restringir o acesso a modelos de IA generativa, parâmetros de modelos, dados de treinamento e APIs para evitar possíveis usos indevidos e vetores de ataque. Esse recurso estabelece controles de acesso em torno de modelos expostos para uso corporativo, incluindo para aplicações de IA; proteger registros de modelo internos e limitar o acesso interno a modelos de produção. Esses controles de acesso devem incluir políticas contextuais que levem em consideração quem, o quê, quando e de onde.
   

Gerenciamento de segurança de dados de IA. Essa categoria de recursos permite controles para a camada de "proteção dos dados". Estabelecer diretrizes claras para coleta, armazenamento e uso de dados para garantir a qualidade de dados e mitigar o viés. Embora a segurança de dados não seja algo exclusivo da IA generativa, vamos nos concentrar apenas nas áreas em que a IA generativa exige atenção especial do ponto de vista dos dados.

• Privacidade e confidencialidade de dados é a capacidade de proteger informações confidenciais, garantindo que elas sejam tratadas adequadamente e permaneçam privadas e acessíveis apenas a sistemas e usuários autorizados (por exemplo, proteções de privacidade, segurança de dados confidenciais, confidencialidade de dados)
   

IA agêntica é um grupo de recursos necessários para criar e implementar aplicações de IA agêntica. Inclui recursos fundamentais, como roteamento e orquestração, e gerenciamento de ferramentas e chamada de ferramentas.

Ajuste da IA generativa é um grupo de recursos necessários para “personalizar” um modelo generativo geral de acordo com as necessidades de uma empresa. Os modelos são treinados em uma ampla base de conhecimento e não terão conhecimento de jargões e processos específicos do setor. Assim, a maioria das empresas precisará utilizar recursos como engenharia de prompts, ajuste de prompts e ajuste fino de modelos para criar um modelo que compreenda os termos e processos do negócio da empresa.

Os recursos de aplicações de IA generativa permitem que as empresas desenvolvam aplicações de IA generativa avançadas. Os recursos incluem a capacidade de gerar funções dinamicamente para responder às consultas do usuário; memória conversacional, que permite que aplicações de IA generativa retenham e façam referência a interações anteriores de maneira conversacional; e roteamento de modelos, que permite que as aplicações encaminhem consultas dinamicamente para um modelo mais adequado para responder.