Modelos de base na edge

Os modelos de base (FMs) estão marcando o início de uma nova era no aprendizado de máquina (ML) e na inteligência artificial (IA), o que está levando a um desenvolvimento mais rápido da IA, que pode ser adaptada a uma ampla gama de tarefas subsequentes e ajustada para uma variedade de aplicações.

Com a crescente importância do processamento de dados no local onde o trabalho está sendo realizado, o fornecimento de modelos de IA na ponta da empresa permite previsões quase em tempo real, respeitando os requisitos de soberania e privacidade dos dados. Ao combinar os recursos IBM® watsonx para FMs com edge computing, as empresas podem executar cargas de trabalho de IA para ajuste fino e inferência de FM na edge operacional. Isso permite que as empresas escalem a implementação de IA na edge, reduzindo o tempo e o custo de implementação com tempos de resposta mais rápidos.

Não deixe de conferir todas as partes nesta série de posts dr blogd sobre edge computing:

• Parte 1: "Nuvem no edge"
• Parte 2: "Arquitetura no edge"
• Parte 3: "DevOps no edge"
• Parte 4: "Segurança no edge"
• Parte 5: "5G no edge"
• Parte 6: "Clusters no edge"
• Parte 7: "Automação no edge"
• Parte 8: "Fatiamento de rede no edge"
• Parte 9: "Dados no edge"
• Parte 10: "Decisões arquitetônicas no edge"
• Parte 11: "GitOps no edge"
• Parte 12: "Serviços de armazenamento no edge"
• Parte 13: "Serviços em nuvem no edge"
• Parte 14: "Soberania de dados no edge"
• Parte 15: "Produtos conectados no edge"
• Parte 16: "Modelos de base no edge"

Os modelos de base (FMs), que são treinados em um amplo conjunto de dados não rotulados em escala, estão impulsionando as aplicações de inteligência artificial (IA) de última geração. Eles podem ser adaptados a uma ampla gama de tarefas subsequentes e ajustados para diversas aplicações. Os modelos modernos de IA, que executam tarefas específicas em um único domínio, estão dando lugar aos FMs porque são mais gerais e funcionam em diversos domínios e problemas. Como o nome sugere, um modelo de base pode ser a base para muitas aplicações do modelo de IA.

Os FM lidam com dois desafios fundamentais que têm impedido as empresas de escalar a adoção da IA. Em primeiro lugar, as empresas produzem uma enorme quantidade de dados não rotulados, dos quais apenas uma fração é rotulada para o treinamento de modelos de IA. Em segundo lugar, essa tarefa de rotulagem e anotação exige muita mão de obra humana, frequentemente demandando centenas de horas do tempo de um especialista no assunto. Isso torna o escalonamento em todos os casos de uso proibitivo em termos de custos, uma vez que exigiria um grande número de especialistas no assunto e especialistas em dados. Ao absorver grandes quantidades de dados não rotulados e usar técnicas de autoaprendizagem para o treinamento de modelos, os FMs eliminaram esses gargalos e abriram caminho para a adoção em larga escala da IA em toda a empresa. Essas enormes quantidades de dados que existem em todas as empresas estão esperando para serem exploradas e gerar insights.

Os grandes modelos de linguagem (LLMs) são uma classe de modelos de base (FM) que consistem em camadas de redes neurais treinadas com grandes quantidades de dados não rotulados. Eles usam algoritmos de aprendizado autossupervisionado para executar uma variedade de tarefas de processamento de linguagem natural (NLP) de maneiras semelhantes à forma como os humanos usam a linguagem (ver a Figura 1).

Existem várias etapas para construir e implementar um modelo de base (FM). Essas etapas incluem a ingestão de dados, seleção de dados, pré-processamento de dados, pré-treinamento de FM, ajuste de modelos para uma ou mais tarefas subsequentes, disponibilização de inferência e governança e gerenciamento do ciclo de vida dos dados e modelos de IA – tudo isso pode ser descrito como FMOps.

Para ajudar em tudo isso, a IBM está oferecendo às empresas as ferramentas e os recursos necessários para aproveitar o poder desses FMs por meio do portfólio do IBM watsonx de produtos de IA, projetados para multiplicar o impacto da IA em toda a empresa. O IBM watsonx consiste no seguinte:

1. IBM® watsonx.ai traz novos recursos de IA generativa, alimentados por FMs e aprendizado de máquina (ML) tradicional, em um estúdio poderoso que abrange o ciclo de vida da IA.
2. O IBM® watsonx.data é um armazenamento de dados adequado à finalidade, construído em uma arquitetura open lakehouse para escalar as cargas de trabalho de IA de todos os seus dados, em qualquer lugar.
3. O IBM® watsonx.governance é um toolkit de governança de ciclo de vida de IA automatizado e completo, desenvolvido para permitir um fluxo de trabalho de IA responsável, transparente e explicável.

Outro vetor fundamental é a crescente importância da computação na edge empresarial, como em locais industriais, linhas de produção, lojas de varejo, locais de edge de telecomunicação, etc. Mais especificamente, a IA no edge da empresa permite o processamento de dados onde o trabalho está sendo realizado, para análises quase em tempo real. O edge empresarial é onde grandes quantidades de dados corporativos são geradas e onde a IA pode fornecer insights de negócios valiosos, oportunos e práticos.

A utilização de modelos de IA no edge permite previsões quase em tempo real, respeitando os requisitos de soberania e privacidade dos dados. Isso reduz significativamente a latência frequentemente associada à aquisição, transmissão, transformação e processamento dos dados de inspeção. Trabalhar no edge nos permite proteger dados empresariais sensíveis e reduzir os custos de transferência dos dados com tempos de resposta mais rápidos.

Escalar a implementação da IA no edge, no entanto, não é uma tarefa fácil em meio aos desafios relacionados a dados (heterogeneidade, volume e regulamentação) e recursos limitados (computação, conectividade de rede, armazenamento e até mesmo habilidades de TI). Essas questões podem ser amplamente descritas em duas categorias:

• Tempo/custo de implementação: cada implementação consiste em diversas camadas de hardware e software que precisam ser instaladas, configuradas e testadas antes da implementação. Hoje em dia, um profissional de serviços pode levar até uma ou duas semanas para realizar a instalação em cada local, limitando severamente a rapidez e a relação custo-benefício com que as empresas podem expandir a implementação em toda a sua organização.
• Gerenciamento contínuo: o grande número de edges implementados e a localização geográfica de cada implementação podem, muitas vezes, tornar proibitivamente caro fornecer suporte de TI local em cada ponto para monitorar, manter e atualizar essas implementações.

A IBM desenvolveu uma arquitetura de edge que lida com esses desafios, trazendo um modelo de dispositivo integrado de hardware/software (HW/SW) para as implementações de IA de edge. Ela consiste em vários paradigmas importantes que auxiliam na escalabilidade das implementações de IA:

• Provisionamento automatizado e baseado em políticas de todo o stack de software.
• Monitoramento contínuo da integridade do sistema de edge
• Recursos para gerenciar e distribuir atualizações de software/segurança/configuração para inúmeros locais de edge – tudo a partir de uma localização central baseada em nuvem para o gerenciamento contínuo.

Para escalar as implementações da IA corporativa na edge, é possível adotar uma arquitetura distribuída em modelo hub-and-spoke, em que a nuvem central ou o data center da empresa atua como hub, enquanto o dispositivo edge-in-a-box funciona como spoke em cada ponto de edge.Este modelo de hub-and-spoke, que se estende por ambientes híbridos de nuvem e edge, ilustra melhor o equilíbrio necessário para utilizar de forma otimizada os recursos necessários para as operações de FM (ver a Figura 2).

O pré-treinamento desses grandes modelos de linguagem (LLMs) de base e de outros tipos de modelos de base usando técnicas de autossupervisão em um vasto conjunto de dados não rotulados geralmente requer recursos computacionais (GPU) significativos e é melhor realizado em um hub. Os recursos computacionais praticamente ilimitados e os grandes volumes de dados frequentemente armazenados na nuvem permitem o pré-treinamento de modelos com muitos parâmetros e a melhoria contínua da precisão desses modelos de base.

Por outro lado, o ajuste desses FMs básicos para tarefas subsequentes – que exigem apenas algumas dezenas ou centenas de amostras de dados rotuladas e inferência – pode ser realizado com apenas algumas GPUs no edge da rede corporativa. Isso permite que os dados rotulados confidenciais (ou os dados mais valiosos da empresa) permaneçam com segurança no ambiente operacional da empresa, reduzindo os custos de transferência de dados.

Usando uma abordagem full stack para implementar aplicações no edge, um cientista de dados pode realizar ajustes finos, testes e implementação nos modelos. Isso pode ser feito em um único ambiente, reduzindo o ciclo de desenvolvimento para disponibilizar novos modelos de IA aos usuários finais. Plataformas como a Red Hat OpenShift Data Science (RHODS) e o recém-anunciado Red Hat OpenShift AI fornecem ferramentas para desenvolver e implementar rapidamente modelos de IA prontos para produção em ambientes distribuídos na nuvem e em edge.

Por fim, disponibilizar os modelos de IA refinados no edge da empresa reduz significativamente a latência frequentemente associada à aquisição, transmissão, transformação e processamento de dados. A dissociação do pré-treinamento na nuvem do ajuste fino e da inferência no edge reduz o custo operacional geral, reduzindo o tempo necessário e os custos de migração de dados associados a qualquer tarefa de inferência (veja a Figura 3).

Para demonstrar essa proposta de valor de ponta a ponta, um modelo de base exemplar baseado em transformador de visão para infraestrutura civil (pré-treinado usando conjuntos de dados públicos e personalizados específicos para o setor) foi ajustado e implementado para inferência em um cluster de edge (spoke) de três nós. O stack de software incluiu o Red Hat OpenShift Container Platform e o Red Hat OpenShift Data Science. Esse cluster de edge também estava conectado a uma instância do hub Red Hat Advanced Cluster Management for Kubernetes (RHACM) em execução na nuvem.

O provisionamento automatizado e baseado em políticas foi realizado no Red Hat Advanced Cluster Management for Kubernetes (RHACM) por meio de políticas e tags de posicionamento, que vinculam um cluster de edge específico a um conjunto de componentes de software e configurações. Esses componentes de software – que se estendem por todo o stack e abrangem computação, armazenamento, rede e a carga de trabalho da IA – foram instalados usando vários operadores OpenShift, provisionamento dos serviços de aplicação necessários e S3 Bucket (armazenamento).

O modelo de base pré-treinado para infraestrutura civil foi ajustado por meio de um Jupyter Notebook no Red Hat OpenShift Data Science (RHODS), utilizando dados rotulados para classificar seis tipos de defeitos encontrados em pontes de concreto. A inferência desse FM ajustado também foi demonstrada usando um servidor Triton. Além disso, o monitoramento da integridade desse sistema de edge foi possibilitado pela agregação das métricas de observabilidade dos componentes de hardware e software por meio do Prometheus ao dashboard central do RHACM na nuvem. As empresas de infraestrutura civil podem implementar esses modelos de base em seus locais de edge e usar imagens de drones para detectar defeitos quase em tempo real, acelerando o tempo de insight e reduzindo o custo de migração de grandes volumes de dados de alta definição para e da nuvem.

A combinação dos recursos IBM watsonx para modelos de base (FMs) com um dispositivo edge-in-a-box permite que as empresas executem as cargas de trabalho de IA para ajuste fino e inferência de FM no edge operacional. Este dispositivo consegue lidar com casos de uso complexos sem necessidade de adaptações e cria um framework centralizado para gerenciamento, automação e autoatendimento. As implementações de FM de edge podem ser reduzidas de semanas para horas com sucesso repetível, maior resiliência e segurança.

Não deixe de conferir todas as partes nesta série de posts dr blogd sobre edge computing:

• Parte 1: "Nuvem no edge"
• Parte 2: "Arquitetura no edge"
• Parte 3: "DevOps no edge"
• Parte 4: "Segurança no edge"
• Parte 5: "5G no edge"
• Parte 6: "Clusters no edge"
• Parte 7: "Automação no edge"
• Parte 8: "Fatiamento de rede no edge"
• Parte 9: "Dados no edge"
• Parte 10: "Decisões arquitetônicas no edge"
• Parte 11: "GitOps no edge"
• Parte 12: "Serviços de armazenamento no edge"
• Parte 13: "Serviços de nuvem no edge"
• Parte 14: "Soberania de dados no edge"
• Parte 15: "Produtos conectados no edge"
• Parte 16: "Modelos de base no edge"