O que é IA de código aberto?

Essas liberdades se alinham com a definição de IA de código aberto estabelecida pela Iniciativa de Código Aberto (OSI), que é considerada globalmente como a guardiã dos princípios e políticas de código aberto.¹

O surgimento da IA generativa ajudou a catalisar a era da IA de código aberto. De acordo com relatório da Economist Impact, dois terços dos grandes modelos de linguagem (LLMs)—uma categoria de modelos de base comumente usados para criar aplicações generativas de IA como chatbot e assistentes de programação — lançados em 2023 eram de código aberto.²

Para que um software seja considerado de código aberto, qualquer pessoa deve poder usar, estudar, modificar e redistribuir seu código-fonte como achar melhor e, geralmente, sem nenhum custo. No entanto, o escopo da IA de código aberto é muito mais amplo do que o do software de código aberto.

Os sistemas de IA abrangem não apenas os modelos de IA em si, mas também os conjuntos de dados usados durante o treinamento, os pesos e parâmetros do modelo e o código-fonte. Esse código-fonte inclui código para filtragem e processamento de dados de treinamento, código para treinamento e teste de modelos, quaisquer bibliotecas de suporte e o código de inferência para execução do modelo. Todos esses componentes devem aderir e ser disponibilizados sob termos de IA de código aberto.

A definição de IA de código aberto da OSI permite a exclusão de dados de treinamento não públicos não compartilháveis, como informações de identificação pessoal (PII). ³ Para esse tipo de dados, deve ser fornecida uma descrição detalhada que inclua sua origem, características e escopo, como os dados foram coletados e selecionados, quaisquer procedimentos de rotulagem e métodos de processamento de dados.⁴

Os pesos são os parâmetros centrais dos modelos pré-treinados. Eles são aprendidos durante o treinamento e determinam como um modelo interpreta novos dados e faz previsões.

Os pesos abertos são compartilhados publicamente e geralmente estão disponíveis sob licenças de código aberto, permitindo vislumbrar o estado final de um modelo deep learning. Embora representem um avanço gradual em direção à transparência na IA, os pesos abertos ainda não oferecem a imagem completa que a IA de código aberto oferece. Sem os dados ou código de treinamento, outras pessoas não podem examinar ou recriar o processo de treinamento.

De acordo com um estudo recente da IBM, mais de 80% dos tomadores de decisões de TI entrevistados relataram que pelo menos um quarto das plataformas ou soluções de IA de sua empresa são baseados em código aberto. Além disso, as empresas que utilizam ecossistemas de código aberto têm maior probabilidade de alcançar um ROI positivo do que aquelas que não utilizam.

Além de impulsionar o ROI, a IA de código aberto oferece estas vantagens importantes:

    ● Acessibilidade

    • Inovação colaborativa

    • Eficiência de custos

    ● Personalização

    ● Transparência

A IA de código aberto rompe barreiras de entrada, especialmente para aqueles que são novos na área. Também fornece acesso a organizações que não podem investir recursos financeiros significativos no desenvolvimento de IA, como pequenas empresas ou empresas sem conhecimento especializado.

A comunidade está no cerne do código aberto, com desenvolvedores de IA, pesquisadores, organizações e outros stakeholders trabalhando juntos para melhorar continuamente as tecnologias de IA. Esse esforço coletivo leva ao aprendizado e ao compartilhamento, abrindo oportunidades para construir sobre o trabalho de outros e estimulando a inovação.

Os modelos de IA de código aberto geralmente são gratuitos. Isso permite que as empresas economizem nos custos iniciais de desenvolvimento e treinamento de seus próprios modelos ou de aquisição de fornecedores de código fechado com altos preços de assinatura ou taxas de licenciamento.

As organizações podem alterar os sistemas de IA de código aberto como desejarem, dando-lhes maior controle. Elas podem adaptar esses sistemas às suas necessidades e casos de uso específicos, ajustando modelos de IA de código aberto em seus próprios dados comerciais e otimizando esses modelos para tarefas específicas.

A natureza aberta da IA de código aberto promove a transparência na IA. Saber como um sistema de IA foi desenvolvido e treinado e como ele toma decisões ajuda a incutir confiança e confiança, principalmente em setores onde os resultados da IA podem afetar vidas, como saúde, recursos humanos e sistema de justiça.

Essa transparência também facilita a identificar erros, viés e falhas de segurança para que os desenvolvedores de IA possam lidar com eles rapidamente. Além disso, a visibilidade do funcionamento interno da IA de código aberto permite uma melhor auditabilidade pelos formuladores de políticas em setores como governo e finanças, onde a conformidade regulatória é fundamental.

Apesar de seus muitos benefícios, a IA de código aberto tem limitações. Aqui estão alguns desafios associados à IA de código aberto:

    ● A falta de suporte dedicado ou oportuno

    ● Possibilidade de uso indevido

    ● Vulnerabilidades de segurança

Ao contrário dos modelos proprietários, os modelos de IA de código aberto geralmente não têm tempos de resposta definidos para problemas urgentes, uma equipe de suporte dedicada para ajudar a resolver problemas ou cronogramas consistentes para o lançamento de correções ou atualizações de segurança. As empresas devem assumir a responsabilidade de monitorar suas aplicações de IA e criar seus próprios procedimentos de suporte.

Como qualquer pessoa pode usar IA de código aberto para quaisquer objetivos, ela tem o potencial de ser empregada para fins maliciosos. Os agentes da ameaça podem aplicar a IA de código aberto para automatizar ataques cibernéticos, gerar deepfakes ou espalhar desinformação e informação falsa.

Embora a IA de código aberto seja transparente, sua visibilidade expõe vulnerabilidades de segurança que agentes mal-intencionados podem realizar uma exploração. Novamente, a responsabilidade recai sobre as organizações de estabelecer limites em torno de suas soluções de IA de código aberto.

Existem inúmeros modelos de IA de código aberto, a maioria dos quais pode ser acessado no Hugging Face ou através de seus repositórios no GitHub. Aqui estão alguns dos mais populares:

    ● Amber

    ● Crystal

    ● DeepSeek-R1

    ● Falcon-7B e Falcon-40B

    ● Granite

    ● OLMo

    ● Pythia

    ● Qwen

    ● T5

Amber é um modelo em inglês de 7 bilhões de parâmetros desenvolvido pela LLM360, uma iniciativa para a IA de propriedade da comunidade por meio de pesquisa e desenvolvimento de grandes modelos de código aberto. O Amber é baseado na arquitetura Llama da Meta e está disponível sob a licença Apache 2.0. De acordo com a OSI, o Amber está em conformidade com a definição de IA de código aberto da OSI.¹

Crystal é outro modelo de linguagem grande do LLM360 com um tamanho de parâmetro de 7 bilhões. Ele foi lançado sob a licença Apache 2.0 e é excelente para equilibrar tarefas de codificação e processamento de linguagem natural (NLP). De acordo com a OSI, o Crystal está em conformidade com a definição de IA de código aberto da OSI.¹

DeepSeek-R1 é um modelo de raciocínio da startup chinesa de IA DeepSeek. Utiliza uma arquitetura de aprendizado de máquina Mixture of Experts (MoE) e foi treinada usando aprendizado por reforço em larga escala para refinar suas habilidades de raciocínio. Está disponível sob a licença MIT.

Falcon-7B e Falcon-40B são modelos causais compostos exclusivamente por decodificadores, com 7 e 40 bilhões de parâmetros, respectivamente. Desenvolvidos por pesquisadores do Instituto de Tecnologia Inovação (TII) dos Emirados Árabes Unidos, ambos os modelos foram treinados na plataforma RefinedWeb do próprio TII. , um enorme conjunto de dados contendo dados filtrados da web em inglês. O Falcon-7B e o Falcon-40B estão disponíveis sob a licença Apache 2.0.

IBM Granite é uma série de modelos de IA multimodais prontos para uso empresarial. Eles são construídos com base em conjunto de dados de instrução de código aberto com licenças permissivas, além de conjunto de dados sintético de seleção interna. Os modelos estão disponíveis sob a licença Apache 2.0.

Os modelos de base granite consistem em pequenos modelos de linguagem com recursos de raciocínio projetados para fluxo de trabalho agentivo, um modelo de visão especializado em tarefas visuais para compreensão de documentos e imagens, modelos de fala para reconhecimento e tradução automática de fala e modelos de código para tarefas de geração de código.

OLMo é uma família de modelos de linguagem do Ai2, um instituto de pesquisa de IA sem fins lucrativos. Os modelos vêm com tamanhos de parâmetros de 1, 7, 13 e 32 bilhões. Os modelos, código de treinamento, pacote de avaliação para reproduzir os resultados do OLMo e dados de treinamento usados em cada fase — incluindo pré-treinamento, meio-treinamento e pós-treinamento — estão todos disponíveis gratuitamente sob a licença Apache 2.0. De acordo com a OSI, o OLMo está em conformidade com a definição de IA de código aberto da OSI.¹

Desenvolvido pelo laboratório de pesquisa sem fins lucrativos EleutherAI, o Pythia é um pacote de LLMs que variam em tamanho de 14 milhões a 12 bilhões de parâmetros e lançado sob a licença Apache 2.0. Todos os dados, códigos, modelos e pontos de verificação associados estão disponíveis publicamente, juntamente com instruções para replicar o treinamento, com o objetivo de promover a interpretabilidade da IA, a ética da IA e a transparência da IA. De acordo com a OSI, o Pythia está em conformidade com a definição de IA de código aberto da OSI.¹

Qwen é uma série de LLMs da empresa chinesa de computação em nuvem Alibaba Cloud. Qwen inclui modelos de linguagem, um modelo de linguagem visual e variantes otimizadas para áudio, programação e matemática. A maioria dos modelos Qwen está disponível sob a licença Apache 2.0, embora modelos maiores tenham licenças proprietárias.

O T5 é um modelo de transformador de transferência de texto para texto desenvolvido por pesquisadores do Google. Ele se destaca em uma ampla gama de tarefas de NLP e é lançado sob a licença Apache 2.0. De acordo com a OSI, o T5 está em conformidade com a definição de IA de código aberto da OSI.¹

A OSI também analisou o Llama 2 da Meta, o Phi-2 da Microsoft, o Mixtral da Mistral e o Grok da xAI e concluiu que esses modelos não se enquadram na definição de IA de código aberto da OSI "porque não têm os componentes necessários e/ou seus acordos legais são incompatíveis". com os princípios de código aberto.”¹

Trabalhar em projetos de IA de código aberto pode ser esmagador. Aqui estão algumas ferramentas de IA de código aberto bem conhecidas que podem ajudar:

    ● Keras

    ● OpenCV

    ● PyTorch

    ● Scikit-learn

    ● TensorFlow

Keras é uma interface de programação de aplicativos (API) escrita em Python para construir, treinar e avaliar modelos de aprendizado profundo. É compatível e pode ser executado sobre frameworks JAX, PyTorch ou TensorFlow.

OpenCV é uma biblioteca Computer Vision de código aberto, mantida pela Open Source Vision Foundation. Ele abriga mais de 2.500 algoritmos otimizados para aplicação de visão em tempo real, incluindo reconhecimento de imagens, classificação de imagens, detecção e rastreamento de objetos.

PyTorch é um framework originalmente desenvolvido pela Meta e agora faz parte da Linux Foundation. Ele suporta redes neurais dinâmicas e aceleração GPU , integra dificuldades com bibliotecas e pacotes Python , oferece uma interface intuitiva e tem sobrecarga mínima framework .

Scikit-learn é um módulo Python para aprendizado de máquina. Ele conta com algoritmos para classificação, cluster e regressão, entre outros, e oferece ferramentas para processamento de dados, seleção e avaliação de modelos, além de criação de visualizações.

TensorFlow é uma plataforma para criar e implementar modelos de aprendizado de máquina. Criado pelo Google, o TensorFlow contém uma biblioteca de datasets e modelos, APIs para diferentes linguagens de programação e ferramentas para otimizar os workflows de aprendizado de máquina. Ela também possui uma comunidade robusta de código aberto e ajuda as pessoas a desenvolver sua expertise em aprendizado de máquina por meio de livros, currículos selecionados e cursos on-line.