Cos'è l'AI open source?

Queste libertà sono in linea con la definizione di AI open-source stabilita dall'Open Source Initiative (OSI), considerata a livello globale la custode dei principi e delle politiche open-source.¹

L'ascesa dell'AI generativa ha contribuito a catalizzare l'era dell'AI open-source. Secondo un report di Economist Impact, due terzi dei modelli linguistici di grandi dimensioni (LLM) rilasciati nel 2023, una categoria di foundation model comunemente usati per creare applicazioni di gen AI come chatbot e assistenti di codifica, erano open source.²

Affinché un software sia considerato open source, chiunque deve poter utilizzare, studiare, modificare e ridistribuire il suo codice sorgente come ritiene opportuno e solitamente senza alcun costo. Tuttavia, il campo di applicazione dell'AI open-source è molto più ampio rispetto al software open-source.

I sistemi di AI comprendono non solo i modelli AI stessi, ma anche i set di dati utilizzati durante l'addestramento, i pesi e i parametri del modello e il codice sorgente. Questo codice sorgente include il codice per il filtraggio e l'elaborazione dei dati di addestramento, il codice per l'addestramento e il test dei modelli, eventuali librerie di supporto e il codice di inferenza per l'esecuzione del modello. Tutti questi componenti devono rispettare ed essere resi disponibili secondo i termini dell'AI open-source.

La definizione open source dell'OSI sull'AI consente l'esclusione di dati di addestramento non pubblici non condivisibili, come le informazioni di identificazione personale (PII). ³ Per questo tipo di dati, deve essere fornita una descrizione dettagliata, inclusa la provenienza, le caratteristiche e l'ambito, come i dati sono stati raccolti e selezionati, eventuali procedure di etichettatura e metodi di trattamento dei dati.⁴

I pesi sono i parametri centrali dei modelli pre-addestrati. Vengono appresi durante l'addestramento e determinano il modo in cui un modello interpreta i nuovi dati e fa previsioni.

I pesi aperti sono condivisi pubblicamente e in genere disponibili con licenze open source, offrendo uno sguardo allo stato finale di un modello di deep learning . E sebbene rappresentino un progresso graduale verso la trasparenza nell'AI, i pesi aperti non offrono ancora il quadro completo che offre l'AI open source. Senza i dati o il codice di addestramento, gli altri non possono esaminare o ricreare il processo di addestramento.

Secondo uno studio recente di IBM, oltre l'80% dei decisori IT intervistati ha dichiarato che almeno un quarto delle piattaforme o soluzioni AI della propria azienda si basa su open source. E le imprese che sfruttano ecosistemi open-source hanno maggiori probabilità di ottenere un ROI positivo rispetto a quelle che non lo fanno.

Oltre a generare il ritorno sul investimento, l'AI open-source offre questi vantaggi chiave:

    ● Accessibilità

    ● Innovazione collaborativa

    ● Efficienza dei costi

    ● Personalizzazione

    ● Trasparenza

L'AI open-source abbatte le barriere di ingresso, soprattutto per chi è nuovo nel settore. Fornisce inoltre accesso a organizzazioni che non sono in grado di investire risorse finanziarie significative nello sviluppo dell'AI, come le piccole imprese o quelle senza competenze specializzate.

La comunità è al centro dell'open source, con sviluppatori di AI, ricercatori, organizzazioni e altri stakeholder che lavorano insieme per migliorare continuamente le tecnologie di AI. Questo sforzo collettivo porta all'apprendimento e alla condivisione, aprendo opportunità per costruire sul lavoro degli altri e stimolando l'innovazione.

I modelli di AI open-source sono generalmente gratuiti da utilizzare. Ciò consente alle aziende di risparmiare sui costi iniziali di sviluppo e formazione dei propri modelli o di acquistarli da provider closed-source con elevati prezzi di abbonamento o costi di licenza.

Le organizzazioni possono modificare i sistemi AI open source secondo le proprie esigenze, ottenendo così un maggiore controllo. Possono adattare questi sistemi alle loro esigenze e casi d'uso specifici, perfezionando i modelli AI open-source sui propri dati aziendali e ottimizzando questi modelli per compiti specifici.

La natura aperta dell'AI open-source coltiva la trasparenza dell'AI. Conoscere come è stato costruito e addestrato un sistema di AI e come prende decisioni aiuta a infondere fiducia e fiducia, specialmente per settori in cui i risultati dell'IA possono influenzare vite, come la sanità, le risorse umane e il sistema giudiziario.

Questa trasparenza rende anche più facile individuare bug, individuare i bias e rilevare vulnerabilità di sicurezza che gli sviluppatori di AI devono affrontare rapidamente. Inoltre, la visibilità nel funzionamento interno dell'AI open source consente una migliore auditabilità da parte dei responsabili politici in settori come il governo e la finanza, dove la conformità normativa è fondamentale.

Nonostante i suoi numerosi vantaggi, l'AI open-source presenta dei limiti. Ecco alcune sfide associate all'AI open source:

    ● Mancanza di supporto dedicato o tempestivo

    ● Possibilità di uso improprio

    ● Vulnerabilità di sicurezza

A differenza dei modelli proprietari, i modelli AI open source spesso non dispongono di tempi di risposta fissi per problemi urgenti, un team di supporto dedicato per aiutare a risolvere i problemi o tempistiche coerenti per il rilascio di patch di sicurezza o aggiornamenti. Le imprese devono assumersi la responsabilità di monitorare le proprie applicazioni di AI e creare le proprie procedure di supporto.

Poiché chiunque può utilizzare l'AI open source per qualsiasi scopo, può essere utilizzata per scopi dannosi. Gli attori delle minacce possono applicare l'AI open-source per automatizzare gli attacchi informatici, generare deepfakes o diffondere disinformazione e misinformazione.

Sebbene l'AI open source sia trasparente, la sua visibilità espone vulnerabilità di sicurezza che i malintenzionati possono utilizzare. Ancora una volta, la responsabilità ricade sulle organizzazioni di stabilire barriere attorno alle loro soluzioni AI open source.

Esistono numerosi modelli AI open-source , la maggior parte dei quali può essere accessibile su Hugging Face o tramite i loro repository GitHub. Ecco alcuni dei più diffusi:

    ● Amber

    ● Crystal

    ● DeepSeek-R1

    ● Falcon-7B e Falcon-40B

    ● Granite

    ● OLMo

    ● Pythia

    ● Qwen

    ● T5

Amber è un modello in lingua inglese da 7 miliardi di parametri sviluppato da LLM360, un'iniziativa per l'AI di proprietà comunitaria attraverso la ricerca e lo sviluppo open source di grandi modelli. Amber si basa sull'architettura Llama di Meta ed è disponibile sotto licenza Apache 2.0. Secondo l'OSI, Amber è conforme alla definizione di AI open-source dell'OSI.¹

Crystal è un altro modello linguistico di grandi dimensioni di LLM360 con una dimensione dei parametri pari a 7 miliardi. È rilasciato sotto licenza Apache 2.0 ed eccelle nell'equilibrare compiti di codifica e elaborazione del linguaggio naturale (NLP ). Secondo l'OSI, Crystal è conforme alla definizione open-source di AI dell'OSI.¹

DeepSeek-R1 è un modello di ragionamento della startup cinese di AI DeepSeek. Utilizza un'architettura di Mixture of Experts (MoE) di machine learning ed è stato addestrato utilizzando un apprendimento per rinforzo su larga scala per affinare le sue capacità di ragionamento. È disponibile con licenza MIT.

Falcon-7B e Falcon-40B sono modelli con decoder causale, rispettivamente con 7 e 40 miliardi di parametri. Sviluppati dai ricercatori del Technology Innovation Institute (TII) degli Emirati Arabi Uniti, entrambi i modelli sono stati addestrati su RefinedWeb del TII, un enorme set di dati contenente dati web filtrati in inglese. Falcon-7B e Falcon-40B sono disponibili sotto la licenza Apache 2.0.

IBM® Granite è una serie di modelli AI multimodali pronti per le aziende. Sono costruiti su una base di set di dati open source con licenze permissive insieme a set di dati sintetici resi accurati a livello interno. I modelli sono disponibili con la licenza Apache 2.0.

I foundation model Granite consistono in piccoli modelli linguistici con funzionalità progettate per workflow basati su agenti, un modello visivo specializzato in compiti di visione per la comprensione di documenti e immagini, modelli vocali per il riconoscimento e la traduzione automatica del parlato e modelli di codice per compiti generativi di codice.

OLMo è una famiglia di modelli linguistici di Ai2, un istituto di ricerca sull'AI senza scopo di lucro. I modelli sono disponibili in dimensioni di parametri di 1, 7, 13 e 32 miliardi. I modelli, il codice di addestramento, la suite di valutazione per riprodurre i risultati di OLMo e i dati di addestramento utilizzati in ogni fase, inclusi pre-addestramento, addestramento intermedio e post-addestramento, sono tutti disponibili gratuitamente con licenza Apache 2.0. Secondo l'OSI, OLMo è conforme alla definizione open-source di AI dell'OSI.¹

Sviluppata dal laboratorio di ricerca no-profit EleutherAI, Pythia è una suite di LLM con dimensioni che vanno da 14 milioni a 12 miliardi di parametri e rilasciata con licenza Apache 2.0. Tutti i dati, codici, modelli e checkpoint associati sono disponibili pubblicamente, insieme alle istruzioni per replicare l'addestramento, con l'obiettivo di promuovere l'interpretabilità dell'AI, l'etica e la trasparenza dell'AI. Secondo l'OSI, Pythia è conforme alla definizione open-source di AI dell'OSI.¹

Qwen è una serie di LLM della società cinese di cloud computing Alibaba Cloud. Qwen include modelli linguistici, un modello linguistico visivo e varianti ottimizzate per audio, codifica e matematica. La maggior parte dei modelli Qwen è disponibile con licenza Apache 2.0, anche se i modelli più grandi dispongono di licenze proprietarie.

T5 è un modello di trasformatore di trasferimento testo-testo sviluppato da ricercatori di Google. Eccelle in una vasta gamma di attività NLP ed è rilasciato con licenza Apache 2.0. Secondo l'OSI, T5 è conforme alla definizione di AI open-source dell'OSI.¹

L'OSI ha inoltre analizzato Llama 2 di Meta, Phi-2 di Microsoft, Mixtral di Mistral e Grok di xAI e concluso che questi modelli non rispettano la definizione di AI open source dell'OSI "perché mancano di componenti e/o i loro accordi legali sono incompatibili con i principi open source."¹

Lavorare su progetti di AI open-source può diventare travolgente. Ecco alcuni strumenti AI open source ben noti che possono aiutare:

    ● Keras

    ● OpenCV

    ● PyTorch

    ● Scikit-learn

    ● TensorFlow

Keras è un'application programming interface (API) scritta in Python per costruire, addestrare e valutare modelli di deep learning. È compatibile e può essere eseguito sui framework JAX, PyTorch o TensorFlow.

OpenCV è una libreria open source di computer vision gestita dalla Open Source Vision Foundation. Contiene oltre 2.500 algoritmi ottimizzati per applicazioni di visione in tempo reale, tra cui riconoscimento delle immagini, classificazione delle immagini, rilevamento e tracciamento degli oggetti.

PyTorch è un framework originariamente sviluppato da Meta e ora parte della Linux Foundation. Supporta reti neurali dinamiche e accelerazione GPU , si integra perfettamente con le librerie e i pacchetti Python, offre un'interfaccia intuitiva e richiede un overhead minimo del framework.

Scikit-learn è un modulo Python per l'apprendimento automatico. Include algoritmi per classificazione, cluster e regressione, tra gli altri, e offre strumenti per l'elaborazione dei dati, la selezione e la valutazione dei modelli e la creazione di visualizzazioni.

TensorFlow è una piattaforma per costruire e implementare modelli di machine learning. Creato da Google, TensorFlow contiene una libreria di dataset e modelli, API per diversi linguaggi di programmazione e strumenti per ottimizzare i workflow di machine learning. Dispone inoltre di una solida comunità open source e aiuta le persone a sviluppare le proprie competenze in materia di machine learning attraverso libri, programmi di studio curati e corsi online.