La storia di Minerva, la famiglia di large language model che questa primavera ha aperto le danze della Gen AI italiana, ha origini lontane. Il professore della Sapienza Roberto Navigli ha iniziato a lavorare circa venti anni fa sul Natural language processing, che combina la linguistica con modelli statistici e di machine learning ed è incentrato sull’interazione tra i computer e il linguaggio umano. “Sono sempre stato attratto dalla necessità di richiedere ai sistemi di AI di fornire una spiegazione interpretabile, una specie di mappa semantica di ciò che il sistema ha capito leggendo un testo”. Venti anni dopo, il settore è ancora un cantiere, anche se mai così vivace, grazie ai grandi modelli linguistici dei colossi, da OpenAI a Google.
“Gli Llm di oggi non hanno (ancora) come obiettivo quello di produrre ‘spiegazioni’ non ambigue”, secondo Navigli. “In questo senso Minerva è un esercizio di altissima ingegneria, ma dal punto di vista scientifico la parte interessante è l’abilitazione dell’aspetto di interpretabilità, controllabilità e affidabilità del sistema: è un po’ la differenza tra una black box e una glass box, noi vogliamo costruire la seconda, per ‘leggere’ nella mente del modello”.
Per ora i modelli di Minerva sono tre, da 350 milioni, 1 miliardo e 3 miliardi di parametri, addestrati da zero su contenuti in lingua italiana. Non appena rilasciati i modelli, sono emersi gli intoppi classici della Gen AI, con la generazione di contenuti ‘tossici’. Per avere prestazioni adeguate bisogna aumentare i parametri e successivamente passare alla fase di ‘instruction fine tuning’, che permette di rispondere a qualsiasi domanda, mentre i modelli già rilasciati sono adatti ad altri compiti, come fare riassunti automatici, o anche traduzioni.
Ora Navigli lavora al modello da 7 miliardi di parametri. La sfida di ottenere una quantità sufficiente di testi per l’addestramento è “particolarmente ardua. Per il momento utilizziamo dati raccolti dal Web, ma stiamo già lavorando al filtraggio e all’identificazione di testi di qualità. Tuttavia questo, se non rinforzato con ulteriori dati – ad esempio da testate giornalistiche in grandi quantità – è in contrasto con l’obiettivo di avere un numero sufficiente di testi per modelli di queste dimensioni”.
Intanto il gruppo di Navigli, nell’ambito del progetto Fair, lavora a un benchmark, un banco di prova dove verificare le prestazioni dei modelli, il primo in lingua italiana. Verrà misurata l’attività di domanda e risposta, la risoluzione di ambiguità nel riferimento dei pronomi, la comprensione del linguaggio. “I benchmark sono essenziali: come possiamo sapere se i modelli creati sono di qualità? È un po’ come l’esame per uno studente. Meglio di un esame: ci fornisce una quantificazione sulla capacità del modello di rispondere in modo intelligente”.
Cosa attende ora Minerva? “Con Babelscape, il mio spinoff universitario, stiamo creando nuovi modelli con garanzie di affidabilità fattuale (ad esempio si vuole permettere di verificare quali parti del testo di partenza sono state utilizzate per scrivere quale frase del riassunto). Però lo sbocco è anche pubblico: ci sono moltissime realtà, soprattutto pubbliche, che si sentono rassicurate da un progetto completamente aperto (al contrario di tutti gli altri modelli che si dichiarano open source ma sono in realtà open weights: rilasciano il modello, ma non lo documentano). È estremamente importante avere l’elenco delle fonti utilizzate, in modo da poterle verificare”. Insomma “il lato pubblico del progetto proseguirà: stiamo facendo domande di progetti europei, stiamo collaborando con numerosi enti pubblici e realtà private”.
In 20 anni di lavoro, c’è stato un momento in cui Navigli ha avuto voglia di gridare ‘eureka’? “In diversi momenti, a partire da BabelNet, quando abbiamo per la prima volta aggregato numerose fonti di conoscenza in un unico dizionario lessico-semantico multilingue. Ma anche, più recentemente, quando abbiamo finalmente visto che gli Llm portano a dei risultati immediati per l’utente, in qualsiasi ambito”.
L’innovatore
Roberto Navigli, professore del dipartimento di ingegneria informatica della Sapienza.
L’innovazione Creata dal gruppo Sapienza Natural language processing guidato da Navigli, Minerva è stata la prima famiglia di large language model italiani a raggiungere la public release questa primavera. Il percorso dell’Llm procede grazie al Fair, progetto di ricerca del Cnr finanziato dal Pnrr, e alla capacità di calcolo del supercomputer Leonardo. Ci sono volute 40mila ore per arrivare ai primi modelli pre-addestrati. Sono stati utilizzati 500 miliardi di parole per un addestramento avvenuto da zero, senza adattare foundational model già sviluppati all’estero.
