Quando un piccolo modello linguistico può essere più adatto di un LLM
Tuttavia la maggior parte degli utenti domestici e la maggior parte delle aziende in realtà non necessità di giganti tuttofare come i modelli stratosferici che stanno dietro le quinte dei principali servizi commerciali online; e nemmeno degli strepitosi pesi medio-leggeri che abbiamo più volte menzionato nelle pagine di questo sito.
Un recente articolo apparso su dev.to dà conto di come modelli minimali possano funzionare anche su computer datati e meno carrozzati.
You may read this article also in English.
Diciamolo chiaro: è la potenza delle schede grafiche (GPU), originariamente pensate per i videogiochi, ad avere reso possibili i rapidi sviluppi dell'intelligenza artificiale degli ultimi anni, e specialmente dei grandi modelli linguistici (LLM) alla base anche di generazione di immagini, video, musica...
Questo naturalmente ha fatto avviare un volano in cui la potenza delle GPU e le richieste di risorse dei modelli continuano a rincorrersi al rialzo; con risultati di prestazione strabilianti, ma con richieste di risorse hardware sempre più esose.
La più parte delle aziende, in particolare, ha bisogno di modelli o agenti che compiano una singola operazione ripetitiva: per loro avere un modello locale da otto o più miliardi di parametri oppure un abbonamento a consumo con i grandi servizi online è un po' come abitare in centro storico e andare a fare la spesa nel vicolo a fianco in SUV o in taxi, quando basterebbe tuttalpiù un carrellino o una bicicletta.
In più, le aziende di norma necessitano di esecutori, non di creativi. Di conseguenza, come già raccontato, nella maggior parte dei casi spendere migliaia di euro in GPU o in abbonamenti è semplicemente sopra le righe, poiché un modello linguistico anche sotto il miliardo di parametri, ma corredato di una buona RAG, basterebbe allo scopo.
Pur senza arrivare agli estremi illustrati dall'articolo, possiamo confermare che un modello come lo SmolLM di Hugging Face (da soli 135 milioni di parametri), se correttamente configurato, funziona egregiamente senza bisogno di alcuna GPU e con meno di un giga di RAM, generando 40-45 token (ossia ca. 20 parole) al secondo.
Certo non è un modello su cui si possa sviluppare una persona di intelligenza artificiale o al quale fare interpretare I fratelli Karamazov; ma, abbinato a una RAG ben strutturata su un singolo argomento specialistico, può essere un assistente davvero rapido e preciso.
Image generated with Craiyon.