Nel dibattito sull'AI si parla quasi solo dei modelli più grandi, ma nell'uso pratico aziendale il modello grande è spesso sovradimensionato. La domanda giusta non è "qual è il più potente" ma "qual è il più piccolo che risolve il mio problema", perché da quella risposta dipendono hardware, costi e velocità.
Cosa fanno bene i modelli piccoli
Con "piccoli" intendiamo modelli da 3 a 8 miliardi di parametri, che girano su hardware modesto e rispondono in tempi immediati. Sono più che adeguati per:
- Classificare: assegnare una categoria a una email, a un ticket, a una segnalazione.
- Estrarre dati strutturati da testi con formato prevedibile: date, importi, partite IVA, riferimenti.
- Riformulare un testo cambiando tono o lunghezza.
- Tradurre fra le lingue principali, con qualità sufficiente per un uso interno.
- Riassumere testi brevi o di media lunghezza.
- Rispondere a domande quando il testo di riferimento gli viene fornito insieme alla domanda.
Quest'ultimo punto è importante: in un sistema RAG, dove il materiale rilevante viene passato al modello, buona parte del lavoro difficile lo fa il recupero dei documenti, non il modello. Con un buon recupero, anche un modello piccolo produce risposte utili.
Dove i modelli piccoli non arrivano
- Ragionamento su più passaggi: problemi che richiedono di combinare informazioni da fonti diverse e trarre una conclusione.
- Calcoli e logica complessa: qui sbagliano spesso, e i modelli grandi non sono immuni. Per i numeri, la soluzione corretta è far generare il calcolo a uno strumento esterno, non al modello.
- Testi lunghi da tenere insieme: la coerenza su documenti estesi peggiora rapidamente.
- Sfumature e ambiguità: sarcasmo, sottintesi, contesti culturali.
- Codice complesso: per snippet semplici vanno bene, per lavoro serio no.
- Italiano meno comune: linguaggio giuridico, tecnico specialistico, dialettale. Molti modelli piccoli sono addestrati prevalentemente su testi in inglese e in italiano perdono precisione.
La regola pratica per scegliere
Prova sempre dal più piccolo al più grande, non il contrario. La sequenza corretta è:
- Prepara venti casi reali del tuo lavoro, con la risposta corretta che conosci già.
- Prova un modello da 7-8 miliardi. Conta quanti casi risolve bene.
- Se la percentuale è sufficiente per il tuo scopo, fermati lì: hai risparmiato hardware e ottieni risposte più veloci.
- Se no, sali a 13-14 miliardi e ripeti.
- Sali ancora solo se serve davvero.
Questo metodo evita l'errore più costoso: comprare hardware per un modello enorme quando il problema si risolveva con molto meno.
Prima di cambiare modello, cambia il prompt
Un modello piccolo con istruzioni precise batte spesso un modello grande con istruzioni vaghe. Prima di salire di dimensione, prova a:
- Dare due o tre esempi di risposta corretta dentro il prompt. È l'intervento singolo che migliora di più i modelli piccoli.
- Chiedere un formato preciso, per esempio JSON con campi definiti. I modelli piccoli tenuti in una struttura rigida sbagliano molto meno.
- Spezzare il compito in passaggi semplici invece di chiederne uno complesso.
- Dire esplicitamente cosa fare quando l'informazione manca, altrimenti la inventano.
Modelli specializzati
Esistono modelli piccoli addestrati specificamente su un dominio: codice, medicina, testi legali. Su quel compito preciso possono superare modelli generici molto più grandi, occupando una frazione della memoria. Se il tuo lavoro è concentrato in un ambito, vale la pena cercarne uno.
Il vantaggio pratico dei modelli piccoli
- Risposte immediate, che cambiano l'esperienza d'uso: uno strumento che risponde in un secondo viene usato, uno che ci mette venti secondi viene abbandonato.
- Costo dell'hardware molto inferiore.
- Più richieste in parallelo con la stessa macchina.
- Consumi bassi, il che conta se il sistema resta acceso sempre.
- Girano anche su portatili, quindi si possono usare in mobilità o in cantiere.
Un'architettura sensata
La soluzione che funziona meglio in azienda è spesso mista: un modello piccolo gestisce il grosso delle richieste ripetitive e veloci, e le richieste complesse vengono indirizzate a un modello più grande. Si ottiene reattività dove serve e capacità dove serve, senza pagare l'una per tutte le occasioni.
Conclusione
Parti dal compito, non dal modello. Prepara casi di prova reali, comincia dal piccolo e sali solo quando i numeri lo giustificano. Nella maggior parte delle applicazioni aziendali — classificare, estrarre, riassumere, rispondere con i documenti in mano — un modello piccolo ben istruito fa il lavoro. Se volete misurare quale livello serve al vostro caso concreto, è una valutazione che si fa in poco tempo e che evita spese inutili.