Far girare un modello linguistico sul proprio computer è diventato semplice. Ollama è lo strumento che ha reso la cosa alla portata di chiunque: si installa come un normale programma, scarica i modelli da solo e li espone sia da riga di comando sia via API. Vediamo come si usa davvero.
Perché in locale
- I dati non escono dal computer. È il motivo principale in ambito professionale: documenti di clienti, contratti, dati sanitari o contabili non finiscono su un servizio esterno.
- Nessun costo a consumo e nessun limite di richieste.
- Funziona senza connessione, una volta scaricato il modello.
- Nessuna modifica improvvisa: il modello che hai scaricato resta quello, non cambia comportamento da un giorno all'altro.
Il contro va detto con onestà: i modelli che girano su un PC normale sono meno capaci di quelli commerciali più grandi. Per riassunti, estrazione dati, riscrittura e bozze funzionano benissimo; per ragionamenti complessi la differenza si sente.
Installazione
Scarica l'installer dal sito ufficiale di Ollama. È disponibile per Windows, macOS e Linux. Su Linux si installa anche con un singolo comando da terminale.
Dopo l'installazione, Ollama gira come servizio in background e mette a disposizione un endpoint locale sulla porta 11434. Non serve configurare nulla.
I comandi che servono
Apri il terminale (su Windows va bene il Prompt dei comandi o PowerShell).
ollama run nome-modello— scarica il modello se manca e apre una chat interattiva. È l'unico comando indispensabile.ollama pull nome-modello— scarica soltanto, senza avviare.ollama list— elenca i modelli che hai in locale, con la dimensione su disco.ollama rm nome-modello— elimina un modello per liberare spazio.ollama ps— mostra quali modelli sono caricati in memoria in questo momento.
Dentro la chat interattiva, /bye esce e /? mostra i comandi disponibili.
Quale modello scegliere
I nomi dei modelli includono quasi sempre il numero di parametri: 3B, 7B, 8B, 14B, 32B, 70B. Più è alto, più il modello è capace e più memoria richiede.
Regola pratica per orientarsi con la memoria video disponibile:
- 8 GB di VRAM: modelli fino a 7-8 miliardi di parametri quantizzati. Vanno bene per riassunti, riscritture, domande semplici.
- 12-16 GB: modelli da 13-14 miliardi. Qualità nettamente superiore, ancora molto veloci.
- 24 GB: modelli da 30-32 miliardi. È il punto in cui i risultati diventano davvero utili in ambito professionale.
- Oltre: modelli più grandi, o più modelli caricati insieme.
Senza scheda video dedicata i modelli girano comunque, usando processore e RAM di sistema, ma molto più lentamente. Per provare va bene; per lavorarci serve una GPU.
La quantizzazione, spiegata semplice
Accanto al nome dei modelli trovi sigle come Q4, Q5, Q8. Indicano quanto sono stati "compressi" i numeri interni del modello per occupare meno memoria.
- Q4: occupa poco, perdita di qualità contenuta. È il compromesso più usato ed è quello di default.
- Q5 e Q6: qualità leggermente migliore, più memoria.
- Q8: qualità quasi identica all'originale, memoria circa doppia rispetto a Q4.
Una regola utile: un modello più grande quantizzato a Q4 è quasi sempre migliore di un modello più piccolo a Q8, a parità di memoria occupata.
Usarlo da programma
Ollama espone un'API HTTP locale, quindi puoi integrarlo in uno script o in un gestionale con una normale richiesta POST a http://localhost:11434/api/generate, passando il nome del modello e il prompt in JSON. Offre anche un endpoint compatibile con il formato OpenAI, il che significa che molte librerie esistenti funzionano cambiando solo l'indirizzo.
È il modo con cui si costruiscono le automazioni utili: estrarre dati da fatture, classificare email, riassumere rapporti, preparare risposte.
Interfacce grafiche
Se il terminale non fa per te, esistono interfacce web che si collegano a Ollama e offrono una chat simile a quelle commerciali, con cronologia, più modelli e caricamento di documenti. Si installano di solito in un contenitore e si usano dal browser, anche dagli altri computer della rete.
Consigli pratici
- I modelli occupano diversi gigabyte ciascuno: tieni d'occhio lo spazio su disco e cancella quelli che non usi.
- Il primo avvio di un modello è lento perché deve essere caricato in memoria; le richieste successive sono immediate.
- Se la risposta è molto lenta, il modello probabilmente non entra nella memoria video e sta usando la RAM di sistema: scegline uno più piccolo o più quantizzato.
- Puoi creare varianti personalizzate con un file di configurazione che fissa istruzioni di sistema e parametri: utile per avere un assistente sempre impostato sul tuo tono e sul tuo contesto.
Conclusione
Con Ollama si passa dall'idea di "AI in locale" a qualcosa di funzionante in un quarto d'ora. Il valore vero arriva quando lo si collega a un processo aziendale reale, dove i dati non possono uscire. Se vuoi valutare un assistente interno sui vostri documenti, senza che nulla lasci la vostra rete, è esattamente il tipo di progetto che seguiamo.