Quando un'azienda decide di portare l'AI in casa, la prima domanda riguarda sempre l'hardware. La risposta cambia molto a seconda di un fattore che spesso non viene considerato: quante persone useranno il sistema contemporaneamente.
Il criterio che determina tutto
Un modello linguistico occupa la memoria video per tutto il tempo in cui è caricato. Se due persone fanno una domanda nello stesso momento, le richieste vengono messe in coda oppure servono più risorse.
Quindi:
- Uso individuale: una persona alla volta, richieste sporadiche. Basta poco.
- Piccolo gruppo: tre o quattro persone che usano il sistema saltuariamente. Le code sono tollerabili.
- Servizio aziendale: decine di utenti, integrazione con il gestionale, richieste automatiche. Qui serve dimensionare sul serio.
Mini PC con memoria unificata
I sistemi compatti basati su architetture con memoria condivisa fra processore e grafica sono diventati una scelta interessante. Il vantaggio è che la memoria disponibile per il modello è molta, senza dover comprare una scheda video costosa.
Pro: consumi bassissimi, silenzio totale, ingombro minimo, possibilità di caricare modelli grandi.
Contro: velocità di generazione inferiore a una GPU dedicata, e prestazioni che calano sensibilmente con più richieste in parallelo.
Adatti a: uso individuale o di un piccolo gruppo, elaborazioni non urgenti, prototipi. Sono anche il modo meno costoso per capire se l'AI locale serve davvero prima di investire.
Workstation con scheda video dedicata
Un PC desktop con una buona GPU è la soluzione più equilibrata per la maggior parte delle piccole aziende.
Pro: velocità di generazione nettamente superiore, costo contenuto rispetto a un server, componenti facilmente sostituibili e aggiornabili, si può usare anche per altro.
Contro: consumi e rumore, e va tenuta accesa se deve fare da servizio.
Il punto di equilibrio è una scheda con 24 GB di memoria video: permette modelli da 30 miliardi di parametri con contesto ampio, che è la soglia in cui i risultati diventano affidabili per il lavoro su documenti.
Server con GPU
Quando il sistema deve servire tutta l'azienda, integrato con gestionale e posta, serve una macchina pensata per stare accesa sempre.
Pro: gestione di più richieste in parallelo, possibilità di più schede, alimentazione ridondata, gestione remota, collocazione in armadio.
Contro: costo elevato, rumore che richiede un locale tecnico, e va progettato bene su alimentazione e raffreddamento.
Attenzione a due aspetti spesso sottovalutati: le schede professionali con molta memoria hanno consumi importanti, e servono alimentazione elettrica adeguata e gruppo di continuità dimensionato. E il calore prodotto da un server con due GPU sotto carico non è trascurabile in un piccolo locale.
E il cloud?
Affittare una macchina con GPU nel cloud ha senso in due casi: per una prova prima di comprare, e per carichi occasionali ma intensi, come l'indicizzazione iniziale di un archivio storico.
Come soluzione permanente per un uso continuativo, il conto raramente torna: i costi orari delle istanze con GPU si accumulano in fretta e nel giro di pochi mesi superano l'acquisto. Senza contare che, se il motivo per cui volete l'AI in casa è la riservatezza dei dati, il cloud riporta il problema di partenza.
Come dimensionare, in pratica
- Parti dal modello che ti serve, non dall'hardware. Prova diversi modelli su una macchina qualsiasi e vedi quale dà risposte accettabili sui tuoi documenti reali.
- Calcola la memoria che quel modello richiede, aggiungendo il margine per il contesto.
- Moltiplica per le richieste contemporanee che devi servire, o accetta le code.
- Aggiungi margine: i modelli che uscono tendono a crescere, non a rimpicciolire.
Un errore comune è comprare l'hardware più potente prima di sapere quale modello serve. Spesso un modello più piccolo, ben integrato con i documenti giusti, dà risultati migliori di un modello enorme usato male.
Non dimenticare il resto
Una macchina per l'AI in azienda è un server a tutti gli effetti e va trattata come tale:
- Backup della configurazione e degli indici.
- Accesso controllato: non deve essere raggiungibile da chiunque in rete.
- Aggiornamenti del sistema e dei componenti.
- Gruppo di continuità adeguato.
- Monitoraggio di temperature e disponibilità.
Conclusione
Per iniziare e capire se serve, un sistema compatto a memoria unificata è la spesa più prudente. Per un uso professionale reale, una workstation con 24 GB di memoria video è il punto di equilibrio. Il server ha senso quando il sistema diventa un servizio per tutti. Se volete valutare quale livello serve davvero alla vostra azienda partendo dai vostri documenti, possiamo fare una prova prima di comprare qualunque cosa.