Perché eseguire un LLM in locale
Eseguire un modello linguistico (LLM) direttamente sul proprio computer, senza passare da un servizio cloud, offre tre vantaggi concreti: privacy (i dati non lasciano mai la macchina), costi azzerati dopo il download del modello e funzionamento offline. Il prezzo da pagare è la potenza di calcolo: senza una GPU dedicata con VRAM sufficiente, i modelli più grandi risultano lenti o semplicemente ingestibili. Vediamo i tre strumenti più diffusi per iniziare.
Ollama
Ollama è probabilmente il modo più rapido per iniziare: si installa con un singolo pacchetto (disponibile per Windows, macOS e Linux), espone un server locale con API REST e permette di scaricare un modello con un comando come ollama run llama3. Gestisce automaticamente il download, la quantizzazione e il caricamento in memoria, e mantiene una libreria di modelli pronti all'uso (Llama, Mistral, Gemma, Qwen e molti altri). È la scelta ideale per chi vuole integrare un LLM locale in uno script o in un'applicazione, grazie alla sua API HTTP semplice da consumare.
LM Studio
LM Studio punta invece su un'interfaccia grafica completa: permette di cercare, scaricare e confrontare modelli da Hugging Face direttamente dall'app, testarli in una chat integrata e, soprattutto, avviare un server locale compatibile con le API di OpenAI. Questo significa che qualsiasi applicazione già pensata per parlare con OpenAI può essere puntata verso LM Studio semplicemente cambiando l'indirizzo del server, senza modificare il codice. È la soluzione più comoda per chi preferisce un approccio visuale e vuole sperimentare rapidamente con più modelli.
llama.cpp
llama.cpp è il motore di inferenza su cui si basano molti degli strumenti sopra citati: una libreria C/C++ estremamente ottimizzata, capace di girare anche solo su CPU e di sfruttare il formato quantizzato GGUF per ridurre drasticamente l'uso di memoria. È la scelta giusta per chi vuole il massimo controllo — parametri di inferenza, ottimizzazioni specifiche per la propria CPU/GPU, integrazione in progetti custom — ed è disposto a lavorare da riga di comando o a compilare il progetto autonomamente.
Quale scegliere
Per iniziare senza pensieri, Ollama è il punto di partenza più equilibrato. Se preferisci un'interfaccia grafica e vuoi provare più modelli velocemente, LM Studio è la scelta più comoda. Se invece stai sviluppando un prodotto e hai bisogno del massimo controllo sulle prestazioni, vale la pena investire tempo in llama.cpp direttamente. In tutti e tre i casi, la variabile che conta davvero è la quantità di RAM (o VRAM) disponibile: un modello da 7 miliardi di parametri quantizzato richiede indicativamente 4-6 GB, uno da 70 miliardi anche 40 GB o più.