Ollama è uno strumento open source che semplifica al massimo l'esecuzione di modelli linguistici in locale: un singolo comando scarica un modello, un singolo comando lo avvia, e un server API locale è pronto per essere richiamato da qualunque script o applicazione. È diventato lo standard de facto per chi vuole integrare l'AI locale in automazioni e software personalizzati, più che per l'uso conversazionale diretto (per quello, strumenti con interfaccia grafica come LM Studio sono spesso più immediati).
L'uso di base
ollama pull llama3 # scarica un modello dal catalogo
ollama run llama3 # avvia una sessione di chat interattiva nel terminale
ollama list # elenca i modelli scaricati localmente
ollama rm llama3 # rimuove un modello per liberare spazioNon serve altro per iniziare: nessuna configurazione, nessuna dipendenza da installare a parte Ollama stesso. Il catalogo include modelli di dimensioni molto diverse, dai più compatti (eseguibili anche su hardware modesto) ai più capaci (che richiedono più memoria), scaricabili con lo stesso comando semplicemente cambiando il nome del modello.
L'API locale: il vero punto di forza per gli sviluppatori
Oltre alla chat da terminale, Ollama espone automaticamente un server REST in locale (di norma su localhost:11434), che permette di integrare un modello AI in qualunque applicazione con una semplice chiamata HTTP:
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "Riassumi in una frase cos'\''e' Ollama"
}'Questa API è pensata per essere richiamata da qualunque linguaggio in grado di fare una richiesta HTTP — inclusi ambienti Delphi/Pascal tramite RESTRequest4Delphi, con lo stesso pattern di integrazione già visto nei nostri articoli su TTS e STT — rendendo Ollama una scelta comune per prototipare funzionalità AI in un'applicazione senza dipendere da un servizio cloud a pagamento durante lo sviluppo.
Modelfile: personalizzare il comportamento di un modello
Ollama permette di creare varianti personalizzate di un modello tramite un Modelfile, un file di configurazione testuale che definisce, ad esempio, un prompt di sistema predefinito, i parametri di generazione, o addirittura un modello base diverso da cui partire — utile per creare un "assistente" con un comportamento specifico e coerente, richiamabile poi con un nome personalizzato come qualunque altro modello.
Quando Ollama è la scelta giusta
| Scenario | Ollama è adatto? |
|---|---|
| Integrare AI locale in uno script o un'applicazione | Sì — è il caso d'uso principale per cui è pensato |
| Prototipare rapidamente senza costi API cloud | Sì — nessun costo dopo il download del modello |
| Uso conversazionale occasionale con interfaccia grafica | Meno indicato — LM Studio offre un'esperienza più immediata per questo |
| Massimo controllo su ottimizzazione e quantizzazione | Parziale — per un controllo più fine si scende al livello di llama.cpp, su cui gran parte dell'ecosistema si appoggia |
Il compromesso resta lo stesso di ogni soluzione locale
Come per LM Studio, i vantaggi (privacy, nessun costo ricorrente, funzionamento offline) hanno come contropartita prestazioni e capacità legate all'hardware disponibile e, generalmente, un divario di qualità rispetto ai modelli di punta accessibili solo via cloud. Per applicazioni che gestiscono dati sensibili o richiedono un'integrazione economica su larga scala, questo compromesso è spesso più che accettabile; per compiti che richiedono il massimo livello di capacità disponibile, un'API cloud resta la scelta più pratica. Documentazione e catalogo modelli ufficiali sono su ollama.com.