Gran parte degli strumenti che hanno reso popolare l'esecuzione di modelli AI in locale — Ollama, LM Studio, e molti altri — si appoggia, direttamente o concettualmente, su llama.cpp: una libreria open source in C/C++ che ha dimostrato per prima come eseguire modelli linguistici di grandi dimensioni su hardware comune, senza GPU dedicata, semplicemente ottimizzando in modo aggressivo il modo in cui il modello viene rappresentato ed eseguito in memoria.
Il problema che risolve
Un modello linguistico allenato viene tipicamente salvato usando numeri a virgola mobile a alta precisione (32 o 16 bit per ogni parametro), un formato che richiede moltissima memoria — un modello con miliardi di parametri può richiedere decine di gigabyte solo per essere caricato. llama.cpp applica una tecnica chiamata quantizzazione: riduce la precisione numerica dei parametri (es. a 4 o 8 bit invece di 16/32), riducendo drasticamente sia lo spazio in memoria richiesto sia il tempo di calcolo necessario per l'inferenza, con una perdita di qualità nella risposta generalmente contenuta e spesso accettabile per l'uso pratico.
Il formato GGUF
I modelli ottimizzati per llama.cpp vengono distribuiti nel formato GGUF (evoluzione dei precedenti formati GGML), che incapsula i pesi quantizzati del modello insieme ai metadati necessari per eseguirlo — è il formato file che si vede scaricare, direttamente o indirettamente, quasi ogni volta che si usa uno strumento di AI locale come Ollama o LM Studio, entrambi costruiti attorno a questa stessa tecnologia di base.
Perché conta anche per chi non scrive C++
| Chi usa direttamente llama.cpp | Chi lo usa indirettamente (senza saperlo) |
|---|---|
| Sviluppatori che integrano l'inferenza AI direttamente in un'applicazione C/C++ o embedded | Chiunque usi Ollama, LM Studio, o molti altri strumenti costruiti sopra la stessa tecnologia |
| Chi ha bisogno del massimo controllo su performance e uso della memoria | Chiunque scelga un modello in formato GGUF da un catalogo |
| Progetti su hardware con risorse molto limitate (edge, IoT, Raspberry Pi) | Applicazioni desktop o mobile che integrano AI locale "pronta all'uso" |
Dalla CPU al Raspberry Pi: quanto in basso si può scendere
Una delle dimostrazioni più citate della comunità attorno a llama.cpp è proprio la capacità di eseguire modelli di dimensioni contenute su hardware estremamente limitato, incluso un Raspberry Pi: non con le prestazioni di un server dedicato, ma in modo sufficientemente funzionale per progetti sperimentali, assistenti locali offline, o applicazioni edge dove mandare ogni richiesta al cloud non è un'opzione. È un tema che si lega direttamente alla nostra esperienza diretta con il Raspberry Pi (documentata nella pagina Chi Siamo), dove l'idea di eseguire intelligenza artificiale interamente in locale, su hardware economico e a basso consumo, è un principio che ricorre più volte nei nostri progetti interni.
Uso da riga di comando
# Esecuzione diretta di un modello GGUF, senza altri strumenti installati
./llama-cli -m modello.gguf -p "Scrivi una funzione che calcola il fattoriale"
# Avvio come server API locale, compatibile con il formato OpenAI
./llama-server -m modello.gguf --port 8080Questo doppio uso — come libreria da integrare direttamente nel proprio codice, o come server API autonomo — è ciò che lo rende la base ideale su cui costruire strumenti di livello più alto come Ollama e LM Studio, che ne semplificano l'uso quotidiano nascondendo la complessità di configurazione sotto un'interfaccia più accessibile.
Il punto da ricordare
Non serve conoscere llama.cpp per usare l'AI locale oggi — Ollama e LM Studio esistono proprio per questo. Ma sapere che esiste, e cosa fa concretamente (quantizzazione e inferenza ottimizzata su hardware comune), aiuta a capire perché l'AI locale è diventata praticabile su un normale laptop e persino su un Raspberry Pi, un salto che solo pochi anni fa sarebbe sembrato impensabile senza una GPU dedicata di fascia alta. Il progetto è open source e consultabile su GitHub, cercando "llama.cpp" — repository mantenuto dalla comunità con contributi molto attivi.