---

Il 2026 non è l'anno dei modelli. È l'anno dell'inferenza.

Per anni il settore ha giocato una sola partita: costruire modelli sempre più grandi e più intelligenti. Benchmark, leaderboard, record di parametri. Poi è arrivato il momento in cui la domanda è cambiata, e con lei tutto il campo di gioco.

Le aziende non chiedono più "come costruisco un LLM più intelligente?". Chiedono "come lo eseguo in modo efficiente, economico e a scala?". Il collo di bottiglia non è più la qualità della generazione: è il costo e la latenza del servizio. L'innovazione si è spostata dietro il modello, nell'ottimizzazione dell'inferenza.

Il vincolo fisico che pochi considerano

Il decoding autoregressive è memory-bound, non compute-bound. Durante la generazione di un singolo token, il sistema spende la maggior parte del tempo a caricare i pesi dalla memoria ad alta banda (HBM), non a calcolare probabilità. Una volta caricati i pesi, calcolare costa quasi nulla.

Questo cambia tutto: ogni ottimizzazione che riduce le letture HBM — speculative decoding, quantizzazione della KV cache, FlashAttention, Multi-Head Latent Attention — si traduce direttamente in velocità percepita dall'utente.

Le tecniche che fanno la differenza

KV cache ottimizzata. La cache d'attenzione spreca tradizionalmente il 60–80% della memoria allocata. In BF16, quantizzare a FP8 dimezza la memoria per token: meno traffico, latenza più bassa.

PagedAttention + continuous batching (vLLM). Gestire la KV cache in blocchi non contigui riduce lo spreco di un ordine di grandezza. Il continuous batching mantiene le GPU sature a ogni forward pass. Risultato documentato: 23x di throughput con latenza p50 ridotta. Numeri reali: vLLM serve Llama 2 70B su 4× A100 a 2.200 token/sec con 256 utenti concorrenti — 2.3x più veloce di TGI, 3.1x del serving PyTorch vanilla.

Speculative decoding. Rompe il collo di bottiglia con un'asimmetria elegante: verificare N token in parallelo costa quanto generarne uno. Un draft model veloce propone, il modello principale verifica. La generazione percepita accelera senza sacrificare la qualità.

Il punto pratico

Non serve un modello più grande per servire meglio gli utenti. Serve un'infrastruttura che sappia eseguire ciò che già esiste con intelligenza. La memoria è il collo di bottiglia — e chi impara a ottimizzarla trasforma lo stesso modello in un prodotto molto più competitivo.

Il prossimo vantaggio non si costruisce. Si configura.

Vuoi capire se la tua infrastruttura sta bruciando budget in latenza e costi di servizio? Inizia da un audit della KV cache: è lì che si nasconde la maggior parte dello spreco.