Quando poni una domanda a un modello di AI, la tua richiesta viaggia fino a un data center, viene elaborata e restituita in una frazione di secondo. Man mano che l'AI passa dall'addestramento dei modelli alla gestione di miliardi di interazioni in tempo reale, il luogo in cui si trova tale infrastruttura e il modo in cui i carichi di lavoro vengono instradati al suo interno stanno diventando la sfida infrastrutturale decisiva del decennio.

Nel 2025 si è verificato un punto di svolta: l'addestramento e l'inferenza si sono scambiati di posto nella curva dei carichi di lavoro.

Un'esecuzione di addestramento è un evento una tantum. Un carico di lavoro di inferenza è un'attività permanente con utenti dall'altra parte. Questo cambia radicalmente ciò che viene costruito.

L’implicazione pratica di questo cambiamento è altrettanto significativa: entro due anni, la maggior parte dell'elettricità e del capitale impiegati nell'AI sarà destinata a “rispondere” alle domande, non ad “apprendere” le risposte. Deloitte prevede che l’inferenza rappresenterà due terzi di tutto il calcolo AI entro la sola fine del 2026.

Distribuzione delle richieste di inferenza

L'addestramento dell'AI richiedeva concentrazione. Un campus di data center, un tessuto di connettività, una pianificazione e i più recenti chip in silicio a qualsiasi prezzo.

L'inferenza AI richiede qualcosa di quasi opposto. Richiede vicinanza all'utente, viene eseguita sul chip più conveniente per token utile e deve rispettare un budget di round-trip di 100 millisecondi, il tutto garantendo una rigorosa conformità alle normative locali ovunque risiedano i dati.

Laddove l'addestramento somigliava a un porto, l'inferenza somiglia a una rete di trasporto merci. E quando la mappa dei carichi di lavoro di inferenza viene vista sotto questa luce, l'analogia risulta valida.

Il lavoro in tempo reale (assistenti vocali, realtà aumentata, robotica) risiede nell'equivalente di un deposito in centro. Affitto elevato, alta densità e l'utente si trova dall'altra parte della strada. Ad esempio, quando chiedi al tuo assistente vocale com'è il tempo nella tua città, quella richiesta deve essere elaborata in pochi millisecondi. La latenza di andata e ritorno verso un campus remoto può rendere il lavoro in tempo reale quasi impossibile.
Il lavoro interattivo (chatbot per il servizio clienti, agenti AI, assistenti alla produttività) si colloca più all'esterno, nell'equivalente di un hub suburbano. Una finestra di risposta di 100 millisecondi è accettabile; i costi operativi sono inferiori e il carico di lavoro è sufficientemente prevedibile per pianificare le attività.
Il lavoro in batch (generazione di report notturni, perfezionamento dei modelli, processi di elaborazione dati su larga scala) viene eseguito quando l'energia è più economica, in modo simile a come i magazzini si trovano accanto agli svincoli autostradali nelle contee rurali. Non c'è alcun utente in tempo reale in attesa dall'altra parte; di conseguenza, il tempo rappresenta un compromesso in termini di costi.

Ogni livello di inferenza ha requisiti di prestazioni, profilo di costo e set di clienti differenti. Servono diverse parti della stessa economia di erogazione.

Un cambiamento strutturale nel modello di investimento

Un'infrastruttura distribuita e sensibile alla latenza richiede un modello di investimento diverso. Invece di ancorare la capacità a un singolo mega-campus, gli operatori devono supportare carichi di lavoro che si spostano tra regioni, tenant e zone sovrane al variare della domanda.

L'inferenza sta cambiando sia la finanza delle infrastrutture sia l'economia dei semiconduttori. La capacità di calcolo deve essere distribuita come una rete flessibile, anziché come un campus di data center statico, mentre le risorse computazionali devono essere gestite come un portafoglio (o una flotta) e non come una singola generazione di hardware. Si tratta di un approccio agli investimenti in conto capitale strutturalmente diverso. Le imprese che non hanno ancora riallineato la propria strategia di investimento rischiano di costruire l'infrastruttura sbagliata per la prossima fase di evoluzione.

Gli acceleratori di ultima generazione gestiscono i carichi di lavoro più impegnativi, mentre l'hardware ormai ammortizzato può continuare a generare valore su larga scala eseguendo carichi di lavoro ad alto volume. Il vantaggio competitivo non deriva dal possedere i chip più recenti e dalle specifiche più elevate, bensì dall'instradare ogni carico di lavoro verso la risorsa più efficiente.

La dimensione della sovranità che ridefinisce la progettazione

La sovranità sta diventando un vincolo determinante per l'infrastruttura AI. Le leggi sulla residenza dei dati, i framework di governance dell'AI e i requisiti di sicurezza nazionale richiedono sempre più che i carichi di lavoro rimangano all'interno di giurisdizioni specifiche.

Ciò rende la capacità di calcolo molto meno fungibile oltre i confini rispetto all'era dell'addestramento. Proprio come una spedizione internazionale non può evitare la dogana, una query di dati proveniente da un utente con sede in Germania potrebbe non sempre essere elaborata legalmente su un server in Virginia, negli Stati Uniti.

Mentre le iniziative di AI sovrana accelerano in Europa, Medio Oriente e Asia, l'infrastruttura viene costruita all'interno di una mappa normativa, non al di sopra di essa. Le imprese che considerano la sovranità come un esercizio di conformità, piuttosto che come un principio di progettazione fondamentale, rischiano di essere escluse da una quota crescente di carichi di lavoro AI globali.

Costruire le basi per l'AI nel prossimo decennio

Le aziende che prospereranno in questo passaggio all'inferenza saranno quelle già strutturate come una rete. Più aree metropolitane, più regioni, più giurisdizioni sovrane: tutto collegato da un livello software in grado di spostare la capacità dati in pochi millisecondi.

L'unità dominante dell'infrastruttura AI per il resto del decennio non è il campus da un gigawatt. È il metro hub, il punto di presenza regionale e il nodo sovrano. Una rete interconnessa tramite routing software-defined che tratta il calcolo come una risorsa dinamica e distribuibile, piuttosto che come un indirizzo fisso.

I migliori hub logistici non si limitano a instradare i pacchi in modo efficiente; riuniscono tutti i partner giusti sotto lo stesso tetto, offrendo flessibilità e garantendo passaggi senza interruzioni. Ecco cosa fa l'interconnessione per i carichi di lavoro di AI.

Digital Realty lavora da due decenni con questo obiettivo. La nostra piattaforma globale di data center, PlatformDIGITAL®, è progettata per offrire una colocation scalabile e un'interconnessione sicura che ti aiutano a implementare soluzioni più velocemente, a ridurre i rischi e a trasformare la tua infrastruttura AI in un vantaggio competitivo.

La prima era dell'infrastruttura AI ha risposto a una domanda: dove mettiamo il modello più grande? La prossima era ne risponde a una diversa: come fa una query a raggiungere il chip giusto, nel posto giusto, al momento giusto, al minor costo?

Vetrina delle soluzioni: NVIDIA