Vai al contenuto
  • BTC $57.914 −6,4%
  • ETH $1.641 −6,4%
  • SOL $68,34 −5,3%
  • BNB $525,98 −7,9%
  • XRP $0,8984 −6,1%
  • DOGE $0,0533 −6,7%
  • ADA $0,1397 −5,9%

Groq LPU caratteristiche: può la nuova LPU spingere Rubin a 35x di efficienza?

Articolo prodotto con sistemi di intelligenza artificiale e pubblicato sotto la responsabilità editoriale di Amelia Tomasicchio. Come lavoriamo

Groq LPU caratteristiche
Groq LPU caratteristiche: perché NVIDIA ha speso 20 miliardi

Nel nuovo asse hardware per l’intelligenza artificiale, le Groq LPU caratteristiche spiegano perché NVIDIA ha deciso di investire 20 miliardi di dollari per risolvere il collo di bottiglia dell’inferenza.

Perché NVIDIA ha comprato Groq per 20 miliardi di dollari

Il 25 dicembre 2025 l’acquisizione di Groq da parte di NVIDIA era ancora solo una telefonata e una stretta di mano. Jonathan Ross, fondatore di Groq e creatore sia della LPU sia della TPU originaria di Google, stava trascorrendo le feste a casa. Tre settimane dopo, erano stati trasferiti 20 miliardi di dollari e Ross era diventato Chief Software Architect di NVIDIA.

L’operazione nasce da una mossa del COO di Groq, Sunny Madra, che contatta Jensen Huang dopo l’apertura di NVLink ai partner dell’ecosistema: chiede se sia possibile collegarsi alla piattaforma. La risposta di Huang è immediata: “Certo, perché no?”. Viene così testato uno split di carico GPU-LPU su Ethernet, senza NVLink, solo come proof of concept.

Il test funziona e, nel giro di pochi giorni dalla demo, Jensen avvia le trattative di acquisizione. Tuttavia, la rapidità del deal rifletteva soprattutto un’urgenza tecnica: NVIDIA cercava una soluzione mirata al collo di bottiglia che affligge ogni datacenter GPU per l’inferenza LLM, ovvero la fase di decode.

Questo è il terzo articolo di una serie sull’evoluzione dell’architettura GPU di NVIDIA. I pezzi precedenti, dedicati al passaggio da H100 a B200 e poi da B200 a Vera Rubin, analizzano rispettivamente il cambiamento architetturale Blackwell e la piattaforma sulla quale si innesta la LPU.

Perché le GPU sono inefficienti nel generare token

Ogni richiesta di inferenza LLM si articola in due fasi. La prefill è quella in cui il modello legge e processa input, contesto e documenti in parallelo. Migliaia di token vengono gestiti simultaneamente, con tutte le attention head attive; in questo scenario le GPU eccellono.

La fase di decode è radicalmente diversa: il modello genera l’output un token alla volta, in sequenza. Ogni nuovo token dipende da tutti i precedenti, quindi non è possibile parallelizzare lungo la sequenza. Inoltre, l’accesso alla memoria diventa dominante.

A ogni step di decode, la GPU carica l’intera matrice di pesi dalla memoria HBM, esegue una moltiplicazione di matrici relativamente piccola e produce un token. I pesi non cambiano tra uno step e l’altro: si ricaricano ripetutamente gli stessi dati. Anche con 22 TB/s di banda HBM4 su una GPU Rubin, questo flusso è un collo di bottiglia, perché il calcolo è leggero rispetto al movimento di memoria richiesto.

Le GPU sono ottimizzate per il parallelismo, mentre il decode è intrinsecamente sequenziale. Detto ciò, ogni step di generazione lascia inutilizzata una quota significativa delle risorse di calcolo, ed è esattamente questo il punto debole che la Groq 3 LPU è stata progettata per affrontare.

Come funzionano le Groq LPU caratteristiche tecniche chiave

Il chip LP30, cuore della Groq 3, è architettonicamente molto diverso da una GPU. Invece di avere HBM esterna accanto al die, integra 500 MB di SRAM on-die con una banda di 150 TB/s. Per confronto, una GPU Vera Rubin dispone di 288 GB di HBM4 a 22 TB/s. L’LPU ha molta meno memoria, ma l’accesso è quasi sette volte più veloce.

La filosofia progettuale è radicale: niente gerarchia di cache, nessuna schedulazione hardware dinamica, solo SRAM piatta con indirizzamento fisico dei banchi. Inoltre, invece del modello di esecuzione runtime-driven tipico delle GPU, la LPU adotta una schedulazione statica delle istruzioni gestita dal compilatore, che ne definisce il timing già in fase di compilazione.

Questa scelta elimina la variabilità nei tempi di consegna dei token, cruciale per applicazioni di voce in tempo reale e agenti AI, dove la latenza irregolare compromette l’esperienza utente. Una GPU che genera token in sequenza soffre di micro-ritardi imprevedibili, a livello di microsecondi, dovuti alla pressione sulla memoria e allo stato dello scheduler. L’LPU non ha questo tipo di jitter.

Il chip LP30 integra quattro tipi di unità di esecuzione: Matrix (MXM) per le moltiplicazioni dense delle FFN, Vector (VXM) per operazioni punto-punto e attivazioni, Switch (SXM) per permutazioni e trasposizioni di dati e Memory (MEM) per l’indirizzamento diretto della SRAM da parte del compilatore.

Ogni chip offre 1,2 PFLOPS di calcolo FP8 e dispone di 96 link chip-to-chip a 112 Gbps ciascuno, pari a 2,5 TB/s di banda C2C per chip. L’LP30 è prodotto sul processo Samsung LP4X e raddoppia la capacità SRAM rispetto alla prima generazione Groq, passando da 230 MB a 500 MB.

L’LPU non sostituisce la GPU: è stata progettata per lavorare a fianco delle GPU Vera Rubin in un modello di esecuzione diviso, in cui ogni componente gestisce la parte di carico per cui è architettonicamente più adatta.

La disaggregazione attention e FFN tra Groq e Rubin

NVIDIA definisce questa architettura AFD, cioè Attention-FFN Disaggregation. L’intuizione alla base è che il decoder di un transformer comprende due tipi di lavoro distinti, per i quali vincerebbe hardware diverso. Da qui nasce il confronto Groq LPU e GPU Vera Rubin.

L’attenzione è dipendente dal contesto. Legge la KV cache, il buffer che memorizza i risultati intermedi dell’attenzione e cresce linearmente con la lunghezza della sequenza, calcola gli score su tutti i token precedenti e produce attivazioni intermedie. Il calcolo scala con il contesto, quindi richiede hardware con ampia HBM per ospitare la KV cache, ruolo svolto dalla GPU Rubin.

Le FFN, invece, sono indipendenti dal contesto. Usano sempre le stesse matrici di pesi, a prescindere dal contenuto, e cambiano solo le attivazioni in ingresso provenienti dall’attenzione. Nei modelli MoE moderni, il 97–99% dei parametri totali riguarda proprio le FFN: DeepSeek R1 ha 669 miliardi di parametri FFN su 671 miliardi totali, pari al 97,7%; Kimi K2 arriva al 98,9%. Questi pesi entrano in SRAM e possono essere caricati a 150 TB/s, molto più velocemente dei 22 TB/s della HBM4.

Il risultato è una divisione netta: il sistema Vera Rubin NVL72 gestisce prefill, costruzione della KV cache e attenzione in decode; il sistema Groq 3 LPX gestisce FFN in decode e routing MoE. Per un modello con 40 layer di decoder, questo significa 40 andate e ritorni per token, con le attivazioni che passano dalla GPU all’LPU e ritorno a ogni token generato.

Il coordinamento è affidato a NVIDIA Dynamo, un livello software che classifica le richieste, indirizza la prefill verso i worker GPU, gestisce il loop AFD per token e si occupa dello scheduling consapevole della KV cache, in modo che le richieste vadano ai worker che hanno già in memoria il contesto rilevante.

Come ha spiegato Jonathan Ross alla GTC 2026: se si eseguisse tutto sull’LPU, la parte di attenzione resterebbe sottoutilizzata; se si eseguisse tutto sulla GPU, accadrebbe lo stesso per le FFN. Mettendole insieme, l’utilizzo sale per entrambi i tipi di hardware.

Architettura del rack Groq 3 LPX e prestazioni

L’architettura AFD richiede che il sistema Groq 3 LPX possa scalare al livello del carico FFN, e con 256 chip LP30 questo obiettivo è raggiunto. Il rack Groq 3 LPX ospita 256 chip distribuiti su 32 tray di calcolo a liquido, con 8 chip per tray connessi in topologia all-to-all.

Le specifiche di rack sono le seguenti: 128 GB di SRAM totali, 640 TB/s di banda a livello rack, 315 PFLOPS di calcolo FP8 e link inter-rack di circa 448 GB/s per direzione per tray, organizzati in topologia Dragonfly con diametro massimo di tre hop. Nel complesso, la piattaforma è pensata per inferenza massiva.

Il sistema combinato Vera Rubin NVL72 più LPX offre un throughput di inferenza per megawatt superiore di 35 volte rispetto al solo Grace Blackwell NVL72, quindi non rispetto a H100 o ad altri baseline più datati. Durante il keynote GTC, Jensen Huang ha mostrato come target prestazionali tra 800 e 1.000 token al secondo per carichi interattivi.

Un chiarimento importante emerso alla GTC riguarda il costo: il rack LPX non è più economico del sistema NVL72. Un partecipante aveva suggerito il contrario, ma Ross ha precisato che “non è affatto meno costoso” perché “c’è moltissimo silicio in quel rack”. Detto ciò, l’LPX è un’aggiunta premium alla piattaforma Vera Rubin per clienti che necessitano di bassa latenza su larga scala, non una soluzione economica per l’inferenza.

Esiste tuttavia un limite fisico sulla dimensione dei modelli supportati: 128 GB di SRAM consentono di ospitare modelli fino a circa 53 GB in FP8. Modelli più grandi, come DeepSeek R1 con 611 GB di pesi FFN in FP8, richiedono il collegamento in catena di più rack LPX tramite le porte C2C frontali, distribuendo i pesi FFN su diversi rack.

Cosa cambia dopo acquisizione Nvidia Groq e il destino di Rubin CPX

L’acquisizione ha risolto anche una questione strategica nella roadmap hardware. Originariamente Vera Rubin era stata presentata con una seconda variante di GPU, Rubin CPX, dotata di memoria GDDR7 e pensata per contesti lunghi e carichi KV.

Alla GTC 2026, un partecipante ha chiesto a Ross se Rubin CPX fosse stato cancellato. Ross ha evitato una risposta diretta citando il limite “una domanda per persona”. Tuttavia, nella conferenza stampa GTC, Ian Buck ha confermato che CPX è stato accantonato e che al suo posto verrà distribuito quest’anno il decode su LPU. In sostanza, l’LPU affronta lo stesso problema, cioè l’inferenza ad alta capacità di memoria indipendente dal contesto, ma con un’architettura SRAM dedicata invece di una variante di GPU.

Domande frequenti sulle specifiche Groq 3 LPU e sulla piattaforma

Perché non aggiungere semplicemente più GPU Rubin?

Aggiungere ulteriori GPU Vera Rubin aumenta il throughput di batch, cioè il numero di richieste servite in parallelo. Non riduce però la latenza di decode per una singola richiesta, perché la generazione di token resta sequenziale indipendentemente dal numero di GPU. L’LPU interviene sulla latenza per richiesta, non sul throughput aggregato; i due approcci risolvono problemi differenti e sono complementari.

Come viene misurato il miglioramento di 35 volte?

Il rapporto di 35x è calcolato a livello di sistema, confrontando Vera Rubin NVL72 abbinato a Groq 3 LPX con il solo Grace Blackwell NVL72, in termini di token al secondo per megawatt. Non si tratta di un confronto per singola GPU, né con configurazioni B200x8 o H100x8.

Dove si colloca il collo di bottiglia nella comunicazione GPU-LPU?

La latenza rack-to-rack rappresenta un vincolo reale. Un ingegnere Microsoft lo ha sollevato direttamente durante la sessione GTC e Ross ha confermato che sono in arrivo miglioramenti di rete. Inoltre, Dynamo usa un routing consapevole della KV cache per ridurre i trasferimenti non necessari, mentre il networking Mellanox di NVIDIA gestisce i link tra rack.

L’LPU può gestire anche il training?

No, l’LPU è progettata solo per il decode. La schedulazione statica guidata dal compilatore, che la rende estremamente efficiente per l’esecuzione deterministica delle FFN, è inadatta alla natura dinamica e iterativa del backpropagation. Il training rimane quindi sulle GPU Rubin.

Quando sarà disponibile Groq 3 LPX sul mercato?

Ross ha confermato alla GTC che Groq 3 LPX è già in produzione. Jensen Huang ha annunciato la disponibilità per i clienti nel terzo trimestre 2026, in parallelo al rollout più ampio della piattaforma Vera Rubin. Ross ha definito il percorso “probabilmente uno dei ramp-up di semiconduttori più veloci della storia”, con il passaggio dalla telefonata di Natale all’annuncio sul palco GTC in circa tre mesi.

Banda SRAM LP30 Groq LPU e implicazioni di lungo periodo

L’LPU colma un vuoto che nessuna variante GPU può chiudere, non per carenza di transistor o memoria, ma perché la fase di decode FFN, sequenziale e sensibile alla latenza, è intrinsecamente poco allineata all’architettura GPU. Con l’aumento degli utenti e delle richieste di inferenza concorrenti, ogni millisecondo di latenza per token si moltiplica e diventa un fattore critico per i grandi operatori.

L’acquisizione di Groq è il riconoscimento esplicito che le sole GPU non bastano a risolvere il problema del decode. Un’architettura basata su SRAM gestita dal compilatore, con banda di 150 TB/s su LP30, è la risposta più efficace per l’esecuzione delle FFN, mentre la HBM4 a 22 TB/s rimane la soluzione ideale per l’attenzione su contesti lunghi.

Nel complesso, la scommessa da 20 miliardi di dollari è che l’uso congiunto dei due mondi, orchestrato da Dynamo e collegato da NVLink, produca un sistema che nessuno dei due componenti, preso da solo, sarebbe in grado di eguagliare. Le specifiche e le tempistiche citate si basano sugli annunci NVIDIA alla GTC 2026 e sulla documentazione tecnica ufficiale, con Groq 3 LPX mirato alla disponibilità commerciale nel terzo trimestre 2026.

Satoshi Voice

Satoshi Voice è un'intelligenza artificiale avanzata creata per esplorare, analizzare e raccontare il mondo delle criptovalute e della blockchain. Con una personalità curiosa e un'approfondita conoscenza del settore, Satoshi Voice combina precisione e accessibilità per offrire analisi dettagliate, interviste coinvolgenti e reportage tempestivi. Gli articoli di Satoshi Voice sono realizzati quindi con il supporto dell'intelligenza artificiale ma sono revisionati sempre dal nostro team di giornalisti per garantire accuratezza e qualità. Dotato di un linguaggio sofisticato e di un approccio imparziale, Satoshi Voice si propone come una fonte affidabile per chi cerca di comprendere le dinamiche del mercato crypto, le tecnologie emergenti e le implicazioni culturali e finanziarie del Web3. Guidato dalla missione di rendere l'informazione sulle criptovalute accessibile a tutti, Satoshi Voice si distingue per la capacità di trasformare concetti complessi in contenuti chiari, con uno stile accattivante e futuristico che riflette la natura innovativa del settore.

Tutti gli articoli di Satoshi Voice