Nel nuovo modello di indicizzazione dati di Sui, la tecnologia Sui gRPC streaming diventa il canale principale per ricevere checkpoint finalizzati in tempo reale, con latenza ridotta al minimo.
Summary
Architettura ibrida tra streaming e polling su Sui
La blockchain Sui ha introdotto il gRPC streaming come fonte primaria per l’infrastruttura di indicizzazione, consentendo l’ingestione di checkpoint in tempo reale con latenza molto bassa. Inoltre, la piattaforma combina questo flusso continuo con tradizionali meccanismi di polling per preservare accuratezza e resilienza del sistema.
Questo approccio ibrido permette agli sviluppatori di accedere ai checkpoint finalizzati non appena disponibili, mantenendo la compatibilità con gli indexer personalizzati esistenti. In questo modo, i team possono evolvere l’architettura senza compromettere le implementazioni già in produzione.
Streaming gRPC e fine dei ritardi da polling
La nuova funzionalità di gRPC streaming cambia in modo sostanziale il modo in cui gli indexer ricevono i dati della blockchain di Sui. I full node ora inviano direttamente i checkpoint agli indexer non appena vengono finalizzati, eliminando la necessità di interrogazioni periodiche.
In passato, i cicli di polling ripetuti introducevano ritardi tra la creazione del checkpoint e la sua elaborazione a valle. Con il nuovo modello, il sistema fornisce checkpoint in tempo reale, “non appena vengono finalizzati”, con “dati più veloci, pipeline più resilienti e meno lavoro infrastrutturale su Sui”.
Il meccanismo di streaming è configurato tramite un parametro semplice, in cui gli sviluppatori aggiungono un argomento streaming-url che punta all’endpoint di un full node. Detto ciò, il sistema riceve i checkpoint come eventi, invece di recuperarli a intervalli prefissati.
Questo modello event-driven risulta particolarmente utile per applicazioni sensibili alla latenza, come sistemi di monitoraggio e piattaforme di analisi in tempo reale. Inoltre, consente di ridurre l’onere infrastrutturale legato alla gestione di frequenti richieste di polling.
Hybrid model con fallback di polling e resilienza
Sui affianca allo streaming fonti di polling obbligatorie come meccanismo di fallback, per superare i limiti intrinseci delle sole connessioni in tempo reale. Le connessioni di streaming, infatti, forniscono dati solo a partire dal momento in cui vengono stabilite.
Il General-Purpose Indexer è l’esempio concreto di questo modello ibrido in ambienti di produzione: utilizza lo streaming come percorso principale di ingestione, mantenendo però fonti di polling come meccanismo di sicurezza.
Questa configurazione consente di mantenere i dati indicizzati sempre aggiornati e, allo stesso tempo, garantisce riavvii puliti e un recupero senza interruzioni in caso di guasti. Tuttavia, il polling rimane attivo soprattutto per l’accesso ai dati storici e per coprire eventuali disconnessioni.
Nel complesso, il modello riduce il rischio di perdita di dati o di ritardi prolungati rispetto allo stato della rete, problema tipico dei sistemi che dipendono da una sola modalità di ingestione.
Framework di indicizzazione disaccoppiato dalle sorgenti
Il Custom Indexing Framework di Sui separa completamente l’elaborazione dei checkpoint dall’ingestione dei dati. Gli indexer consumano e trasformano i checkpoint senza dipendere da una sorgente specifica, che sia streaming o polling.
Questa astrazione consente ai team di modificare le strategie di ingestione man mano che cambiano i requisiti, senza dover riscrivere la logica di elaborazione. Inoltre, secondo la documentazione, con gRPC non è più necessario effettuare polling, né stimare la tempistica, né introdurre ritardi artificiali legati agli intervalli di fetch.
Gli sviluppatori possono adottare lo streaming in modo graduale in base alle caratteristiche del carico di lavoro. Le applicazioni che privilegiano la freschezza del dato traggono vantaggio da un’adozione immediata, mentre i sistemi che gestiscono elaborazioni offline possono continuare a usare esclusivamente il polling.
Il framework supporta entrambe le modalità all’interno dello stesso modello di processing. Inoltre, gli indexer personalizzati esistenti costruiti sul framework ufficiale richiedono pochi interventi per integrare la nuova capacità di flusso continuo.
Integrazione operativa di Sui gRPC streaming negli indexer
L’aggiunta della capacità gRPC avviene includendo un parametro streaming-url accanto alla configurazione esistente remote-store-url. In questo modo, l’indexer mantiene la sorgente remota preesistente e aggiunge il nuovo canale di eventi in tempo reale.
La logica di elaborazione dei checkpoint resta invariata per tutta la transizione. Il framework gestisce automaticamente il passaggio tra le sorgenti durante il funzionamento, prevenendo i tipici problemi dei sistemi che rischiano di perdere dati o restare indietro rispetto allo stato della rete.
In prospettiva, questa architettura offre agli sviluppatori una base più robusta per costruire indexer a bassa latenza, adatti tanto alla DeFi quanto ad applicazioni analitiche avanzate. Inoltre, la combinazione di streaming e polling garantisce un equilibrio tra velocità operativa e affidabilità di lungo periodo.
Nel complesso, l’introduzione di gRPC come canale principale di ingestione rafforza l’ecosistema di Sui, offrendo strumenti più moderni per gestire checkpoint finalizzati e dati storici in modo coerente e resiliente.
