Il calcolo AI distribuito si sta affermando come una valida alternativa al tradizionale modello centralizzato dei data center, e Mesh LLM è all’avanguardia di questa trasformazione. Mesh LLM utilizza il pooling di GPU e memoria da più macchine per creare una rete di calcolo AI distribuita, offrendo una API compatibile con OpenAI che nasconde la complessità della distribuzione ai clienti.
Summary
Mesh LLM rende possibile il calcolo AI distribuito con pooling di GPU
Mesh LLM permette di sfruttare le GPU e la memoria disponibile su più macchine, formando una rete di calcolo AI distribuita. Espone un’unica API compatibile con OpenAI su localhost:9337/v1, rendendo trasparente agli utenti dove avviene il calcolo effettivo.
Pooling di GPU e memoria tra più macchine
Il concetto di calcolo AI distribuito attraverso Mesh LLM si basa sulla capacità di unire le risorse di calcolo esistenti. Questo approccio elimina la necessità di investire in costosi data center, consentendo invece di condividere le risorse tra diversi nodi della rete.
API compatibile OpenAI
L’API di Mesh LLM, compatibile con OpenAI, consente agli utenti di interagire con la rete di calcolo senza preoccuparsi della localizzazione fisica delle operazioni, offrendo un’esperienza utente lineare e semplificata.
Modalità flessibili di esecuzione dei modelli incluso lo split pipeline ‘Skippy’
Mesh LLM offre modalità di esecuzione flessibili, permettendo ai modelli di essere eseguiti localmente, instradati a nodi pari o suddivisi in pipeline attraverso macchine multiple.
Esecuzione locale e routing tra peer
Le richieste possono essere eseguite localmente, instradate a un nodo che ha già caricato il modello, o divise in più macchine, garantendo un’ottimizzazione delle risorse e una maggiore efficienza operativa.
Modalità ‘Skippy’ per dividere modelli grandi su più macchine
La modalità ‘Skippy’ suddivide i modelli troppo grandi per una singola macchina in fasi, facilitando l’esecuzione su più nodi, ciascuno responsabile di un segmento del modello.
Architettura di rete sicura peer-to-peer con endpoint iroh
Mesh LLM utilizza una rete peer-to-peer sicura, basata su endpoint iroh per connessioni QUIC autenticati, senza l’uso di server centrali.
Connessioni QUIC senza server centrale
Ogni nodo in Mesh LLM opera un endpoint iroh, gestendo connessioni dirette e sicure tra nodi attraverso la rete, eliminando la necessità di server centralizzati e migliorando la sicurezza.
Identità nodo e traversal NAT
Le connessioni tra nodi sono autenticate tramite chiavi pubbliche, con funzionalità di traversal NAT per garantire connettività diretta anche in reti complesse.
Catalogo completo di modelli da piccoli a AI di scala gigante
Mesh LLM include un ampio catalogo di oltre 40 modelli, dai più piccoli fino ai giganteschi modelli mixture-of-experts con 235 miliardi di parametri.
Oltre 40 modelli disponibili
Gli utenti possono scegliere tra una vasta gamma di modelli, adattabili alle esigenze specifiche di calcolo e capacità delle loro infrastrutture hardware.
Supporto per modelli mixture-of-experts a 235 miliardi di parametri
Per i progetti più complessi, Mesh LLM supporta modelli di grandi dimensioni che possono essere suddivisi e gestiti in collaborazione da più nodi nella rete.
FAQ
Come Mesh LLM abilita il calcolo AI distribuito?
Mesh LLM aggrega GPU e memoria da più macchine in una rete mesh, offrendo una API compatibile con OpenAI che astrae la natura distribuita dai clienti.
Quali modalità di esecuzione supporta Mesh LLM per i modelli AI?
I modelli possono essere eseguiti localmente su una GPU di una macchina, instradati a nodi pari o suddivisi su più macchine usando la modalità pipeline ‘Skippy’.
Come viene gestita la rete sicura in Mesh LLM?
Ogni nodo esegue un endpoint iroh che stabilisce connessioni QUIC autenticate con traversal NAT e fallback di relay, senza affidarsi a un server centrale.
Quali modelli sono disponibili tramite Mesh LLM?
Mesh LLM fornisce oltre 40 modelli, dai piccoli modelli da mezzo miliardo di parametri ai modelli molto grandi con 235 miliardi di parametri.
Contenuto realizzato con l’assistenza dell’intelligenza artificiale e con revisione editoriale umana.
