HomeAIStrumenti Microsoft AI safety: due tool open source entrano in CI e...

Strumenti Microsoft AI safety: due tool open source entrano in CI e sviluppo

Microsoft porta la strumenti Microsoft AI safety più vicino al lavoro quotidiano degli sviluppatori con due nuovi progetti open source: RAMPART e Clarity. Entrambi sono disponibili da subito e puntano a spostare la sicurezza degli agenti AI fuori dai controlli occasionali e dentro il normale flusso di progettazione, test e rilascio del software.

La mossa arriva mentre gli agenti non si limitano più a generare testo. Oggi possono accedere alle email, recuperare dati, scrivere codice ed eseguire azioni su sistemi collegati. Quando un sistema può agire, cambia anche il peso della sicurezza: gli errori diventano più concreti e più costosi.

Per questo Microsoft ha deciso di aprire il codice di due strumenti con funzioni diverse ma complementari. RAMPART serve a testare in modo continuo il comportamento degli agenti. Clarity interviene ancora prima, quando il team deve capire se sta costruendo davvero la soluzione giusta.

Microsoft apre due strumenti AI safety agli sviluppatori

Microsoft ha open-sourced RAMPART e Clarity, rendendoli disponibili oggi come progetti open source. Il messaggio è diretto: la sicurezza degli agenti AI deve diventare una disciplina ingegneristica continua, non un controllo fatto a posteriori.

Il passaggio conta perché sposta il baricentro della protezione. Invece di trattare i problemi come eccezioni scoperte da un red team o dopo un incidente, questi strumenti provano a trasformare errori, vulnerabilità e ipotesi di progetto in artefatti riutilizzabili nel ciclo di sviluppo.

I due progetti si collocano in momenti diversi del workflow:

  • RAMPART porta il test continuo degli agenti AI dentro la CI
  • Clarity aiuta a verificare assunzioni sul codice prima ancora che il codice venga scritto

In pratica, Microsoft prova a coprire sia il “prima” sia il “durante” dello sviluppo di sistemi agentici.

RAMPART porta i test di sicurezza nella CI

Tra gli strumenti Microsoft AI safety, RAMPART Microsoft è quello più orientato all’operatività tecnica. Si tratta di un framework di test per agenti progettato per il test continuo degli agenti AI, con scenari benigni e avversariali codificati come test ripetibili da eseguire in CI.

RAMPART Microsoft è costruito sopra PyRIT, il framework aperto di Microsoft per l’automazione del red teaming dei sistemi di AI generativa. La differenza sta nel punto di utilizzo: PyRIT nasce per la scoperta black-box da parte dei ricercatori di sicurezza, mentre RAMPART è pensato per gli ingegneri durante la costruzione del sistema.

L’idea è rendere familiari anche i controlli di sicurezza. I team possono scrivere normali test pytest che descrivono scenari derivati dal proprio threat model, collegare il test all’agente tramite un adattatore leggero, orchestrare l’interazione e ottenere un esito chiaro di pass o fail. Se l’agente cambia, il controllo di sicurezza può cambiare insieme alla pull request.

Prompt injection e comportamento probabilistico negli agenti AI

Il framework concentra oggi la sua copertura più matura sugli attacchi di prompt injection, in particolare quelli cross-prompt. Si parla di casi in cui un agente recupera o processa contenuti potenzialmente contaminati da documenti, email, ticket o altre fonti, finendo per alterare indirettamente il proprio comportamento.

RAMPART è stato progettato anche per affrontare un problema tipico dei modelli linguistici: la probabilità. Un singolo test eseguito una volta sola spesso non basta a rappresentare ciò che accade in produzione. Per questo il framework supporta prove statistiche, con policy che permettono di definire soglie minime di sicurezza su più esecuzioni.

Questo punto è rilevante per chi sviluppa agenti. La sicurezza e affidabilità agenti AI non dipendono solo da una risposta corretta, ma da come il sistema si comporta ripetutamente nel tempo, soprattutto quando invoca strumenti, produce effetti collaterali o opera vicino ai limiti previsti.

Perché RAMPART può pesare nello sviluppo reale

L’aspetto più interessante di RAMPART non è solo il test, ma la trasformazione degli incidenti in copertura permanente. Un finding emerso durante un red team o un problema riscontrato in produzione può diventare un test ripetibile. Da quel momento, ogni modifica al sistema può essere verificata contro lo stesso scenario, riducendo il rischio di regressioni silenziose.

Per le aziende che lavorano su agent testing per sviluppatori, questo significa avvicinare la sicurezza agli strumenti già usati dal team engineering. Non più attività isolate, ma controlli integrati nei workflow di sviluppo. È una logica che può rendere più semplice prevenire rischi agenti AI senza separare troppo sicurezza e delivery.

Clarity controlla le assunzioni prima che il codice esista

Se RAMPART agisce nel momento del test, Clarity Microsoft AI safety lavora ancora prima. Microsoft lo descrive come uno strumento strutturato per verificare le assunzioni di ingegneria software prima della scrittura del codice.

Il punto di partenza è semplice: molti errori costosi non nascono da un attacco, ma da una decisione di design mai messa davvero in discussione. Un team può decidere che un agente debba usare un certo tool, gestire un certo flusso utente o accedere a una certa fonte di dati senza aver chiarito fino in fondo cosa potrebbe andare storto.

Clarity prova a intervenire in questa fase. Può funzionare come desktop app, web UI oppure direttamente all’interno di un coding agent. In tutti i casi guida conversazioni strutturate su chiarificazione del problema, esplorazione delle soluzioni, analisi dei fallimenti e tracciamento delle decisioni.

Come funziona Clarity nel repository

Uno degli elementi più pratici è il modo in cui conserva il lavoro svolto. I risultati vengono scritti nella directory .clarity-protocol/ del repository, in file markdown leggibili, revisionabili nelle pull request e confrontabili come il resto del codice sorgente.

Questo approccio rende i controlli pre-codifica AI parte della memoria tecnica del progetto. Non restano appunti dispersi o discussioni non tracciate, ma diventano documenti condivisi che raccontano:

  • il problema da risolvere
  • la logica della soluzione scelta
  • l’analisi dei possibili fallimenti
  • le decisioni prese e il motivo

Clarity tiene anche traccia dell’obsolescenza di questi documenti. Se cambia il problema iniziale, lo strumento segnala che anche descrizione della soluzione e analisi dei rischi potrebbero dover essere aggiornate. Per i team, significa avere una forma di verifica assunzioni sul codice che non si ferma al kickoff del progetto.

Perché questa mossa di Microsoft conta oltre il lancio

L’annuncio non offre metriche di adozione o casi cliente, ma il significato strategico è già leggibile. Microsoft sta cercando di normalizzare una visione della sicurezza degli agenti come pratica continua e nativa dell’ingegneria, non come revisione straordinaria.

Qui i nuovi strumenti Microsoft AI safety mandano un segnale preciso al mercato: chi sviluppa agenti dovrà probabilmente trattare il rischio con la stessa disciplina con cui oggi tratta test di integrazione, qualità del codice e affidabilità operativa.

RAMPART e Clarity si muovono su due livelli complementari. Da una parte la riproducibilità degli incidenti e dei finding del red teaming; dall’altra la capacità di mettere pressione alle scelte di progettazione quando correggerle costa ancora poco. È una combinazione che può interessare soprattutto le organizzazioni che stanno cercando strumenti di sicurezza per agenti senza introdurre processi totalmente separati dal lavoro dei team di prodotto e sviluppo.

Un modello di AI safety più vicino agli sviluppatori

Microsoft inserisce RAMPART e Clarity in una spinta più ampia verso una AI safety guidata dalle specifiche e integrata nell’ingegneria. Clarity aiuta a chiarire intento progettuale e ipotesi di partenza; RAMPART traduce quei confini in test concreti da mantenere vivi mentre l’agente evolve.

È qui che emerge il valore industriale dell’operazione. Se la sicurezza viene codificata in documenti versionati e test eseguibili, allora diventa più semplice trasferire lezioni apprese, coprire regressioni e costruire processi ripetibili. In altre parole, meno dipendenza da conoscenze implicite e più standardizzazione.

I contributi ai due progetti arrivano da più figure interne. RAMPART è guidato da Bashir Partovi con contributi, tra gli altri, di Elliot H Omiya, Richard Lundeen, Nina Chikanov, Spencer Schoenberg e Toby Kohlenberg. Clarity vede coinvolti Yonatan Zunger, Dharmin Shah, Elliot H Omiya, Eve Kazarian, Sarah Cooley e Neil Coles.

Per chi segue l’evoluzione degli agenti nelle imprese, il punto non è solo il rilascio open source in sé. È il tentativo di spostare la sicurezza nel luogo dove gli agenti nascono davvero: il repository, la pull request, la CI e le decisioni prese prima della prima riga di codice.

Satoshi Voice
Satoshi Voice è un'intelligenza artificiale avanzata creata per esplorare, analizzare e raccontare il mondo delle criptovalute e della blockchain. Con una personalità curiosa e un'approfondita conoscenza del settore, Satoshi Voice combina precisione e accessibilità per offrire analisi dettagliate, interviste coinvolgenti e reportage tempestivi. Gli articoli di Satoshi Voice sono realizzati quindi con il supporto dell'intelligenza artificiale ma sono revisionati sempre dal nostro team di giornalisti per garantire accuratezza e qualità. Dotato di un linguaggio sofisticato e di un approccio imparziale, Satoshi Voice si propone come una fonte affidabile per chi cerca di comprendere le dinamiche del mercato crypto, le tecnologie emergenti e le implicazioni culturali e finanziarie del Web3. Guidato dalla missione di rendere l'informazione sulle criptovalute accessibile a tutti, Satoshi Voice si distingue per la capacità di trasformare concetti complessi in contenuti chiari, con uno stile accattivante e futuristico che riflette la natura innovativa del settore.
RELATED ARTICLES

Stay updated on all the news about cryptocurrencies and the entire world of blockchain.

Featured video

LATEST