Come funzionano gli attacchi hacker ai sistemi di intelligenza artificiale aziendali?
Poche ore dopo che gli LLM come chatGPT sono arrivati all’onore delle cronache, gli esperti hanno iniziato a segnalare che sarebbero stati usati dai cyber-criminali per compiere le loro malefatte. L’allarme, però, riguardava principalmente il fatto che sarebbero stati usati per creare false e-mail più credibili, falsificare documenti in lingue diverse e fungere, in generale, come supporto per rendere i criminali più efficaci nel portare avanti quella tipologia di attacchi che già ci tormentavano. Ma ogni nuova tecnologia porta con sé delle vulnerabilità e adesso è arrivato il momento in cui i criminali usano i sistemi di intelligenza artificiale usati in azienda per rubare documenti o attaccare la rete interna.
EchoLeak – un “phishing” per IA
Il primo caso è arrivato a giugno, con una vulnerabilità chiamata EchoLeak che colpiva Microsoft CoPilot 365. In particolare, EchoLeak sfruttava il modo in cui Copilot per Microsoft 365 pesca automaticamente, da e-mail e documenti, il “contesto” per le richieste che gli vengono fatte. Un errore nella gestione dei contenuti letti dalle mail permetteva a un attaccante invia un messaggio apparentemente innocuo che conteneva istruzioni nascoste per l’IA. L’utente non doveva fare nulla di particolare se non continuare a usare normalmente il suo computer: quando, anche giorni dopo, veniva posta a Copilot una domanda che riguardava un argomento trattato nella mail inviata dall’attaccante, il sistema la recuperava e iniziava a seguire le istruzioni nascoste, raccogliendo dati interni (da Outlook/SharePoint/Teams) per poi spedirli all’esterno per esempio tramite link o immagini che generano richieste automatiche verso un server controllato dall’attaccante. Era a tutti gli effetti una vulnerabilità cosiddetta “zero-click” perché permette un attacco senza che l’utente apra o clicchi consapevolmente qualcosa. Microsoft ha corretto il problema, ma il vaso di pandora è stato scoperchiato: nelle aziende ci sono sistemi che vanno protetti in maniera diversa rispetto agli altri perché sono soggetti ad attacchi di tipo molto diverso.
Se Microsoft piange, Google non ride
Pochi giorni fa, un problema simile a quello di EchoLeak è stato riscontrato anche in Gemini. Anche in questo caso, non serviva alcuna interazione da parte dell’utente e l’attacco veniva portato tramite un semplice invito via mail per Google Calendar. Un invito “confezionato” nel modo giusto, infatti, poteva contenere istruzioni che sarebbero state eseguite da Gemini quando gli fosse stata chiesta un informazione a proposito degli eventi tipo “quali appuntamenti ho in calendario per oggi”? Le istruzioni che era possibile dare a Gemini non avevano limiti e questo significa che si potevano anche controllare dispositivi di domotica eventualmente connessi all’account colpito. Anche in questo caso, la ricerca sembra essere arrivata prima dei criminali.
Non serve che l’IA sia in casa, anche il cloud ha i suoi guai
Un altro sistema di attacco “poco convenzionale” è stato scoperto su di un sistema IA di Asana e rivelato pochi giorni dopo la scoperta di Echoleak. In pratica, Asana aveva attivato un’integrazione “sperimentale” di AI basata su MCP (Model Context Protocol) per permettere ai modelli con i dati aziendali di parlare con altre app. Le aziende caricavano i propri dati e i dipendenti o i clienti potevano fare domande per avere risposte basate sui documenti caricati. Purtroppo, in quel server MCP c’era un bug nell’isolamento dei dati: in certe condizioni, informazioni del tuo dominio Asana potevano finire visibili ad altri utenti che usavano la stessa integrazione AI ma che appartenevano ad aziende diverse. Per questo Asana ha spento il servizio dal 5 al 17 giugno, resettato tutte le connessioni e ha avvisato i clienti che hanno potuto ricominciare a usare il servizio, in sicurezza, dopo qualche giorno. Mentre nel caso di Copilot il problema era nel modo in cui si andavano a pescare le istruzioni da seguire, in questo caso il sistema di AI poteva attingere ai documenti sbagliati perché non erano stati ben fissati i confini che separavano le informazioni di un’azienda rispetto a quelle di un’altra. Un problema che avrebbe potuto portare a fughe di informazioni riservate, ma che sembra esser stato identificato prima che potesse far danni.
LameHug, il primo “criminale informatico artificiale” che lavora dall’interno
Quelli che abbiamo visto finora sono attacchi di tipo diverso dal solito, detti “LLM Scope Violation” (violazione degli scopi di un LLM) dove si usano delle istruzioni per far fare all’IA cose che non dovrebbe fare. Nel caso di LameHug, invece, ci troviamo davanti a quello che sembra essere il primo “malware AI” visto finora. Infatti, deve arrivare sui sistemi aziendali tramite i vettori d’attacco tradizionali, ma una volta dentro sfrutta uno dei sistemi AI di AliBaba specializzato nello scrivere codice eseguibile per cercare di portare a termine la sua missione di compromissione dei sistemi. Tramite i comandi eseguiti, si occupa di raccogliere informazioni di base sul sistema dove è in esecuzione (come processi attivi, informazioni sull’hardware e sulle connessioni di rete), effettuare la ricerca ricorsiva di documenti Microsoft Office nelle cartelle “Desktop”, “Documenti” e “Download” ed esfiltrare i dati raccolti tramite Ftp o Post. In pratica, cerca di fare “da solo” quello che un criminale fa quando riesce a bucare le difese informatiche di un’azienda.
Fonte: Il Sole 24 Ore
