I modelli di IA open-source vulnerabili all'uso criminale, avvertono i ricercatori

Hacker e altri criminali possono facilmente comandare computer che operano modelli linguistici di grandi dimensioni open-source al di fuori dei guardrail e dei vincoli delle principali piattaforme di intelligenza artificiale, creando rischi per la sicurezza e vulnerabilità, hanno affermato i ricercatori giovedì 29 gennaio.

Gli hacker potrebbero prendere di mira i computer che eseguono gli LLM e indirizzarli a svolgere operazioni di spam, creazione di contenuti di phishing o campagne di disinformazione, eludendo i protocolli di sicurezza della piattaforma, hanno affermato i ricercatori.

La ricerca, condotta congiuntamente dalle società di sicurezza informatica SentinelOne e Censys nel corso di 293 giorni e condivisa esclusivamente con Reuters, offre una nuova finestra sulla portata dei casi d'uso potenzialmente illeciti per migliaia di implementazioni LLM open-source. Questi includono hacking, incitamento all'odio e molestie, contenuti violenti o cruenti, furto di dati personali, truffe o frodi e, in alcuni casi, materiale di abuso sessuale su minori, hanno affermato i ricercatori.

Mentre esistono migliaia di varianti LLM open-source, una parte significativa degli LLM sugli host accessibili da internet sono varianti di Llama di Meta, Gemma di Google DeepMind e altri, secondo i ricercatori. Mentre alcuni dei modelli open-source includono guardrail, i ricercatori hanno identificato centinaia di casi in cui i guardrail sono stati esplicitamente rimossi.

Le conversazioni del settore IA sui controlli di sicurezza stanno "ignorando questo tipo di capacità in eccesso che viene chiaramente utilizzata per tutti i tipi di cose diverse, alcune legittime, alcune ovviamente criminali", ha affermato Juan Andres Guerrero-Saade, direttore esecutivo per la ricerca su intelligence e sicurezza presso SentinelOne. Guerrero-Saade ha paragonato la situazione a un "iceberg" che non viene adeguatamente contabilizzato in tutto il settore e nella comunità open-source.

Lo studio esamina i prompt di sistema

La ricerca ha analizzato le implementazioni accessibili pubblicamente di LLM open-source implementati tramite Ollama, uno strumento che consente a persone e organizzazioni di eseguire le proprie versioni di vari modelli linguistici di grandi dimensioni.

I ricercatori sono stati in grado di vedere i prompt di sistema, che sono le istruzioni che dettano il comportamento del modello, in circa un quarto degli LLM osservati. Di questi, hanno determinato che il 7,5% potrebbe potenzialmente consentire attività dannose.

Circa il 30% degli host osservati dai ricercatori opera dalla Cina e circa il 20% negli Stati Uniti.

Rachel Adams, CEO e fondatrice del Global Center on AI Governance, ha affermato in un'email che una volta rilasciati i modelli aperti, la responsabilità di ciò che accade dopo diventa condivisa in tutto l'ecosistema, compresi i laboratori di origine.

"I laboratori non sono responsabili per ogni uso improprio a valle (che è difficile da anticipare), ma mantengono un importante dovere di cura per anticipare danni prevedibili, documentare i rischi e fornire strumenti e orientamenti di mitigazione, in particolare data la capacità di applicazione globale disomogenea", ha affermato Adams.

Un portavoce di Meta ha rifiutato di rispondere a domande sulle responsabilità degli sviluppatori nell'affrontare le preoccupazioni relative all'abuso a valle dei modelli open-source e su come potrebbero essere segnalate le preoccupazioni, ma ha notato gli strumenti Llama Protection dell'azienda per gli sviluppatori Llama e la Meta Llama Responsible Use Guide dell'azienda.

Ram Shankar Siva Kumar, responsabile del Microsoft AI Red Team, ha affermato in un'email che Microsoft ritiene che i modelli open-source "svolgano un ruolo importante" in una varietà di aree, ma, "allo stesso tempo, siamo consapevoli che i modelli aperti, come tutte le tecnologie trasformative, possono essere utilizzati in modo improprio dagli avversari se rilasciati senza adeguate protezioni."

Microsoft esegue valutazioni pre-rilascio, inclusi processi per valutare "i rischi per scenari esposti a internet, self-hosted e di chiamata di strumenti, dove l'uso improprio può essere elevato", ha affermato. L'azienda monitora anche le minacce emergenti e i modelli di uso improprio. "In definitiva, l'innovazione aperta responsabile richiede un impegno condiviso tra creatori, implementatori, ricercatori e team di sicurezza."

Ollama non ha risposto a una richiesta di commento. Google di Alphabet e Anthropic non hanno risposto alle domande. – Rappler.com