rivista di opinione, ricerca e studi filosofici
rivista di opinione, ricerca e studi filosofici

Scoperto un bug di ChatGPT

Alcuni ricercatori sono riusciti a estrarre dati dai processi di addestramento

di Francesco Pungitore*

 

Scoperta una vulnerabilità nel popolare modello di intelligenza artificiale ChatGPT, sviluppato da OpenAI. Un caso che offre un'importante occasione di riflessione sull'equilibrio tra innovazione tecnologica e sicurezza informatica. Ne hanno parlato in questi giorni sia Wired Italia che Raffaele Gaito. Un gruppo di ricercatori ha dimostrato (LEGGI QUI) che, tramite una specifica e abbastanza semplice metodologia, è possibile estrarre dati dai processi di addestramento dei chatbot (verrebbe da dire, non solo di ChatGPT ma, in generale, da tutti i modelli di linguaggio open-source, semi-aperti e chiusi). Il tutto è stato pubblicato in uno studio accademico intitolato “Scalable extraction of training data from (production) Language Models” redatto da un team di affiliati a istituzioni come Google DeepMind, l'Università di Washington, Cornell, CMU, UC Berkeley e ETH Zurich, tra gli altri.

Il “buco” nell’IA

Il metodo consiste nel sollecitare il modello a ripetere all’infinito una parola. Il che porta (ma non sempre) alla rivelazione di informazioni sensibili, come indirizzi e-mail e numeri di telefono. L'analisi qualitativa ha mostrato che i ricercatori sono stati in grado di estrarre un'ampia gamma di tipi di dati, inclusi informazioni personali identificabili (PII), contenuti NSFW, estratti letterari, URL, identificatori crittograficamente casuali e altro ancora. Questa falla solleva questioni importanti riguardo la gestione dei dati e “potrebbe” (il condizionale è d’obbligo senza conferme da fonti ufficiali) avere influito anche sulla recente “tempesta” interna ad OpenAI, con l’improvviso licenziamento del CEO, Sam Altman, e il suo successivo reintegro.

 

La risposta di OpenAI

I ricercatori hanno condiviso le loro scoperte in modo responsabile con gli autori dei modelli studiati, tra cui anche OPT, Falcon, Mistral e LLaMA, prima della pubblicazione del documento. Hanno seguito le linee guida standard di divulgazione e hanno dato 90 giorni per affrontare la questione prima di pubblicare i loro risultati. La divulgazione è stata fatta nel tentativo di attirare maggiore attenzione sui problemi di sicurezza dei dati e le sfide di allineamento dei modelli di intelligenza artificiale generativa.​ Questa pratica, nota come “responsible disclosure” (un termine utilizzato nel campo della sicurezza informatica per descrivere un processo in cui un individuo o un'organizzazione che scopre una vulnerabilità in un sistema o software la segnala in modo responsabile e confidenziale al proprietario o al creatore del sistema), è un pilastro fondamentale nella sicurezza informatica. I ricercatori, nel loro studio, suggeriscono che per contrastare efficacemente la capacità dei modelli di lingua di memorizzare e potenzialmente rivelare dati sensibili, sono necessarie tecniche più raffinate e avanzate di deduplicazione dei dati. Questo implica un approccio più meticoloso e dettagliato nella preparazione dei dataset di addestramento, per prevenire la memorizzazione e la successiva estrazione di dati potenzialmente sensibili o privati. Le misure adottate saranno, dunque, cruciali per rafforzare la fiducia nell'uso responsabile dei modelli di intelligenza artificiale.

In attesa di ulteriori sviluppi, gli utenti di ChatGPT sono incoraggiati a esercitare prudenza, evitando di condividere informazioni sensibili e sfruttando le opzioni di privacy offerte da OpenAI. Queste misure includono la possibilità di richiedere che i propri dati non siano utilizzati per l'addestramento dei modelli o di farli rimuovere completamente.

 

Un campanello d'allarme

Questo episodio rappresenta un importante promemoria sulle sfide che investono il mondo dell'intelligenza artificiale. La scoperta del varco nella sicurezza di ChatGPT non solo mette in luce la necessità di robusti protocolli di protezione dei dati, ma offre anche un'opportunità per migliorare e rafforzare le pratiche di gestione delle informazioni degli utenti in questa tecnologia in rapida evoluzione.

 

*giornalista professionista, docente di Filosofia, Storia, Scienze Umane e Tecniche di Comunicazione con Perfezionamento post-laurea in Tecnologia per l’Insegnamento e Master in Comunicazione Digitale. Direttore Tecnico dell’Osservatorio Nazionale Minori e Intelligenza Artificiale

Extracting Training Data from ChatGPT
Il paper integrale originale con lo studio eseguito dai ricercatori
2311.17035.pdf
Documento Adobe Acrobat [1.4 MB]
Stampa | Mappa del sito
© 2015 - Essere & Pensiero - Testata giornalistica online ai sensi dell'art. 3-bis del d.l. 63/2012 sull'editoria convertito in legge n. 103/2012 - Direttore Responsabile: Francesco Pungitore