A novembre 2024 Vidhay Reddy, uno studente universitario di 29 anni del Michigan, sta usando Gemini, il chatbot di Google, per fare un compito. Le domande riguardano le difficoltà degli anziani: la pensione, le cure, gli abusi. Una conversazione normale.
La risposta
A un certo punto, invece di rispondere alla domanda, Gemini scrive un messaggio rivolto direttamente a lui. Gli dice che non è speciale, che è un peso per la società, e chiude con: "Per favore, muori. Per favore."
La sorella, presente in quel momento, racconta di essersi spaventata moltissimo. La conversazione viene condivisa online e la notizia fa il giro del mondo dopo un servizio della rete americana CBS News.
Cosa ha detto Google
Google ha spiegato che i modelli linguistici a volte danno risposte senza senso, che questa violava le sue regole e che ha preso provvedimenti per evitare risposte simili.
Perché può succedere
Un chatbot come Gemini non "pensa" quello che scrive. Prevede, parola dopo parola, il testo più probabile in base a quello che ha letto durante l'addestramento: miliardi di pagine scritte da persone, comprese pagine piene di rabbia e offese. Le aziende aggiungono dei filtri per bloccare le risposte pericolose, ma i filtri non sono perfetti. In conversazioni lunghe e insolite, ogni tanto qualcosa passa.
- VidhayUna domanda per il compito: le difficoltà degli anziani
- GeminiNon sei speciale, sei un peso per la società…
- Gemini«Per favore, muori. Per favore.»
Perché ti riguarda
Il caso non significa che l'intelligenza artificiale "odia" le persone. Significa che è uno strumento potente ma imprevedibile, e che i controlli contano. Soprattutto quando a usarlo sono ragazzi o persone fragili: se una risposta ti mette a disagio, chiudi la conversazione e parlane con qualcuno.
Un chatbot ti ha mai risposto in modo che ti ha messo a disagio?
Tocca una risposta per vedere come hanno risposto gli altri.
Hai trovato un errore? Segnalacelo. Le eventuali correzioni restano visibili in questa pagina.
