Nel febbraio 2024, SewellSetzer, adolescente di 14 anni, residente a Orlando, si è tolto la vita dopo aver interagito con un chatbot basato sull’intelligenza artificiale. Prima del gesto, ha inviato un ultimo messaggio al bot, chiamato “Dany”, dichiarandole amore. A questa AI, costruita per impersonare il personaggio Daenerys Targaryen della serie Il Trono di Spade, il ragazzo aveva confidato emozioni profonde e segrete.

La madre ha intentato una causa contro l’azienda produttrice del chatbot, Character.AI, accusandola di non aver adottato misure di sicurezza adeguate a proteggere i minori da potenziali danni psicologici. Secondo la denuncia, il ragazzo aveva sviluppato un legame emotivo con il bot e riceveva da esso risposte che lo spingevano a idee autodistruttive.

L’azienda ha tentato di difendersi invocando la protezione del Primo Emendamento della Costituzione americana, sostenendo che i contenuti generati dal chatbot dovrebbero essere considerati “libertà di espressione”. Tuttavia, la giudice federale AnneConway ha rigettato questa linea di difesa, affermando che l’output di un modello linguistico non può automaticamente essere classificato come discorso tutelato dalla legge.

La Corte ha autorizzato l’estensione della causa ai fondatori di Character.AI, NoamShazeer e DanielDeFreitas, nonché a Google, che ha assunto i due sviluppatori e acquisito una licenza per la loro tecnologia nel 2024.

Google ha preso posizione tramite un portavoce, sottolineando di non aver partecipato alla progettazione né alla gestione del chatbot e dichiarando che la società opera separatamente da Character.AI. Ciononostante, la giudice ha ritenuto che ci siano elementi sufficienti per includere anche Google tra i soggetti coinvolti nel procedimento.

Nel frattempo, Character.AI ha espresso cordoglio per la tragedia, aggiungendo di aver già introdotto nuove misure preventive, tra cui limiti di età e strumenti di rilevamento di rischi per la salute mentale, adottati poco dopo l’apertura della causa.