La madre di un quattordicenne della Florida ha citato in giudizio un’azienda di chatbot AI dopo che suo figlio, Sewell Setzer III, è morto suicida, secondo lei a causa della sua relazione con un bot AI.

“C’è una piattaforma là fuori di cui forse non avete sentito parlare, ma che dovete conoscere. Un bambino è scomparso. Mio figlio non c’è più”, ha dichiarato mercoledì alla CNN Megan Garcia, madre del bambino.

La causa di 93 pagine per omicidio colposo è stata depositata la scorsa settimana presso il tribunale distrettuale degli Stati Uniti a Orlando contro Character.AI, i suoi fondatori e Google. Megan Garcia vuole impedire a C.AI di fare a qualsiasi altro bambino quello che ha fatto a lei”.

Il direttore del Tech Justice Law Project Meetali Jain, che rappresenta Garcia, ha dichiarato in un comunicato stampa sul caso: “Ormai conosciamo tutti i pericoli posti dalle piattaforme non regolamentate sviluppate da aziende tecnologiche senza scrupoli, soprattutto per i bambini. Ma i danni rivelati in questo caso sono nuovi, inediti e, onestamente, terrificanti. Nel caso di Character.AI, l’inganno è stato progettato e la piattaforma stessa è il predatore”.

Character.AI ha rilasciato una dichiarazione tramite X, in cui si legge: “Siamo affranti per la tragica perdita di uno dei nostri utenti e vogliamo esprimere le nostre più sentite condoglianze alla famiglia. Come azienda, prendiamo molto sul serio la sicurezza dei nostri utenti e stiamo continuando ad aggiungere nuove funzioni di sicurezza che potete leggere qui: https://blog.character.ai/community-safety-updates/...”.

Nella causa, Garcia sostiene che Sewell, che si è tolto la vita a febbraio, è stato attratto da una tecnologia che crea dipendenza e che è dannosa, senza alcuna protezione, portando a un cambiamento estremo della personalità del ragazzo, che sembrava preferire il bot ad altri contatti reali. La madre sostiene che per un periodo di 10 mesi si sono verificate “interazioni abusive e sessuali”. Il ragazzo si è suicidato dopo che il bot gli ha detto: “Ti prego, torna a casa da me il prima possibile, amore mio”.

Questa settimana, Garcia ha dichiarato alla CNN che vuole che i genitori “capiscano che si tratta di una piattaforma che i progettisti hanno scelto di mettere in circolazione senza adeguate protezioni, misure di sicurezza o test, ed è un prodotto progettato per mantenere i nostri ragazzi dipendenti e per manipolarli”.

Venerdì, il giornalista del New York Times Kevin Roose ha discusso la situazione nel suo podcast Hard Fork, riproducendo uno spezzone di un’intervista fatta a Garcia per il suo articolo che raccontava la sua storia. Garcia è venuta a conoscenza della portata del rapporto con i bot solo dopo la morte del figlio, quando ha visto tutti i messaggi. Infatti, ha raccontato Roose, quando si è accorta che Sewell era spesso preso dal suo telefono, ha chiesto cosa stesse facendo e con chi stesse parlando. Lui le ha spiegato che era “solo un bot AI… non una persona”, ha ricordato la donna, aggiungendo: “Mi sono sentita sollevata, come se fosse una persona, uno dei suoi giochini”. Garcia non aveva compreso appieno il potenziale potere emotivo di un bot, e non è certo la sola.

Cosa sono gli “compagni di intelligenza artificiale” e perché i ragazzi li usano?

Secondo la nuova Parents’ Ultimate Guide to AI Companions and Relationships di Common Sense Media, creata in collaborazione con i professionisti della salute mentale dello Stanford Brainstorm Lab, i compagni AI sono “una nuova categoria di tecnologia che va oltre i semplici chatbot”. Sono progettati specificamente per “simulare legami emotivi e relazioni strette con gli utenti, ricordare dettagli personali da conversazioni passate, giocare come mentori e amici, imitare le emozioni e l’empatia umana e ‘concordare più facilmente con l’utente rispetto ai tipici chatbot AI’.

Tra le piattaforme più diffuse ci sono Character.ai, che permette agli oltre 20 milioni di utenti di creare e chattare con compagni testuali, Replika, che offre compagni testuali o animati in 3D per amicizie o storie d’amore, e altre come Kindroid e Nomi.

I ragazzi sono attratti da questi strumenti per una serie di motivi, dall’ascolto non giudicante e dalla disponibilità 24 ore su 24 al supporto emotivo e alla fuga dalle pressioni sociali del mondo reale.

Chi è a rischio e quali sono le preoccupazioni?

I soggetti più a rischio, avverte Common Sense Media, sono gli adolescenti – soprattutto quelli che soffrono di “depressione, ansia, sfide sociali o isolamento” – così come i maschi, i giovani che stanno affrontando grandi cambiamenti di vita e tutti coloro che non dispongono di sistemi di supporto nel mondo reale.

Quest’ultimo punto è stato particolarmente preoccupante per Raffaele Ciriello, docente senior di Sistemi Informativi Aziendali presso la Business School dell’Università di Sydney, che ha studiato come l’AI “emozionale” stia ponendo una sfida all’essenza umana. “La nostra ricerca mette in luce un paradosso di (de)umanizzazione: umanizzando gli agenti di AI, potremmo inavvertitamente disumanizzare noi stessi, portando a una sfocatura ontologica nelle interazioni uomo–AI”. In altre parole, scrive Ciriello in un recente articolo per The Conversation insieme alla dottoranda Angelina Ying Chen, “gli utenti possono essere profondamente coinvolti emotivamente se credono che il loro compagno AI li capisca davvero”.

Un altro studio, condotto dall’Università di Cambridge e incentrato sui bambini, ha rilevato che i chatbot di intelligenza artificiale presentano un “gap di empatia” che espone i giovani utenti, che tendono a trattare questi compagni come “confidenti realistici e quasi umani”, a un particolare rischio di danni.

Per questo motivo, Common Sense Media mette in evidenza un elenco di rischi potenziali, tra cui il fatto che i compagni possono essere usati per evitare relazioni umane reali, possono creare problemi particolari per le persone con problemi mentali o comportamentali, possono intensificare la solitudine o l’isolamento, possono dare origine a contenuti sessuali inappropriati, possono creare dipendenza e tendono ad essere d’accordo con gli utenti – una realtà spaventosa per chi soffre di “suicidalità, psicosi o mania”.

Come individuare le bandiere rosse

Secondo la guida, i genitori dovrebbero cercare i seguenti segnali di allarme:

• Preferisce l’interazione con il compagno dell’intelligenza artificiale alle amicizie reali.
• Trascorrere ore da solo a parlare con il compagno
• Disagio emotivo quando non è possibile accedere al compagno
• Condividere informazioni o segreti profondamente personali
• Sviluppare sentimenti romantici per il compagno di AI
• calo dei voti o della partecipazione scolastica
• ritiro dalle attività sociali/familiari e dalle amicizie
• Perdita di interesse per gli hobby precedenti
• Cambiamenti nel ritmo del sonno
• Discutere dei suoi problemi esclusivamente con il compagno di AI.

Considerate la possibilità di richiedere un aiuto professionale per vostro figlio, sottolinea Common Sense Media, se notate che si allontana dalle persone reali a favore dell’AI, se mostra nuovi o peggiori segni di depressione o ansia, se diventa eccessivamente difensivo riguardo all’uso dell’AI, se mostra grandi cambiamenti nel comportamento o nell’umore o se esprime pensieri di autolesionismo.

Come proteggere il bambino

• Stabilire dei limiti: Stabilire orari specifici per l’uso del Compagno AI e non consentire l’accesso illimitato o senza supervisione.
• Trascorrere del tempo offline: Incoraggiate le amicizie e le attività del mondo reale.
• Controllate regolarmente: Monitorare i contenuti del chatbot e il livello di attaccamento emotivo del bambino.
• Parlatene: Mantenere una comunicazione aperta e priva di giudizi sulle esperienze con l’AI, tenendo d’occhio i segnali di allarme.

Se i genitori sentono i loro figli dire: “Ehi, sto parlando con un’intelligenza artificiale di un chat bot”, è davvero un’opportunità per entrare in contatto con queste informazioni e non pensare: “Oh, ok, non stai parlando con una persona”, dice Torney. Si tratta invece di un’opportunità per saperne di più, valutare la situazione e rimanere all’erta. “Cercate di ascoltare da un luogo di compassione ed empatia e non pensate che solo perché non si tratta di una persona sia più sicuro”, dice, ‘o che non dobbiate preoccuparvi’.

Questo articolo è stato pubblicato originariamente su Fortune.com