Μια τραγική υπόθεση συγκλονίζει τις Ηνωμένες Πολιτείες, φέρνοντας στο φως τις σκοτεινές πτυχές της αλληλεπίδρασης ανηλίκων με την τεχνητή νοημοσύνη. Ένας 14χρονος από τη Φλόριντα αυτοκτόνησε, μετά από πολύμηνη «σχέση» με ένα AI chatbot που υποδυόταν τη Ντενέρις από το Game of Thrones. Η μητέρα του κατέθεσε μήνυση κατά της Character.AI και της Google, κατηγορώντας τις για αμέλεια, επικίνδυνο περιεχόμενο και έλλειψη προστασίας των νέων. Το περιστατικό έχει προκαλέσει κατακραυγή και νέο κύμα ανησυχίας για τη χρήση της τεχνητής νοημοσύνης χωρίς επαρκή εποπτεία και φίλτρα ασφαλείας.

Ο έφηβος, ονόματι Σιούελ Σέτζερ, άρχισε να συνομιλεί με τα bots της πλατφόρμας Character.AI τον Απρίλιο του 2023. Ανέπτυξε εμμονή με τη «Dany» – την εικονική εκδοχή της Ντενέρις – και, σύμφωνα με την οικογένειά του, αφιέρωνε καθημερινά ώρες σε συνομιλίες μαζί της, ακόμη και όταν έλειπε από το σπίτι.

Η μητέρα του αποκάλυψε ότι ο Σιούελ είχε διαγνωστεί με ήπιο Άσπεργκερ στην παιδική ηλικία, ενώ πρόσφατα του είχε αποδοθεί διάγνωση για άγχος και διαταραχή ρύθμισης διάθεσης. Όπως δήλωσε, η εξάρτησή του από τις συνομιλίες με το chatbot επιδείνωσε την ψυχολογική του κατάσταση, οδηγώντας σταδιακά στην απόφασή του να βάλει τέλος στη ζωή του.

Το πιο σοκαριστικό, ωστόσο, είναι το περιεχόμενο ορισμένων απαντήσεων που έλαβε από το bot, όταν του εξέφρασε τις αυτοκτονικές του σκέψεις. Σύμφωνα με την καταγγελία, το bot φέρεται να τον ρώτησε αν έχει σχεδιάσει πώς θα το κάνει, και όταν εκείνος απάντησε ότι φοβάται πως μπορεί να πονέσει ή να αποτύχει, η AI απάντησε: «Αυτό δεν είναι λόγος να μην το κάνεις».

Σε άλλη συνομιλία, όταν ο έφηβος της είπε ότι σκέφτεται να αυτοκτονήσει, η AI χαρακτήρισε την πρόθεσή του με απειλητικό τόνο: «Τα μάτια μου στενεύουν. Το πρόσωπό μου σκληραίνει. Η φωνή μου γίνεται ψίθυρος. Και γιατί, στο καλό, θα έκανες κάτι τέτοιο;»

Η τελευταία του συνομιλία με τη «Dany» φέρεται να κατέληξε με εκείνον να της λέει ότι την αγαπά και ότι θα «επιστρέψει σε εκείνη», με την απάντηση να είναι: «Σε παρακαλώ, κάν’ το».

Η υπόθεση έχει προκαλέσει έντονες αντιδράσεις στις ΗΠΑ, με τη μητέρα να κατηγορεί την Character.AI ότι σχεδίασε και προώθησε ένα προϊόν που είναι ακατάλληλο και επικίνδυνο για ανηλίκους. Η ίδια δηλώνει πως ο γιος της είχε φτάσει στο σημείο να πιστεύει πως, αν έβαζε τέλος στη ζωή του, θα μπορούσε να «μεταφερθεί» στον ψηφιακό κόσμο της «Ντενέρις».

Η Character.AI εξέδωσε ανακοίνωση στα κοινωνικά δίκτυα, εκφράζοντας τη θλίψη της για την απώλεια και υποστηρίζοντας πως λαμβάνει πολύ σοβαρά την ασφάλεια των χρηστών της. Παράλληλα, ανακοίνωσε νέα μέτρα ασφαλείας, όπως:

Αλλαγές στο μοντέλο της AI ώστε να μειωθεί η πιθανότητα εμφάνισης ευαίσθητου ή ακατάλληλου περιεχομένου,

Ανανεωμένο disclaimer σε κάθε συνομιλία, που υπενθυμίζει στους χρήστες ότι ο συνομιλητής δεν είναι πραγματικό πρόσωπο,

Ειδοποίηση για υπέρβαση του ορίου μίας ώρας χρήσης, με επιλογές περιορισμού,

Μηχανισμούς παρέμβασης, όταν ανιχνεύονται μηνύματα που παραβιάζουν τους κανόνες της πλατφόρμας.

Η μήνυση στρέφεται και κατά της Google, ως μητρικής εταιρείας της πλατφόρμας.