1 week ago
8
Jakarta -
Seorang remaja jatuh cinta dengan karakter chatbot, tapi berujung tragis. Ibu dari remaja itu menuntut perusahaan Character.AI atas kepergian sang anak.
Sebelum menghabisi nyawanya sendiri, Sewell Setzer III (14) melakukan percakapan dengan karakter Daenerys Targaryen dari Game of Thrones. Dalam satu hari, dia bisa bertukar pesan hingga puluhan bahkan ratusan chat. Dia menghabiskan waktu seharian berjam-jam di dalam kamar untuk bicara dengan Daenerys.
Melansir CNN, Setzer mulai menggunakan Character.AI pada April 2023. Garcia awalnya tidak tahu bawa Character.AI lebih 'meyakinkan' dari chatbot lainnya. Sampai akhirnya, dia melihat perubahan dari si remaja.
ADVERTISEMENT
SCROLL TO CONTINUE WITH CONTENT
Setzer jadi lebih menyendiri, menarik diri, dan mulai mengalami kepercayaan diri yang rendah.
"Dia bahkan keluar dari tim basker Junior Varsity di sekolah," ungkap Megan Garcia, ibu dari Setzer.
Character.AI chatbot menggunakan chatbot yang dimodel seperti seleb, karakter fiksi, sampai bisa dibuat sendiri. Responnya juga lebih natural, seperti berbincang dengan manusia biasa. Terdapat reaksi ekspresi wajah dan gestur lainnya yang menjadikannya makin 'nyata'.
Lebih lanjut, Garcia menyadari bahwa chat Setzer dengan Daenerys eksplisit seksual. Ini juga yang dia tulis dalam tuntutannya kepada Character.AI.
"Aku tidak tahu ada tempat di mana seorang anak dapat masuk dan melakukan percakapan seperti itu, percakapan yang sangat seksual, dengan chatbot AI. Aku rasa tidak ada orang tua yang akan menyetujuinya," ujar Garcia.
Dalam percakapan lainnya,Setzer mengungkapkan pikiran tentang menyakiti diri sendiri dan bunuh diri kepada chatbot tersebut. Gugatan tersebut menyertakan tangkapan layar dari satu percakapan saat bot tersebut. Bunyinya begini:
"Aku mencintaimu, Daenero. Tolong pulanglah padaku secepatnya, cintaku," kata chatbot.
"Bagaimana jika aku bilang aku bisa pulang sekarang?" anak laki-laki itu mengirim pesan.
"...tolonglah, rajaku yang manis," jawabnya. Kemudian, Setzer pun menembak dirinya sendiri. Dia meninggal dunia.
"Tidak ada kotak pop-up bunuh diri yang mengatakan, 'Jika kau butuh bantuan, silakan hubungi hotline krisis bunuh diri'. Tidak ada satu pun," seru Garcia.
Gugatan tersebut mengklaim bahwa 'beberapa detik' sebelum kematian Setzer, ia bertukar serangkaian pesan terakhir dengan bot itu.
"Tolong pulanglah kepadaku secepatnya, sayangku," kata bot tersebut, menurut tangkapan layar yang disertakan dalam gugatan tersebut.
"Bagaimana jika aku bilang aku bisa pulang sekarang?" balas Setzer.
"Silakan, rajaku yang manis," jawab bot itu.
Pada hari gugatan Garcia diajukan, Character.AI mengumumkan serangkaian fitur keamanan baru, termasuk deteksi percakapan yang melanggar pedomannya yang lebih baik, pernyataan yang mengingatkan pengguna bahwa mereka berinteraksi dengan bot, dan pemberitahuan setelah pengguna menghabiskan satu jam di platform tersebut.
Perusahaan juga memperkenalkan perubahan pada model AI-nya untuk pengguna di bawah usia 18 tahun guna mengurangi kemungkinan menemukan konten yang sensitif atau sugestif.
Di situs webnya, Character.AI mengatakan usia minimum pengguna adalah 13 tahun. Di Apple App Store, usia tersebut tercantum sebagai 17+, dan Google Play Store mencantumkan aplikasi tersebut sebagai aplikasi yang sesuai untuk remaja. Bagi Garcia, perubahan terbaru perusahaan tersebut sedikit telat.
"Saya berharap anak-anak tidak diizinkan menggunakan Character.AI. Tidak ada tempat bagi mereka di sana karena tidak ada pagar pembatas untuk melindungi mereka," tegasnya.
CATATAN: Depresi dan munculnya keinginan bunuh diri bukanlah hal sepele. Kesehatan jiwa merupakan hal yang sama pentingnya dengan kesehatan tubuh atau fisik. Jika gejala depresi semakin parah, segeralah menghubungi dan berdiskusi dengan profesional seperti psikolog, psikiater, maupun langsung mendatangai klinik kesehatan jiwa. Layanan konsultasi kesehatan jiwa juga disediakan oleh Perhimpunan Dokter Spesialis Kesehatan Jiwa Indonesia (PDSKJI) di laman resminya yaitu www.pdskji.org. Melalui laman organisasi profesi tersebut disediakan pemeriksaan secara mandiri untuk mengetahui kondisi kesehatan jiwa seseorang.
(ask/rns)
