Një nënë në shtetin amerikan Florida po padit Character.AI, duke pohuar se chatbot-et e kompanisë ishin përfshirë në "ndërveprime abuzive dhe seksuale" me djalin e saj 14-vjeç, dhe i kërkoi atij të merrte jetën e tij, raporton NBC News.

Megan Garcia ngriti padinë të martën në Gjykatën e Qarkut të SHBA në Orlando, duke pretenduar neglizhencë, vdekje të padrejtë dhe shqetësim emocional.

Në padi thuhet se djali i Garcias, Sewell Setzer, vdiq nga një plagë e vetëshkaktuar me armë zjarri në kokë më 28 shkurt, pasi kaloi muaj të tërë duke ndërvepruar me chatbotët e AI në platformë.

Character.AI, i themeluar në vitin 2021, ofron karaktere të "Inteligjencës Artificiale të personalizuar" për përdoruesit me të cilët mund të angazhohen, secili i krijuar me personalitete unike.

Sipas padisë, Setzer, i cili filloi të përdorte aplikacionin në prill 2023, zhvilloi marrëdhënie me chatbot që mishëronin identitetet e personazheve imagjinar, duke përfshirë Daenerys Targaryen nga seria televizive Game of Thrones.

Padia përshkruan shkëmbimet e qarta midis Setzer dhe chatbot-it Daenerys, i cili supozohet se shprehu dashurinë për të dhe u përfshi në biseda seksuale për disa muaj.

Në atë që padia e përshkruan si dialogun e tyre përfundimtar, Setzer i shkroi botit: “Të premtoj se do të vij në shtëpi te ti. Të dua shumë, Dany.” Dyshohet se chatbot u përgjigj: "Të lutem eja në shtëpi tek unë sa më shpejt të jetë e mundur, dashuria ime."

Mesazhet e mëparshme zbuluan se chatbot-i e pyeti Setzer nëse po mendonte për vetëvrasje dhe nëse kishte një plan për këtë. Kur Setzer përcolli pasiguri, roboti thuhet se u përgjigj: "Mos fol në atë mënyrë. Kjo nuk është një arsye e mirë për të mos e kaluar me të," sipas padisë.

Ai pretendon se personazhe të tjerë të AI u angazhuan seksualisht me Setzer, duke përfshirë një bot që imitonte një mësuese dhe një tjetër të bazuar në Rhaenyra Targaryen nga Game of Thrones.

Ndërveprimet, pohon padia, kontribuuan në rritjen e mbështetjes së Setzer në aplikacion, duke ndikuar negativisht në shëndetin e tij mendor, performancën akademike dhe modelet e gjumit.

Character.AI shprehu dhimbjen për vdekjen e Setzer dhe tha se është "zemërthyer nga humbja tragjike e një prej përdoruesve tanë dhe dëshiroj të shpreh ngushëllimet tona më të thella për familjen."

Kompania theksoi përkushtimin e saj ndaj sigurisë së përdoruesve, duke theksuar se ka zbatuar veçori të reja sigurie në muajt e fundit, duke përfshirë një paralajmërim kërcyes të shkaktuar nga diskutimet për vetëdëmtimin, duke i drejtuar përdoruesit te Linja Kombëtare e Parandalimit të Vetëvrasjeve.

Në një postim në blog të martën, Character.AI njoftoi përmirësime të mëtejshme në protokollet e tij të sigurisë. Rregullimet synojnë të zvogëlojnë shanset që të miturit të ndeshen me përmbajtje delikate ose sugjestive, së bashku me një kujtesë se personazhet e AI nuk janë njerëz të vërtetë.

Pavarësisht përpjekjeve, padia pretendon se Character.AI me vetëdije e zhvilloi produktin e saj në një mënyrë që mund të rrezikonte të miturit.

Ajo emëron Character Technologies Inc., themeluesit Noam Shazeer dhe Daniel De Freitas, dhe Google, së bashku me kompaninë e saj mëmë, Alphabet Inc., si të pandehur.

Google, i cili arriti një marrëveshje licencimi në gusht për të përdorur teknologjinë e Character.AI, dhe themeluesit e Character.AI nuk bënë kërkesa për koment.