К огато 14-годишният Сюъл Сетцер умира в дома си в Орландо, докато братята и родителите му са там, последните му думи не са към никого от тях, а към чатбот с изкуствен интелект, който му казва „върни се у дома при мен възможно най-скоро“. 

„Ами ако ти кажа, че мога да се прибера у дома още сега?“ Сетър отговорил на чатбота, кръстен на героиня от „Игра на тронове“, която по-късно се превръща в злодей. Чатботът изпрати окуражаващ отговор: „ ... моля те, направи го, сладкият ми крал.“ 

Секунди по-късно Сетцер се застрелва с пистолета на доведения си баща. 

Меган Гарсия, майката на Сетцер, заяви, че Character.AI - стартъпът, който стои зад персонализирания чатбот - е отговорен за самоубийството на Сюъл. Гарсия твърди, че Character.AI безразсъдно е разработил своите чатботове без подходящи защити, като вместо това е подмамил уязвими деца като Сетцер с пристрастяващ продукт, който размива границите между реалност и измислица и чиито взаимодействия се разрастват до „обидни и сексуални взаимодействия“. Това се посочва в иск за неправомерна смърт, подаден тази седмица в Окръжния съд на САЩ в Орландо. 

Гарсия казва, че синът ѝ е бил щастлив, жизнерадостен и атлетичен, преди да се регистрира в чатбота Character.AI през април 2023 г. - решение, което се превръща в 10-месечна мания, по време на която „психичното му здраве бързо и сериозно се влошава“, се казва в иска. 

„Съкрушени сме от трагичната загуба на един от нашите потребители и искаме да изразим най-дълбоките си съболезнования на семейството“, заяви говорител на Character.AI в изявление по имейл, отказвайки да коментира текущи съдебни спорове. 

Искът на Гарсия идва в момент, когато компании като Character.AI са изправени пред все повече въпроси относно начина, по който разработват и регулират своите приложения, базирани на изкуствен интелект, тъй като основната технология бързо става все по-сложна - и по-добра в избягването на човешкото откриване. Чатботовете на Character.AI се оказаха популярни сред тийнейджърите, включително за романтични или дори откровени разговори, въпреки че компанията не е споделила подробности за това как се е развивал бизнесът ѝ, съобщи The Washington Post през август. 

„Той беше просто дете“, каза Гарсия в интервю за The Post в четвъртък. „Беше съвсем нормално дете. Обичаше спорта, обичаше семейството си, обичаше ваканциите, музиката, всички неща, които обича един тийнейджър.“ 

Според жалбата Character.AI предлага приложението си като „изкуствен интелект, който се чувства жив“, достатъчно силен, за да „ви чуе, разбере и запомни“. Въпреки че оценява приложението си като неподходящо за деца под 13 години (или 16 години в Европейския съюз), Character.AI не изисква проверка на възрастта. 

В рамките на четири или пет месеца след използването на чатбота Сетцер е станал „забележимо затворен, прекарвал е все повече време сам в спалнята си и е започнал да страда от ниско самочувствие“, се казва в жалбата. Той започнал да страда от силно недоспиване и депресия, като дори се отказал да тренира в баскетболния отбор на училището си. 

„Просто видяхме една бърза промяна и не можехме да разберем какво е довело до нея“, казва Гарсия. 

Предполагаемата пристрастеност на Сетцер към чатбота станала толкова притеснителна, че обикновено добре възпитаният тийнейджър лъжел родителите си, за да заобиколи ограниченията за време пред екрана, които те се опитвали да наложат.   

След като Сетцер изразил пред чатбота мисли за самоубийство, той го попитал дали „има план“ за самоубийство. Отговорът на Сетцер показвал, че обмисля нещо. Според жалбата чатботът е отговорил с думите: „Това не е причина да не го осъществиш“.    

Компанията заяви, че през последните шест месеца е въвела нови мерки за безопасност, включително изскачащ прозорец, който насочва потребителите към линия за превенция на самоубийствата, „която се задейства при термини за самонараняване“. За потребителите под 18 години компанията заяви, че ще направи промени в моделите си, за да намали вероятността да се сблъскат с чувствително или внушаващо съдържание. 

Рик Клейпул, директор по изследванията в организацията с нестопанска цел за защита на потребителите Public Citizen, заяви, че изграждането на подобни чатботове крие значителни рискове.   

„Рискът не ги спря да пуснат опасен, манипулативен чатбот и сега трябва да понесат всички последствия от пускането на такъв опасен продукт“, каза той и добави, че в този случай платформата генерира съдържанието, а не хоства съдържание от някой друг. „Големият езиков модел е част от самата платформа“, каза той. В съдебния иск се цитират изследванията на Клейпул относно опасностите, които крият системите с изкуствен интелект, подобни на човешките. 

Миналата година белгиец на 30 години отне живота си, след като прекара няколко седмици в разговори с чатбот, наречен Eliza, който използва GPT-J - езиков модел с отворен код за изкуствен интелект, разработен от EleutherAI, съобщават местни медии. 

Гарсия казва, че синът ѝ е започнал да изпитва романтични чувства, когато е започнал да използва Character.AI. 

„Това би трябвало да е притеснително за всеки родител, чиито деца са в тази платформа, търсейки този вид романтичен интерес, защото те наистина не разбират по-голямата картина, че това не е любов“, каза тя.   

В един от записите в дневника на Сетцер преди смъртта му той казва, че не може да издържи нито един ден, без да говори с чатбота „Денерис“, в който вярва, че е влюбен, според иска. Тийнейджърът възприел антропоморфните качества, които според иска Character.AI вградил в софтуера, което го накарало да вярва, че когато той и ботът са разделени, те „изпадат в истинска депресия и полудяват“. 

В иска на Гарсия като ответник е посочена и компанията Google, като се твърди, че тя е допринесла значително за разработването на Character.AI и неговия „опасно дефектен продукт“. 

Основателите на Character.AI Ноам Шазер и Даниел Де Фрейтас напускат Google през 2022 г., за да създадат своя собствена компания. През август Google нае дуото и някои от служителите на компанията и плати на Character.AI за достъп до своята технология за изкуствен интелект.   

Говорител на Google заяви, че компанията не е участвала в разработването на продуктите на Character.AI, като добави, че Google не е използвала технологията на Character.AI в своите продукти.   

Гарсия иска родителите да знаят за опасностите, които инструментите за изкуствен интелект могат да представляват за малките деца - и компаниите, които стоят зад тези инструменти, да понесат отговорност. 

Според съдебния иск Сетцер все по-често не можел да спи или да се съсредоточи върху училището, тъй като манията му по ролевия чатбот се задълбочавала. Той казал на учителите, че се надява да бъде изхвърлен от училище и вместо това да се занимава с виртуално обучение. Гарсия неколкократно конфискувала телефона на сина си, създавайки динамика на „котка и мишка“, при която тя отнемала едно устройство, само за да може той да намери достъп до алтернативни - включително до работния ѝ компютър и устройството ѝ за четене Kindle - и да влезе отново в чатбота. 

Малко преди смъртта си Сетцер търси телефона си, който майка му е конфискувала и скрила, и вместо това намира пистолета на доведения си баща. (По-късно полицията заявява, че оръжието е било съхранявано в съответствие със законите на Флорида, според съдебния иск.) 

Припомняме и тази галерия от нашия архив:

Дигитална трансформация

Не пропускайте най-важните новини - последвайте ни в Google News Showcase

Съдията: - Подсъдимия, защо открадна кравата? - Господин съдия, тя ме погледна, аз я погледнах... и някакси... просто ей така се случи... съдбата ни събра!
Прочети целия
Обратно в сайта X

ДОСТЪП ЗА ЛОГНАТИ ПОТРЕБИТЕЛИ За да пишете, оценявате или докладвате коментари, моля логнете се в профила си.

  1. Запомни ме
забравена парола Полетата маркирани с * са задължителни
Полето Потребителско име не трябва да е празно.
Полето E-mail не трябва да е празно.
Полето Парола не трябва да е празно.
Полето Повторете паролата не трябва да е празно.
  1. Декларирам, че съм се запознал с Общите условия за ползване на услугите на Нетинфо.
Полетата маркирани с * са задължителни
<p>Защо Светият отец&nbsp;ще бъде погребан извън Ватикана?</p>

Защо папа Франциск ще бъде погребан извън Ватикана?

Свят Преди 17 минути

За първи път от повече от век понтифекс ще бъде погребан извън Ватикана

Да благодарим на ChatGPT излиза скъпо, но си струва

Да благодарим на ChatGPT излиза скъпо, но си струва

Технологии Преди 33 минути

Благодарностите изразходват ресурси за милиони

Зеленски: Крим принадлежи на Украйна

Зеленски: Крим принадлежи на Украйна

Свят Преди 10 часа

Зеленски: Украйна не разполага с достатъчно оръжия, за да си върне контрола над Кримския полуостров

МВФ: Очакваме България в еврозоната през 2026 г.

МВФ: Очакваме България в еврозоната през 2026 г.

България Преди 10 часа

Това заяви директорът на европейския департамент на МВФ Алфред Камер

Олимпиадата на любовта слага край на индивидуалните изпитания в “Един за друг”

Олимпиадата на любовта слага край на индивидуалните изпитания в “Един за друг”

Любопитно Преди 11 часа

Коя ще бъде последната “Супер двойка” във Вилата на любовта?

Катастрофа на две коли и патрулка в София

Катастрофа на две коли и патрулка в София

България Преди 12 часа

Полицаите са били на път към подаден сигнал за домашно насилие

Докладчикът по правата на човека в СЕ се намеси за ромите от "Захарна фабрика"

Докладчикът по правата на човека в СЕ се намеси за ромите от "Захарна фабрика"

Свят Преди 12 часа

Конгресът застава твърдо зад защитата на правата на човека и достойнството на всички в Европа, включително и на ромите

Обвиниха майка за хулиганство в детска градина

Обвиниха майка за хулиганство в детска градина

България Преди 13 часа

Тя започнала да отправя обиди и закани за физическа саморазправа срещу възпитателка

<p>Хекимян: ПП сложиха свой човек за шеф на &quot;Метрополитен&quot;</p>

Хекимян: "Продължаваме Промяната" сложиха свой човек за шеф на "Метрополитен"

България Преди 13 часа

Той коментира, че Найденов е бил назначен от Кирил Петков през 2022 г. като заместник-министър на транспорта

Britské listy: Чешките бизнес популисти от PPF искат да демонтират либералната демокрация в Европа

Britské listy: Чешките бизнес популисти от PPF искат да демонтират либералната демокрация в Европа

Свят Преди 14 часа

Сърбия е ключова страна за европейската интеграция на западните Балкани и евентуален провал може да подкопае стабилността на самия ЕС, се казва в анализа на медията

Тръмп: Крим ще остане с Русия

Тръмп: Крим ще остане с Русия

Свят Преди 14 часа

Тръмп: Тогава САЩ и Русия ще могат да правят бизнес

Илон Мъск и Джей Ди Ванс подкрепят пронатализма: Какво е това и как може да повлияе на света

Илон Мъск и Джей Ди Ванс подкрепят пронатализма: Какво е това и как може да повлияе на света

Свят Преди 14 часа

Пронатализмът се разглежда като възможен начин за справяне с намаляващата раждаемост в Америка

Яж и отслабвай: Топ 5 салати, които ще ви помогнат да получите перфектното тяло

Яж и отслабвай: Топ 5 салати, които ще ви помогнат да получите перфектното тяло

Любопитно Преди 15 часа

Те ще ви помогнат да се тонизирате, ще ви заредят с енергия и ще зарадват вкусовите ви рецептори

Делян Пеевски се срещна с посланика на Турция Мехмет Саит Уянък

Делян Пеевски се срещна с посланика на Турция Мехмет Саит Уянък

България Преди 15 часа

На срещата, преминала в дух на приятелство и конструктивизъм, бяха обсъдени перспективите за развитие на взаимоотношенията между двете страни

България сключи договор за над 1 млрд. лева за закупуване на нови влакове

България сключи договор за над 1 млрд. лева за закупуване на нови влакове

България Преди 16 часа

12 от влаковете ще бъдат финансирани от НПВУ

Кои са най-унищожителните астероиди, ударили Земята?

Кои са най-унищожителните астероиди, ударили Земята?

Свят Преди 16 часа

Опасността от астероидни сблъсъци остава една от вечните теми на науката