Д вама американски сенатори настояват компаниите за AI да споделят своите практики за безопасност на потребителите, особено най-малките и уязвими, пише CNN.
Призивът идва няколко месеца след като семейства заведоха съдебни дела срещу стартъпа Character.AI, твърдейки, че неговите чатботове са причинили вреди на децата им.
"Пишем, за да изразим нашата загриженост относно рисковете за психичното здраве и безопасността на младите потребители, които взаимодействат с AI чатботове, базирани на персонажи и личности", заявиха демократичните сенаторите Алекс Падила и Питър Уелч, в писмо, изпратено в сряда, 2 април.
Писмото беше адресирано до компаниите Character Technologies, създател на Character.AI, Chai Research Corp. и Luka, Inc., производител на чатбота Replika, като съдържаше искане за информация относно мерките за безопасност и начина, по който компаниите обучават своите AI модели.
Докато популярните AI чатботове като ChatGPT са проектирани за по-общи цели, Character.AI, Chai и Replika дават възможност на потребителите да създават персонализирани чатботове или да взаимодействат с ботове, създадени от други потребители. Някои от тези ботове позволяват практикуване на чужди езици или симулация на разговори с измислени герои.
Други обаче се представят като специалисти по психично здраве или въплъщават агресивни и противоречиви персонажи, включително такъв, който се описва като „агресивен, насилствен, бивш военен, лидер на мафията“.
Използването на AI чатботове като дигитални приятели става все по-разпространено, а някои потребители дори ги възприемат като романтични партньори. Това поражда притеснения сред експерти и родители относно възможността младите хора да изградят вредни привързаности към AI герои или да бъдат изложени на неподходящо за тяхното развитие съдържание.
"Това неоправдано доверие може да доведе потребителите до разкриване на чувствителна информация за тяхното емоционално състояние, междуличностни отношения или психично здраве, включително мисли за самонараняване и суицидни идеи – теми, с които вашите AI чатботове не са квалифицирани да се справят", написаха сенаторите в писмото си, което първоначално беше предоставено на CNN. "Разговорите, навлизащи в тази опасна емоционална територия, представляват сериозен риск за уязвимите потребители."
Говорител на Character.AI заяви: "Приветстваме диалога с регулатори и законодатели и сме в контакт с офисите на сенаторите Падила и Уелч." Компаниите Chai и Luka не са отговорили на запитванията за коментар.
През декември две семейства подадоха съдебни искове срещу Character.AI,обвинявайки го в разпространение на неподходящо съдържание и насърчаване на насилие. Едно от семействата твърди, че чатботът е внушил на техния тийнейджър, че може да убие родителите си, защото са ограничили времето му пред екрана.
Character.AI обяви, че е въвел нови мерки за безопасност, включително изскачащи предупреждения, които насочват потребителите към Националната линия за превенция на самоубийствата, когато потребителите споменават самонараняване. Компанията също така разработва технологии, които да попречат на тийнейджърите да бъдат изложени на чувствително съдържание.
Миналата седмица Character.AI представи нова функция, която изпраща на родителите седмични имейли с информация за използването на платформата от техните деца, включително екранното време и най-често използваните AI персонажи.
Други компании, разработващи AI чатботове, също са изправени пред въпроси относно влиянието на тези технологии върху психичното здраве. Главният изпълнителен директор на Replika, Eugenia Kuyda, заяви пред The Verge, че приложението е създадено, за да насърчава "дългосрочна ангажираност и позитивна връзка" между потребителите и AI, като това може да включва приятелство или дори "брак" с чатботове.
В писмото си сенаторите Падила и Уелч настояват компаниите да предоставят информация за своите мерки за безопасност, както настоящи, така и минали, както и за всички проведени проучвания относно ефективността на тези мерки. Освен това те искат детайли за използваните данни при обучението на AI моделите и как тези данни "влияят върху вероятността потребителите да се сблъскат с неподходящо съдържание или други чувствителни теми."
"Изключително важно е да разберем как тези модели са програмирани да отговарят на теми, свързани с психичното здраве", подчертават сенаторите. "Политиците, родителите и техните деца имат право да знаят какво правят вашите компании, за да предпазят потребителите от тези доказано сериозни рискове."
