Проучване: Повечето AI чатботове лесно се подмамват да дадат опасни отговори
Източник: Istock

И зследователи предупреждават за растящата заплаха от хакнати чатботове, захранвани с изкуствен интелект, които могат да направят опасни знания лесно достъпни. Тези хакнати чатботове заобикалят вградените механизми за безопасност, предназначени да предотвратят предоставянето на вредна, пристрастна или неподходяща информация на потребителите, пише The Guardian

Основните двигатели, които захранват популярни чатботове като ChatGPT, Gemini и Claude – известни като големи езикови модели (LLMs) – се обучават с огромни количества данни от интернет. Въпреки усилията за филтриране на вредния текст, LLM все още могат да усвояват информация относно незаконни дейности като хакване, пране на пари и правене на бомби. Безопасността на системите е създадена с цел да предотврати употребата на такава информация в отговорите, но изследванията показват, че е възможно лесно да се подлъжат повечето AI-управлявани чатботове да генерират вредна и незаконна информация.

Изследването, ръководено от проф. Лиор Рокач и д-р Майкъл Файър от университета Бен Гурион в Негев, Израел, установява нарастваща заплаха от “тъмни LLMs” – AI модели, които са или умишлено проектирани без контрол за безопасност, или модифицирани чрез хакване. Някои от тях се рекламират открито онлайн като модели без “етични парапети”, които могат да помогнат за незаконни дейности, включително киберпрестъпления и измами.

Хакването или "jailbreak" (джейлбрейк) обикновено се извършва чрез внимателно създадени подканващи фрази, които подмамват чатботовете, позволявайки им да генерират отговори, които обикновено биха били забранени. Учените демонстрираха проблема, разработвайки универсален джейлбрейк, който компрометира множество водещи чатботове, като им позволява да отговарят на всякакви запитвания, независимо от ограниченията.

“Беше шокиращо да видя каква информация се съдържа в тази система от знания,” каза д-р Файър. Примерите включват инструкции как да се хакват компютърни мрежи или да се произвеждат наркотици, включително ръководства стъпка по стъпка за различни престъпни дейности.

Проф. Рокач коментира, че комбинацията от достъпност, мащаб и адаптивност на тази заплаха е безпрецедентна. Изследователите се свързали с водещи доставчици на LLM, за да ги предупредят за универсалния джейлбрейк, но оценката на отговорите била “недостатъчна”. Някои компании не реагирали, докато други посочили, че проблемите с джейлбрейкове не попадат в рамките на техните програми за награди за етични хакери.

В доклада се посочва, че технологичните компании трябва да извършват по-внимателна проверка на данните за обучение, да внедрят стабилни защитни стени, които да блокират рискови запитвания и отговори, и да разработят “алгоритми за отучаване”, които да помогнат на чатботовете “да забравят” незаконната информация, която усвояват. Тъмните LLMs трябва да се разглеждат като “сериозни рискове за сигурността”, сравними с нелицензирани оръжия или експлозиви, като доставчиците следва да бъдат държани отговорни.

Д-р Ихсен Алуани, работещ по сигурността на AI в Queen's University Belfast, подчерта, че атаките срещу LLM могат да структурират сериозни рискове, включително предоставяне на подробни инструкции за производство на оръжия, дезинформация и автоматизирани измами с тревожна сложност.

Проф. Питър Гараган, експерт по сигурността на AI в университета Ланкастър, добавя: “Организациите трябва да третират LLM като всеки друг критичен софтуер, който изисква стриктно тестване за безопасност, редовни тестове за сигурност и моделиране на контекстуални заплахи.”

OpenAI, компанията зад ChatGPT, уверява, че нейният най-нов модел разполага с подобрена устойчивост на джейлбрейкове, а Meta, Google, Microsoft и Anthropic бяха поканени за коментар.

Microsoft сподели информация за усилията си в защита срещу джейлбрейк атаки.

Учител по физика към жена си: - Скъпа, дай от хладилника "ускорителя на елементарни частици". - Какво е това? - Ракията дай!
Прочети целия
Обратно в сайта X

ДОСТЪП ЗА ЛОГНАТИ ПОТРЕБИТЕЛИ За да пишете, оценявате или докладвате коментари, моля логнете се в профила си.

  1. Запомни ме
забравена парола Полетата маркирани с * са задължителни
Полето Потребителско име не трябва да е празно.
Полето E-mail не трябва да е празно.
Полето Парола не трябва да е празно.
Полето Повторете паролата не трябва да е празно.
  1. Декларирам, че съм се запознал с Общите условия за ползване на услугите на Нетинфо.
Полетата маркирани с * са задължителни
Д-р Пекин беше елиминирана от “Игри на волята”

Д-р Пекин беше елиминирана от “Игри на волята”

Любопитно Преди 26 минути

Тя е гост в новия епизод на подкаста “След Игрите”

Папа Лъв XIV: Не оставяйте на AI да ви пише домашните

Папа Лъв XIV: Не оставяйте на AI да ви пише домашните

Свят Преди 41 минути

Лъв XIV, първият папа от САЩ, говори около 40 минути с младежи, като отговаряше на въпросите им за католическата вяра и им даваше съвети

Путин: Планът на САЩ може да стане основа за мир в Украйна

Путин: Планът на САЩ може да стане основа за мир в Украйна

Свят Преди 1 час

Според Путин планът от 28 точки е бил обсъден между Москва и Вашингтон само в най-общи линии

Моди пристигна в Южна Африка за срещата на върха на Г-20

Моди пристигна в Южна Африка за срещата на върха на Г-20

Свят Преди 1 час

Това е първата среща на върха на Г-20 в Африка и четвъртата поред в страна от Глобалния юг.

<p>Внимание, туристи! МВнР предупреждава за&nbsp;стачки в Белгия</p>

МВнР предупреждава за стачки в Белгия от 24 до 26 ноември

Свят Преди 2 часа

През трите дни се очакват значителни смущения във функционирането на транспортния сектор в страната

<p>Шолц даде показания по разследване за &quot;Северен поток 2&quot;</p>

Олаф Шолц даде показания по разследване за "Северен поток 2"

Свят Преди 3 часа

Тръбопроводът беше предназначен за пренос на руски газ до Германия, но не беше пуснат в експлоатация поради пълномащабното нахлуване на Русия в Украйна

Благомир Коцев ще бъде преведен в затвора във Варна

Благомир Коцев ще бъде преведен в затвора във Варна

България Преди 4 часа

Това разпореди Светла Даскалова

Ватиканът пренаписва закона заради историческото назначение на монахиня на ключов пост

Ватиканът пренаписва закона заради историческото назначение на монахиня на ключов пост

Свят Преди 4 часа

Католическата църква запазва свещеничеството за мъже

Германия класифицира "дрогата за сексуално насилие" като оръжие

Германия класифицира "дрогата за сексуално насилие" като оръжие

Свят Преди 4 часа

Близо 54 000 жени и момичета са станали жертва на сексуални престъпления в Германия през 2024 г.

<p>Италия под снежна обвивка (СНИМКИ)</p>

Италия под снежна обвивка

Свят Преди 5 часа

Снежинки прехвърчаха и в Милано, около Бергамо, в Лигурия, както и по хълмовете на Тоскана

<p>Зеленски моли папа папа Лъв XIV за съдействие</p>

Зеленски изпрати писмо до папата с молба за помощ

Свят Преди 5 часа

"Ватиканът може да се превърне в една от ключовите международни платформи за консолидиране на хуманитарните усилия в подкрепа на украинците"

<p>Мечка гризли нападна 11 ученици, двама се борят за живота си</p>

Ужас в Канада: Мечка гризли нападна 11 ученици, двама души се борят за живота си

Свят Преди 6 часа

Един от учителите героично се е опитал да спре мечката и е сред тежко ранените

Мъж е застрелян на летище в САЩ, след като размаха нож срещу полицай

Мъж е застрелян на летище в САЩ, след като размаха нож срещу полицай

Свят Преди 6 часа

Полицаите използвали електрошокови устройства

<p>След 3 седмици зад решетките: Никола Саркози издава &quot;Дневникът на един затворник&quot;</p>

След 3 седмици зад решетките: Никола Саркози издава "Дневникът на един затворник"

Свят Преди 6 часа

"Подобно на пустинята, вътрешният живот се укрепва в затвора", пише бившият президент

Анна-Мария Конова

Водещата Анна-Мария Конова стана майка на момиченце

Любопитно Преди 6 часа

Бебето носи красивото име София