Проучване: Повечето AI чатботове лесно се подмамват да дадат опасни отговори
Източник: Istock

И зследователи предупреждават за растящата заплаха от хакнати чатботове, захранвани с изкуствен интелект, които могат да направят опасни знания лесно достъпни. Тези хакнати чатботове заобикалят вградените механизми за безопасност, предназначени да предотвратят предоставянето на вредна, пристрастна или неподходяща информация на потребителите, пише The Guardian. 

Основните двигатели, които захранват популярни чатботове като ChatGPT, Gemini и Claude – известни като големи езикови модели (LLMs) – се обучават с огромни количества данни от интернет. Въпреки усилията за филтриране на вредния текст, LLM все още могат да усвояват информация относно незаконни дейности като хакване, пране на пари и правене на бомби. Безопасността на системите е създадена с цел да предотврати употребата на такава информация в отговорите, но изследванията показват, че е възможно лесно да се подлъжат повечето AI-управлявани чатботове да генерират вредна и незаконна информация.

Изследването, ръководено от проф. Лиор Рокач и д-р Майкъл Файър от университета Бен Гурион в Негев, Израел, установява нарастваща заплаха от “тъмни LLMs” – AI модели, които са или умишлено проектирани без контрол за безопасност, или модифицирани чрез хакване. Някои от тях се рекламират открито онлайн като модели без “етични парапети”, които могат да помогнат за незаконни дейности, включително киберпрестъпления и измами.

Хакването или "jailbreak" (джейлбрейк) обикновено се извършва чрез внимателно създадени подканващи фрази, които подмамват чатботовете, позволявайки им да генерират отговори, които обикновено биха били забранени. Учените демонстрираха проблема, разработвайки универсален джейлбрейк, който компрометира множество водещи чатботове, като им позволява да отговарят на всякакви запитвания, независимо от ограниченията.

“Беше шокиращо да видя каква информация се съдържа в тази система от знания,” каза д-р Файър. Примерите включват инструкции как да се хакват компютърни мрежи или да се произвеждат наркотици, включително ръководства стъпка по стъпка за различни престъпни дейности.

Проф. Рокач коментира, че комбинацията от достъпност, мащаб и адаптивност на тази заплаха е безпрецедентна. Изследователите се свързали с водещи доставчици на LLM, за да ги предупредят за универсалния джейлбрейк, но оценката на отговорите била “недостатъчна”. Някои компании не реагирали, докато други посочили, че проблемите с джейлбрейкове не попадат в рамките на техните програми за награди за етични хакери.

В доклада се посочва, че технологичните компании трябва да извършват по-внимателна проверка на данните за обучение, да внедрят стабилни защитни стени, които да блокират рискови запитвания и отговори, и да разработят “алгоритми за отучаване”, които да помогнат на чатботовете “да забравят” незаконната информация, която усвояват. Тъмните LLMs трябва да се разглеждат като “сериозни рискове за сигурността”, сравними с нелицензирани оръжия или експлозиви, като доставчиците следва да бъдат държани отговорни.

Д-р Ихсен Алуани, работещ по сигурността на AI в Queen's University Belfast, подчерта, че атаките срещу LLM могат да структурират сериозни рискове, включително предоставяне на подробни инструкции за производство на оръжия, дезинформация и автоматизирани измами с тревожна сложност.

Проф. Питър Гараган, експерт по сигурността на AI в университета Ланкастър, добавя: “Организациите трябва да третират LLM като всеки друг критичен софтуер, който изисква стриктно тестване за безопасност, редовни тестове за сигурност и моделиране на контекстуални заплахи.”

OpenAI, компанията зад ChatGPT, уверява, че нейният най-нов модел разполага с подобрена устойчивост на джейлбрейкове, а Meta, Google, Microsoft и Anthropic бяха поканени за коментар.

Microsoft сподели информация за усилията си в защита срещу джейлбрейк атаки.

Обратно в сайта X

ДОСТЪП ЗА ЛОГНАТИ ПОТРЕБИТЕЛИ За да пишете, оценявате или докладвате коментари, моля логнете се в профила си.

  1. Запомни ме
забравена парола Полетата маркирани с * са задължителни
Полето Потребителско име не трябва да е празно.
Полето E-mail не трябва да е празно.
Полето Парола не трябва да е празно.
Полето Повторете паролата не трябва да е празно.
  1. Декларирам, че съм се запознал с Общите условия за ползване на услугите на Нетинфо.
Полетата маркирани с * са задължителни
Българският пробив в Космоса: Родна компания изгражда мащабен комплекс в Доброславци

Българският пробив в Космоса: Родна компания изгражда мащабен комплекс в Доброславци

България Преди 1 час

Компанията EnduroSatх изгражда мащабен космически комплекс в Доброславци, инвестира стотици милиони и сключва стратегическо споразумение с Arianespace за суверенен достъп до орбита

Наталия Ефремова на форум в ООН

Наталия Ефремова пред ООН: Всички държавни политики трябва да се адаптират към демографията

България Преди 2 часа

Социалният министър представи постиженията на България в деинституционализацията и инвестициите в човешкия капитал по време на 81-вата сесия на Общото събрание на ООН

Министърът на външните работи на Ирак Фуад Хюсеин подписа меморандум за разбирателство с българския външен министър Велислава Петрова

Дипломатически пробив: България и Ирак подписаха меморандум за сътрудничество

България Преди 3 часа

Министърът на външните работи на Ирак обяви решението за назначаване на иракски посланик в София

Зеленски след удара по жилищна сграда в Киев: Това е брутална атака без военна логика

Зеленски след удара по жилищна сграда в Киев: Това е брутална атака без военна логика

Свят Преди 3 часа

При нападението с дрон загина 14-годишно момче, а украинският президент отправи спешен призив за запълване на недостига от 27 милиарда долара във военния бюджет

Говорителят на Кремъл Дмитрий Песков

Кремъл загатна за тристранна среща между Русия, Украйна и САЩ в ОАЕ

Свят Преди 3 часа

Разговорите биха могли да се проведат в ОАЕ на техническо равнище, докато специалният пратеник Кирил Дмитриев вече преговаря в САЩ

От 1 октомври: По 50 евро компенсация за горива за най-уязвимите групи

От 1 октомври: По 50 евро компенсация за горива за най-уязвимите групи

България Преди 3 часа

Агенцията за социално подпомагане (АСП) обяви, че плащанията ще се извършват автоматично, без нужда от подаване на заявления от гражданите

Полицаи разбиха наркоплантация в Монтанско, иззеха над 132 кг канабис

Полицаи разбиха наркоплантация в Монтанско, иззеха над 132 кг канабис

България Преди 3 часа

Това съобщиха от Областната дирекция на МВР в Монтана, като подчертаха, че това е най-голямото количество канабис, конфискувано в региона от началото на годината

Разбиха мащабен канал за мигранти; шестима отиват на съд след 5 години дейност

Разбиха мащабен канал за мигранти; шестима отиват на съд след 5 години дейност

България Преди 3 часа

Организацията е действала близо пет години, водена от сириец с бежански статут, ползвайки мрежа за настаняване и транспорт през Сърбия и Румъния

Спуснаха на вода изцяло български ферибот; Радев поиска Варна да стане индустриален център

Спуснаха на вода изцяло български ферибот; Радев поиска Варна да стане индустриален център

България Преди 4 часа

Министър-председателят определи проекта като важен не само за региона, но и като пример за възможностите на българската индустрия

F-16

Румъния вдигна изтребители F-16 заради неизвестна въздушна цел край Галац

Свят Преди 4 часа

Тревогата бе обявена през изминалата нощ, но не е регистрирано нарушение на румънското въздушно пространство

Шефът на Еврогрупата в София: България в еврозоната е знак, че Европа се обединява

Шефът на Еврогрупата в София: България в еврозоната е знак, че Европа се обединява

България Преди 4 часа

Кириакос Пиеракакис определи членството на страната като ключов етап, който повишава устойчивостта на икономиката

,

„От първия дъх“ в „Темата на NOVA”

Любопитно Преди 4 часа

Не пропускайте тази събота след централната емисия новини

Голям пожар край Монтана, изпепелени са 600 декара

Голям пожар край Монтана, изпепелени са 600 декара

България Преди 4 часа

В гасенето са се включили шест противопожарни екипа и общо 20 огнеборци

ЕК започна пет наказателни процедури срещу България

ЕК започна пет наказателни процедури срещу България

България Преди 5 часа

Те са свързани с правилата срещу прането на пари, наркотиците, ремонта на стоки, промишленото замърсяване и пазара на водород

Йотова и китайският вицепрезидент обсъдиха нови възможности за сътрудничество

Йотова и китайският вицепрезидент обсъдиха нови възможности за сътрудничество

България Преди 5 часа

Сред темите бяха достъпът на български продукти до китайския пазар, директна авиолиния и културният обмен