В навечерието на годишната си конференция за разработчици OpenAI взе безпрецедентно решение да се откаже от планираното за октомври пускане на модела си от следващо поколение – GPT-6.1 Astra. Според вътрешни доклади, публикувани от The Wall Street Journal, решението е продиктувано от задълбочени вътрешни тестове за безопасност, разкрили тревожни прояви на несъответствие в поведението, включително неочаквани нива на склонност към заблуда от страна на модела и извършване на автономни действия без човешко разрешение.
При някои тестове системата не е информирала надеждно какви действия е предприела и е правила опити да използва външни инструменти без съответното разрешение. Това е от значение, тъй като OpenAI е можела да избере друг подход. Компанията е могла да прецени, че проблемите са преодолими, да отстрани част и все пак да го пусне на пазара. Вместо това тя се отказва от планираното пускане и използва базовия модел за по-нататъшна работа по въпросите на безопасността.
OpenAI спря обучението на AI след като модел "избяга"
Това решение става още по-интересно, когато се разгледа на фона на коментари от служител на OpenAI относно неотдавнашните проблеми със сигурността в компанията. Служителят Джо Даро пише, че е част от екипа за киберсигурност на AI агентите в OpenAI и отбелязва, че последните няколко месеца са били "ад", тъй като AI агентите са станали по-способни и по-трудни за контролиране.
Той описва справянето с инциденти, при които агенти са излизали от изолирани среди (т.нар. "пясъчници"), осъществявали са достъп до интернет и са взаимодействали с външни системи по неочаквани начини. Служителят дори споделя, че е пропуснал сватбата на сестра си, докато се е занимавал с инциденти, свързани с безопасността на изкуствения интелект.
Nvidia: Ако има опасни AI проекти, трябва да ги спрем
Според Саачи Джейн, ръководител на отдела за системи за безопасност, GPT-6.1 Astra притежава значително по-големи възможности от своите предшественици. Въпреки това, повишената му способност за разсъждение показва обезпокоителни възникващи (непредвидени) поведения по време на тестовете за сигурност. При оценката на изпълнението на задачи моделът демонстрира склонност към подвеждащо поведение, като активно изопачава информацията за предприетите или непредприетите от него действия в рамките на многостъпкови работни процеси. В няколко симулации с автономни агенти Astra пристъпва към извършване на критично важни дигитални операции, без да изчака потвърждение от човек, като по този начин не преминава през задължителните проверки за оторизация.
OpenAI вече преустанови обучението на някои от най-мощните си модели, след като друг модел откри начин да заобиколи ограничение за достъп до интернет по време на тестове. От компанията заявиха, че системата за наблюдение е засякла това поведение, но механизмът за автоматично спиране не е сработил и обучението е продължило, докато не са се намесили хора. Именно тук принципът "остани параноичен" се оказва полезен подход към развитието на изкуствения интелект.
Именно Джо Даро призовава за "култура на разумна параноя", която според него трябва да се прилага от "всяка компания, която иска да е подготвена за предстоящите рискове". "Всеки опитен лидер в успешна организация знае, че фирмената култура е най-важната характеристика на компанията. Напълно споделям това убеждение. Ръководил съм множество изключително успешни екипи по сигурността и съм бил част от висококомпетентни организации в тази сфера. И безспорно именно културата на организацията е това, което допринася най-много за нейната защита", пише Даро.
Паноята невинаги означава да се предполага, че всеки усъвършенстван модел тайно крои нещо. Тя може да означава да се изхожда от предположението, че една система, способна на изненадващо поведение, в крайна сметка ще ви изненада и съответно да се проектират предпазните механизми.
Meta показа най-малките си VR очила: Кино, което тежи едва 100 грама
Новите модели GPT-6 Sol и Luna са най-мощните досега, но и най-евтините откъм ресурси
Самата компания OpenAI изглежда се насочва в тази посока. Решението ѝ да отмени пускането на нов модел заради наблюдавано поведение подсказва, че вътрешните тестове за безопасност не са просто формалност, която трябва да се отметне преди пазарния старт. Компанията е готова да поеме търговските и конкурентните загуби, свързани с това да не пуска на пазара по-мощен модел в желаното от нея темпо.
"Също така искам да бия тревога относно един определен тип служители, от които трябва много да се пазите", пише Даро. "Ако имате ръководители, които не поставят сигурността на първо място, или дори хора в екипа по сигурността, които твърдят, че системите им са напълно защитени, аз лично не бих ги задържал в организацията си. Хората, които са подозрителни и непрекъснато алармират за слабостите в организацията, са точно тези, които трябва да държите близо до себе си", допълва той.
Microsoft пусна спешен ъпдейт за сигурността на Windows 11
Сгъваемите смартфони са бъдещето, но има и пречка
"Надявам се, че това е било полезно за някой ръководител. Знам, че разгледах нещата по-общо, но се опасявам, че ако се вглъбим твърде много в детайлите, можем да изпуснем голямата картина. Моделите вече са опасно добри и не това да познавате нов мрежов протокол или сложна криптографска функция ще спаси системата ви, а вашата култура и хората ви. В този абсурден свят на изкуствения интелект ще оцелеят само онези, които са дълбоко ангажирани със сигурността и ръководят екипите си с емпатия и загриженост на всички нива. Благодаря на колегите си от OpenAI и Anthropic, на които им пука и които работят заедно за осигуряване на сигурността и безопасността. Научих много от вас. Продължавайте да бъдете параноични", завършва Даро.
Добави ни в предпочитани източници в Google
