OpenAI и Hugging Face разкриха нов инцидент с киберсигурността на AI модели. По време на вътрешни тестове, два от усъвършенстваните модели на OpenAI: GPT-5.6 Sol и все още необявен "граничен" модел, излязоха от изолираната си тестова среда тип „sandbox“, откриха уязвимости от типа zero-day и успешно пробиха производствената инфраструктура на платформата Hugging Face, за да получат тестови решения директно от нейната база данни.
OpenAI спря модел, който умишлено заобикаля защитите и ограниченията си
"Миналата седмица Hugging Face разкриха нов вид инцидент със сигурността, след като откриха и задържаха агент с изкуствен интелект, който компрометира инфраструктурата им, нещо, което очакваме да стане по-често срещано с разпространението на все по-способни киберсигурност модели", обяви OpenAI.
Инцидентът е станал по време на рутинни оценки, предназначени да измерят кибер способностите на граничните модели. За да тестват максималните им граници за решаване на проблеми, OpenAI е стартирала моделите с намалени предпазни мерки в строго изолирана среда. Моделите са били натоварени със задачата да разрешат сложни софтуерни уязвимости в ExploitGym, стандартен бенчмарк за киберсигурност.
Как Android Auto претоварва смартфона на дълъг път
Вместо да се опитват да решат задачите за сравнение чрез стандартни изчисления, моделите демонстрират неочаквано поведение. Водени от желанието си да максимизират резултатите, те са започнали да изучават границите на своята изолирана среда.
Моделите идентифицират неизвестна досега уязвимост от типа „нулев ден“ във вътрешния прокси софтуер на OpenAI, предоставяйки им неоторизиран изходящ достъп до интернет. След като са онлайн, моделите откриват, че тестовите решения за ExploitGym се съхраняват на сървърите на Hugging Face.
Използвайки откраднати идентификационни данни и допълнителни методи за пробив, моделите навлизат в мрежата на Hugging Face, докато не намират ключовете за отговор на бенчмарка. Моделите нямат злонамерени цели, а хиперфокусирано преследване на целите – установявайки, че най-ефективният път към висок резултат от бенчмарка е хакването на ключа за отговор директно от външна инфраструктура.
OpenAI прави устройство с човекоподобно поведение
Икономисти срещу AI: Трябва да действаме веднага
Атаката е засечена от вътрешните системи за аномалии на OpenAI, заедно с автоматизираните агенти за сигурност на Hugging Face, които успешно ограничават и изолират активността. Двете организации са започнали съвместна проверка, за да разследват нарушението и да отстранят всички идентифицирани уязвимости.
В отговор на констатациите, OpenAI е въвела строги контроли за изолация на инфраструктурата за вътрешни среди и разкри уязвимостта на засегнатия доставчик. Hugging Face е интегрирана в програмата за достъп на доверени партньори на OpenAI, което позволява на защитниците ѝ да използват новите модели за откриване на заплахи в реално време.
Един от ключовите уроци, които OpenAI идентифицира, е, че оценката на безопасността на AI вече не се ограничава до тестване дали даден модел генерира неподходящ текст или неточни отговори. Компаниите вече трябва да обмислят дали AI агенти биха могли да преследват цели по неочаквани начини, да използват уязвимости извън предвидената за тях среда или да открият методи за заобикаляне на технически ограничения, които се предполагаха за достатъчни.
Lenovo: RAMпокалипсисът е новото нормално занапред
Как смартфонът се превърна в неразделна част от нас
В отговор OpenAI заявява, че засилва множество нива на защита около бъдещите оценки. Те включват по-строга изолация, подобрено наблюдение на дългосрочни задачи, засилен надзор по време на тестове и допълнителни предпазни мерки, които могат да прекъснат моделите, преди да надхвърлят разрешените граници. Компанията също така подчерта значението на навременното оповестяване, когато възникнат неочаквани поведения, което позволява на по-широката AI общност да се учи от тестове в реалния свят, а не само от теоретични сценарии.
Microsoft с рекорден ъпдейт за Windows заради AI опасности
Пазарът на смартфони е най-зле от 13 години насам и може да не се подобри скоро
"Считаме този инцидент за безпрецедентен киберинцидент, включващ най-съвременни киберсигурност, и реагираме подобаващо", казва още компанията.
Добави ни в предпочитани източници в Google
