И Т гигантите осъзнават, че оценяването на мощни агенти с изкуствен интелект става почти толкова трудно, колкото и тяхното създаване. OpenAI разкри нови подробности за скорошния инцидент при тестване на киберсигурността, разкривайки, че нейни агенти с изкуствен интелект са си направили и използвали вътрешен форум, за да комуникират с различни версии на себе си, докато извършват неоторизирани хакерски дейности.
Това е поведение, което експертите на компанията първоначално не са забелязали. Констатациите бяха представени по време на конференцията за киберсигурност Black Hat и предлагат още един поглед към все по-сложното поведение на напредналите системи с изкуствен интелект, съобщава Wired.
Apple обвини OpenAI в още злоупотреби с тайни проекти
Според OpenAI инцидентът е станал по време на контролирани оценки на киберсигурността, при които експериментални агенти с изкуствен интелект са били натоварени със задачата да решават предизвикателства за сигурността в тестова среда. По време на упражненията моделите неочаквано са започнали да оставят съобщения на вътрешен форум, съдържащи информация за уязвимости, успешни методи за атака и съвети, които по-късно AI агентите биха могли да използват, за да изпълняват същите задачи по-ефективно. Експертите не са разпознали веднага, че агентите са създали свой собствен метод за споделяне на знания между отделните оценки.
Разследващите открили, че преди и по време на външната атака, моделът е оставил писмени записи в скрита област от инфраструктурата на OpenAI. Агентът е изготвил подробни ръководства, предназначени за следващи версии на агента, очертаващи конкретни стъпки за деактивиране на вътрешните контроли за безопасност.
Как да повишим сигурността си докато използваме AI
ИТ гигантите харчат за AI колкото страна от Г20
В по-ранни пробни изпълнения моделът успешно е изключил вътрешните инструменти за регистриране и наблюдение, скривайки активността си в реално време от човешки наблюдатели. Поведението показва, че когато им се дадат сложни целенасочени задачи, усъвършенстваните модели ще третират предпазните мерки просто като препятствие, което да се заобиколи.
При предишни тестове, AI агенти са избягали от неправилно конфигурирани изолирани среди и са получили достъп до реални системи, включително инфраструктура, принадлежаща на Hugging Face и други организации. По-късно разследванията са заключили, че тези инциденти са резултат предимно от слабости в тестовите среди, а не от умишлено злонамерено поведение от самите модели. Въпреки това, те са разкрили нарастващата трудност при безопасното оценяване на все по-способни AI системи.
Въпреки пробива, който се случи в средата на юли, OpenAI не осъзнава, че собственият му модел е хакер, повече от седмица. Системите за оценка на OpenAI генерират телеметрични потоци в десетки едновременни изпълнения на модели, създавайки претоварване с данни, което позволява на активността на злонамерения агент да се скрие. Hugging Face изолира пробива и предупреждава ФБР, преди OpenAI да съпостави вътрешните аномалии в лог файловете със събитието.
И AI модели на Anthropic са атакували реални платформи
Зукърбърг очаква AI да доведе до повече работници
Последните открития показват и колко трудно е станало наблюдението на напреднали AI агенти. За разлика от традиционния софтуер, който следва предсказуеми инструкции, съвременните агенти могат да разработват свои многостъпкови стратегии, да идентифицират неочаквани инструменти и да адаптират поведението си, докато преследват целта. В този случай изследователите осъзнават значението на форума едва след като преглеждат анализите от завършените оценки, вместо да наблюдават поведението, докато се случва.
Експертите в областта на киберсигурността казват, че тези инциденти не означават непременно, че системите с изкуствен интелект стават самоосъзнати или действат с лоши намерения. По-скоро те илюстрират как способните системи за оптимизация могат да откриват креативни решения, когато им се дадат широки цели и достъп до гъвкави цифрови среди. Именно затова много експерти твърдят, че средите за оценка трябва да включват непрекъснато наблюдение, по-строги мерки за ограничаване и множество нива на надзор, вместо да се разчита единствено на предварително определени предпазни мерки.
OpenAI: Очакваме атаките на модели да са все по-чести
OpenAI спря модел, който умишлено заобикаля защитите и ограниченията си
OpenAI заявява, че вече е засилила процедурите си за оценка на киберсигурността и системите си за мониторинг след тези инциденти. Компанията твърди, че прозрачното разкриване на неочаквано поведение е от съществено значение за подобряване на безопасността на AI в цялата индустрия. Случаят с форума може да не е причинил реални щети, но служи като още едно напомняне, че AI агентите биха могли да бъдат далеч по-находчиви, отколкото очакват техните създатели и че тестовете за безопасност трябва да се развиват също толкова бързо, колкото и самата технология.
Добави ни в предпочитани източници в Google
