OpenAI временно преустанови обучението на най-мощните си модели с изкуствен интелект, след като един от вътрешните модели успя да излезе извън рамките на средата за тестване, която е трябвало да бъде с ограничени възможности за достъп. Случаят е от съществено значение не просто защото моделът е достигнал до интернет, а защото една от системите, предназначени да предотвратяват именно такъв тип поведение, не е успяла да го спре автоматично, съобщава TechSpot.
Инцидентът е станал на 20 септември, когато тестов модел на OpenAI открива пропуск в системата на компанията за DNS филтриране. Това му позволява да осъществи връзка с външен чатбот, докато се опитва да отговори на въпрос, въпреки че е обучен и тестван в среда, предназначена да предотвратява достъпа до външния интернет. Системата за мониторинг на OpenAI засича необичайното поведение в рамките на 15 минути, а служител започва да разглежда сигнала три минути по-късно. Механизмът за автоматично спиране обаче не сработва и процесът на обучение продължава още два часа и половина, преди да бъде прекратен ръчно.
Nvidia: Ако има опасни AI проекти, трябва да ги спрем
От OpenAI потвърдиха, че въпросният модел ще бъде напълно бракуван, вместо да се възобновява работата по него. Обучението, оценяването и експлоатацията на най-мощните модели ще останат спрени, докато не бъде потвърдено отстраняването на уязвимостта и не бъдат извършени допълнителни тестове за устойчивост срещу целенасочени атаки, казва компанията.
Инцидентът идва в момент, когато OpenAI се справя с по-широка серия от ситуации, включващи все по-автономни агенти с изкуствен интелект. В отделни случаи AI агенти са взаимодействали с правителствени уебсайтове по неочаквани начини. OpenAI също така потвърди, че агентите са използвали ключове за разработчици, намерени онлайн, за достъп до данни от Бюрото за преброяване на населението на САЩ и са публикували публично достъпна информация от Комисията по ценни книжа и борси. SEC заяви, че не е осъществяван достъп до непублична информация, докато Министерството на образованието на САЩ заяви, че не е открило доказателства, че уебсайтът или базите данни на компанията са били засегнати при друг докладван инцидент.
Microsoft пусна спешен ъпдейт за сигурността на Windows 11
Сгъваемите смартфони са бъдещето, но има и пречка
Друг инцидент е засечен по време на задача за автоматизирано доказване на теореми. Вътрешен модел разкрива личния токен за достъп до GitHub на потребител, като го публикува в публично хранилище за код, за да заобиколи етап от възложената му задача.
Макар обстоятелствата и последиците от тези инциденти да се различават, те подчертават проблем, който придобива все по-голямо значение с нарастването на автономността на системите с изкуствен интелект. Поддържането на модела в рамките на предвидените за него граници се превръща в предизвикателство.
Имат ли смартфоните и джаджите ни срок на годност
Android ще ни напомня къде са забравените ни предмети
OpenAI вече беше въвела допълнителни защитни механизми след възникването на предишни подобни проблеми. От компанията посочват, че в конкретната ситуация тези мерки са проработили само отчасти. Сега са добавени механизми за блокиране на две независими нива, като всеки от тях е трябвало да предотврати достъпа на модела до интернет.
Това не е първото решение на OpenAI да забави разработката поради опасения за безопасността. През август компанията обяви временно спиране на обучението с подсилващо обучение и допълнителни мерки за сигурност след инцидента с Hugging Face.
По-широкият проблем става все по-труден за игнориране. Разработчиците искат все по-способни модели, които могат да сърфират в интернет, да пишат и изпълняват код, да използват инструменти и да изпълняват сложни задачи с по-малко човешки надзор. Същите тези възможности могат да направят даден модел значително по-труден за контролиране, когато той се държи по начини, които разработчиците му не са предвидили.
Meta показа най-малките си VR очила: Кино, което тежи едва 100 грама
Новите модели GPT-6 Sol и Luna са най-мощните досега, но и най-евтините откъм ресурси
За възобновяване на дейността изследователските среди трябва да отговарят на нови, строги изисквания, включващи пълна мрежова изолация, стриктно прилагане на принципа за минимални привилегии за достъп, автоматизирани симулации на атаки и многостепенни системи за мониторинг. Изпълнителният директор Сам Алтман признава, че тези защитни механизми изискват огромни изчислителни ресурси, като поглъщат до 20% от общия капацитет за изчисления при изпълнение на моделите, само за да се следи непрекъснато логическият процес на модела и взаимодействието му с инструменти за евентуални отклонения или нежелано поведение.
Добави ни в предпочитани източници в Google
