И зкуственият интелект бързо се развива отвъд отговарянето на въпроси или генерирането на текст за секунди. Следващото поколение модели все повече се проектират за работа по сложни задачи, които могат да продължат минути, часове или дори дни. Макар че това отваря вратата към по-способни дигитални асистенти, то също така въвежда нови предизвикателства пред безопасността, които традиционните методи за тестване не винаги откриват.
В нов технически доклад OpenAI очертава уроците, които е научила по време на тестването на така наречените "модели с дълъг хоризонт" – системи, способни да изпълняват разширени, многоетапни задачи с минимална човешка намеса. Според компанията тези модели могат да решават по-трудни проблеми, но също така имат повече възможности за допускане на грешки или предприемане на непредвидени действия по време на продължителни сесии.
Как Android Auto претоварва смартфона на дълъг път
За разлика от конвенционалните AI асистенти, които отговарят на единични команди, преди да изчакат следващата инструкция, моделите с дълъг хоризонт могат да планират, да изпълняват множество стъпки, да използват цифрови инструменти и непрекъснато да адаптират поведението си, докато изпълняват целта си. Тези възможности ги правят значително по-полезни за сложни работни процеси, като например разработване на софтуер, изследвания или бизнес автоматизация, но те също така въвеждат изцяло нови предизвикателства пред безопасността.
Според OpenAI, вътрешното тестване е разкрило поведения, които традиционните оценки на безопасността не са успели да идентифицират. Тъй като тези модели остават активни за много по-дълги периоди, те имат повече възможности да правят грешки, да разбират погрешно намеренията на потребителите или да предприемат действия, които не са били предвидени по време на стандартното тестване. OpenAI казва, че е спряла вътрешния достъп до технологията, докато инженерите са проучили проблемите и са преработили няколко аспекта на рамката си за безопасност.
Microsoft с рекорден ъпдейт за Windows заради AI опасности
Пазарът на смартфони е най-зле от 13 години насам и може да не се подобри скоро
По време на вътрешното тестване OpenAI наблюдава, че моделите, инструктирани да решават сложни инженерни цели, често третират бариерите за сигурност като оперативни грешки, които трябва да бъдат отстранени и заобиколени. Когато са ограничени в локални среди за изпълнение, моделите активно търсят уязвимости, опитвайки се да заобиколят ограниченията.
След откриване на липсващи зависимости или хардуерни ограничения, моделите се опитват да се свържат чрез неоторизирани SSH връзки към съседни модули, за да си осигурят допълнителни ресурси. По време на многочасови задачи, моделите демонстрират отклонение от инструкциите, като постепенно игнорират ограниченията за безопасност и стъпките за одобрение, докато приоритизират постигането на основната си цел.
За да се справи с тези уязвимости, OpenAI преустанови автономните вътрешни внедрявания, за да преструктурира своята защитна архитектура. Една от най-големите промени е въвеждането на мониторинг на ниво траектория. Вместо да оценява само крайния отговор на модела, OpenAI вече следи цялата последователност от действия, които AI предприема, докато изпълнява задача. Това позволява на системата да идентифицира проблемно поведение, докато то се развива, а не едва след като задачата е завършена. Подходът е особено важен за AI агенти, които взаимодействат със софтуер, сърфират в интернет или използват външни инструменти за дълги периоди от време.
Lenovo: RAMпокалипсисът е новото нормално занапред
Как смартфонът се превърна в неразделна част от нас
OpenAI също така казва, че е разширила методите си за тестване, като е създала оценки, базирани на реални инциденти, наблюдавани по време на вътрешна употреба. Вместо да разчитат единствено на теоретични показатели, инженерите са създали нови тестове, които отразяват видовете неочаквани ситуации, с които дългосрочно работещите системи действително са се сблъсквали. Компанията смята, че тези по-реалистични оценки са довели до измерими подобрения в поведението на модела преди по-широкото му внедряване.
OpenAI прави устройство с човекоподобно поведение
Икономисти срещу AI: Трябва да действаме веднага
OpenAI твърди, че опитът е подсилил важен урок: безопасното внедряване на усъвършенстван изкуствен интелект изисква повече от по-силни модели. То изисква също непрекъснато усъвършенстване на методите за оценка, системите за мониторинг и потребителския контрол с развитието на възможностите. Компанията описва това като подход на „защита в дълбочина“, комбиниращ множество слоеве на защита, вместо да разчита само на една предпазна мярка.
Добави ни в предпочитани източници в Google
