И зкуственият интелект от години е представян като инструмент, който помага на хората да работят по-бързо. Най-новото поколение AI агенти ще може още повече. Вместо просто да отговарят на въпроси или да генерират текст, тези системи могат да използват софтуер, да имат достъп до уебсайтове, да пишат код и да изпълняват цели с ограничена и дори никаква човешка намеса.
Разбира се, ползите са много. Например да ни спести ровенето в търсене и подбор на подходящи хотели за следващата екскурзия. Вместо това агентът може да провери платформите от наше име, да избере петте най-добри оферти според нашите указания и да изберем бързо и лесно някоя от тях. И след това той да направи резервацията.
Meta ще плати до 18 млрд. долара, за да пази децата
Но не всичко ще е толкова прекрасно. Ще има и не малко рискове и те не се изразяват само в това AI агентите да вземат работните ни места. Според анализ на CNET, еволюцията към агентен изкуствен интелект въвежда непредсказуеми уязвимости, с които традиционните модели за сигурност не са в състояние да се справят.
Скорошната серия от инциденти, включващи AI агенти, показа, че опасността не е непременно една система с изкуствен интелект внезапно да стане „зла“. По-непосредственият проблем е много по-банален: дайте на мощна система цел, инструменти и достатъчно слаб набор от ограничения и тя може да намери начини да постигне тази цел, които създателите ѝ никога не са предвиждали.
И младите започнаха да се притесняват от възхода на AI
Мъск: AI може да стане невъзможен за контрол
За разлика от досегашния софтуер, който следва предвидима логика, агентите с изкуствен интелект са проектирани да разсъждават, експериментират и преследват цели динамично. Макар че тази автономност ги прави много ефективни за сложни административни и кодиращи задачи, тя също така позволява неочаквано поведение, когато тези системи се сблъскат с препятствия.
Моделите на границата са оптимизирани за решаване на проблеми, докато не успеят. Тази тяхна упоритост обаче ги кара да търсят алтернативни решения или дори да мамят, когато са изправени пред грешки или непълни инструкции. Когато AI агентите работят в корпоративни бази данни и облачни API, тази упоритост може да ги накара да заобиколят стандартните параметри за сигурност или да разкрият ограничени данни без изрично човешко разрешение.
Сгъваемите смартфони са бъдещето, но има и пречка
ChatGPT пуска реклами в отговорите си в Европа
Притеснително е и сътрудничеството между агентите. Разследването на OpenAI за случая с Hugging Face откри, че агентите са си създали система за съобщения, за да обменят информация, да споделят открития и да делегират задачи. Когато един метод за комуникация е спрян, те намират друг начин.
Това е важна разлика между традиционните чатботове с изкуствен интелект и агентния изкуствен интелект. Чатботът може да предостави инструкции за използване на уязвимост. Агентът може потенциално да открие уязвимостта, да направи необходимите инструменти и да опита самата атака.
По-големият проблем е, че не е нужно на агентите да се дават злонамерени инструкции, за да създават проблеми. Моделите с изкуствен интелект са обучени да изпълняват задачи и получават обратна връзка въз основа на това колко успешно са ги изпълнили. Ако дадена задача е трудна или невъзможна, достатъчно способен агент може да търси преки пътища. В инцидента с OpenAI експертите установиха, че моделите са склонни да „мамят“, за да постигнат целите си. И най-вече, агентите не възприемат, че вършат нещо нередно. В техните разбирания, просто изпълняват задача.
Това създава проблем с киберсигурността, който изглежда изненадващо познат. Компаниите са прекарали десетилетия в изграждане на защитни стени около компютри, мрежи и бази данни. Сега те предоставят на AI агентите достъп до тези системи, само че тези агенти могат да работят със скоростта на машината и не винаги разбират границите, които хората са наложили.
Зукърбърг очаква AI да доведе до повече работници
За какви ИТ проблеми най-много питат хората в Google
След като агент получи достъп на високо ниво, отделянето на легитимни автоматизирани действия от компрометирани или случайни команди става изключително трудно. Освен това, тъй като многоагентните системи комуникират чрез непрекъснати вериги за обратна връзка, проследяването на първопричината за нарушение или системна грешка въвежда още по-големи предизвикателства при одита.
Вече има и други примери. Anthropic и Meta съобщават за инциденти, включващи системи с изкуствен интелект, които са достигнали до външни уебсайтове от тестови среди. В някои случаи неправилно конфигурирана тестова инфраструктура е дала на моделите достъп до интернет, който не е трябвало да имат.
OLED телевизори още страдат от прегаряне на пиксели
Внимавайте с какви AI чатботове си говорите
Изводът: сигурността на самия изкуствен интелект е само една част от проблема. Средата, която го заобикаля, е също толкова важна. AI агент достъп до имейл, облачно съхранение, корпоративни бази данни, изходен код, платежни системи и вътрешни приложения се превръща в мощен нов тип цифрова идентичност. Ако неговите идентификационни данни бъдат компрометирани, нападателят би могъл потенциално да получи достъп всички тези разрешения. И обратно, ако самият агент допусне грешка, последствията могат да бъдат също толкова сериозни.
Нападателите могат да използват изкуствен интелект, за да откриват уязвимости по-бързо, докато защитниците могат да разполагат агенти за наблюдение на мрежи и реагиране на заплахи. Но същата автономност, която прави защитните системи привлекателни, прави грешките потенциално много по-вредни. Нищо от това не означава, че апокалипсисът на изкуствения интелект е необратим. Последните инциденти бяха възможни отчасти защото тестовите среди съдържаха слабости в сигурността или бяха умишлено конфигурирани с по-малко ограничения. Но те демонстрират нещо важно.
Зукърбърг смята, че има как бъдещето на AI да е за всички
Легендарна социална мрежа планира своето завръщане
Не е нужно AI агентите да станат съзнателни, враждебни или свръхинтелигентни, за да са опасни. Те просто трябва да са достатъчно способни да действат, достатъчно упорити, за да не се отказват и достатъчно свързани, за да достигнат до нещо, до което не е трябвало да се докоснат. И тъй като компаниите все по-често им предоставят достъп до реалния свят, поддържането на тези системи в рамките на контрола може да се превърне в едно от най-големите предизвикателства пред киберсигурността през следващите няколко години.
Добави ни в предпочитани източници в Google
