И ма една сцена във филмовата версия на книгата "Контакт" на Карл Сейгън, в която главната героиня, астроном, открила първия радиосигнал от извънземна цивилизация, е разглеждана за ролята на представител на човечеството, който ще се срещне с извънземните. Международната комисия, която я интервюира, я пита: "Ако можеш да зададеш на извънземните само един въпрос, какъв би бил той?" Отговорът ѝ е: "Бих ги попитала: Как го направихте? Как еволюирахте, как оцеляхте през този технологичен пубертет, без да се унищожите?"
Когато мисля за това къде се намира човечеството сега по отношение на изкуствения интелект (ИИ), за това, което е на прага да се случи, мислите ми непрекъснато се връщат към тази сцена, защото въпросът е толкова точен за нашата настояща ситуация и ми се иска да имахме отговора на извънземните, за да ни напътства. Вярвам, че навлизаме в своего рода обред на преминаване, бурен и неизбежен, който ще изпита кои сме ние като вид. Човечеството е на път да получи почти немислима сила и е дълбоко неясно дали нашите социални, политически и технологични системи притежават зрелостта да я управляват. Това посочва Дарио Амодей, главен изпълнителен директор на "Антропик".
Дарио Амодей е американски изследовател в областта на изкуствения интелект и предприемач. Той е съосновател и главен изпълнителен директор на Anthropic, компанията, която стои зад серията големи езикови модели Claude. Преди това е бил вицепрезидент по изследванията в OpenAI.
Machines of Loving Grace: my essay on how AI could transform the world for the betterhttps://t.co/CFGd4Sbq86
— Dario Amodei (@DarioAmodei) October 11, 2024
В есето си "Машини на любяща милост" се опитах да очертая мечтата за цивилизация, която е преминала към зрялост, където рисковете са адресирани и мощният изкуствен интелект се прилага умело и със състрадание, за да повиши качеството на живот на всички. Предложих, че ИИ може да допринесе за огромни напредъци в биологията, невронауките, икономическото развитие, световния мир, както и в сферата на труда и смисъла. Смятам, че беше важно да дам на хората нещо вдъхновяващо, за което да се борят – задача, в която както ускорителите на ИИ, така и привържениците на безопасността на ИИ изглежда, странно, се провалиха. Но в настоящото есе искам да се изправя лице в лице със самия обред на преминаване: да картографирам рисковете, пред които сме изправени, и да се опитам да започна да изготвям боен план за побеждаването им. Дълбоко вярвам в способността ни да надделеем, в духа и благородството на човечеството, но трябва да погледнем ситуацията право в очите, без илюзии, посочва Амодей.
Както при обсъждането на ползите, смятам, че е важно рисковете да се обсъждат внимателно и обмислено. По-конкретно, критично важно е да:
- Избягваме думите на обреченост
Под "думи на обреченост" имам предвид не само вярата, че гибелта е неизбежна (която е както грешна, така и самоизпълняваща се), но по-общо - мисленето за рисковете от ИИ по квазирелигиозен начин. Много хора от години мислят аналитично и трезво за рисковете от ИИ, но според мен по време на пика на тревогите през 2023–2024 г. някои от най-малко разумните гласове излязоха на преден план, често чрез сензационни социални медии. Тези гласове използваха отблъскващ език, напомнящ на религия или научна фантастика, и призоваваха за крайни действия без доказателства, които да ги оправдаят. Още тогава беше ясно, че ще последва обратна реакция и че темата ще се поляризира културно и следователно ще се задъни. Към 2025–2026 г. махалото се обърна и възможностите на ИИ, а не рисковете от него, движат много политически решения. Това колебание е жалко, защото самата технология не се интересува от модата, а през 2026 г. сме значително по-близо до реална опасност, отколкото през 2023 г. Урокът е, че трябва да обсъждаме и адресираме рисковете по реалистичен, прагматичен начин: трезво, на базата на факти и добре подготвени да оцелеем при променящи се течения, коментира Дарио Амодей.
- Признаваме несигурността
Има много начини, по които тревогите, които повдигам да се окажат безпредметни. Нищо в текста не цели да предаде сигурност или дори вероятност. Най-очевидно е, че ИИ може просто да не напредне и близо толкова бързо, колкото си представям. Или дори ако напредне бързо, някои или всички обсъждани рискове може да не се материализират (което би било чудесно), или да има други рискове, които не съм обмислил. Никой не може да предскаже бъдещето с пълна увереност, но все пак трябва да направим най-доброто, на което сме способни, за да планираме, посочва главният изпълнителен директор на "Антропик".
- Интервенираме колкото е възможно по-хирургично
Адресирането на рисковете от ИИ ще изисква комбинация от доброволни действия от страна на компаниите (и частни трети лица) и действия от страна на правителствата, които обвързват всички. Доброволните действия, както предприемането им, така и насърчаването на други компании да ги последват са очевидни за мен. Твърдо вярвам, че ще са необходими и правителствени действия в някаква степен, но те са различни по характер, защото могат потенциално да унищожат икономическа стойност или да принудят нежелаещи участници, които са скептични към тези рискове (и има шанс те да са прави). Също така е често срещано регулациите да се обърнат срещу целта си или дори да влошат проблема, който целят да решат (и това важи още повече за бързо променящи се технологии). Затова е много важно регулациите да бъдат разумни:
- да избягват странични щети,
- да са възможно най-прости и
- да налагат минималната необходима тежест, за да свършат работата.
Лесно е да се каже: "Няма действие, което е прекалено крайно, когато съдбата на човечеството е заложена", но на практика това отношение просто води до обратна реакция. За яснота, смятам, че има приличен шанс в един момент да стигнем до точка, в която ще са оправдани много по-сериозни действия, но това ще зависи от по-силни доказателства за непосредствена, конкретна опасност, отколкото имаме днес, както и от достатъчна конкретност за опасността, за да формулираме правила, които имат шанс да я адресират. Най-конструктивното нещо, което можем да направим днес, е да се застъпваме за ограничени правила, докато научим дали има доказателства, които да подкрепят по-силни такива, казва Амодей.
The Adolescence of Technology: an essay on the risks posed by powerful AI to national security, economies and democracy—and how we can defend against them: https://t.co/0phIiJjrmz
— Dario Amodei (@DarioAmodei) January 26, 2026
С всичко това казано, смятам, че най-доброто начало за говорене за рисковете от ИИ е същото място, от което започнах, когато говорех за ползите му: да бъдем точни за какво ниво на ИИ говорим. Нивото на ИИ, което предизвиква цивилизационни тревоги у мен, е мощният ИИ, който описах в "Машини на любяща милост". Ще повторя тук дефиницията, която дадох там:
Под "мощен ИИ" имам предвид ИИ модел, вероятно подобен по форма на днешните големи езикови модели, макар че може да е базиран на различна архитектура, да включва няколко взаимодействащи модела и да е обучен по различен начин, със следните свойства:
- По чиста интелигентност той е по-умен от носител на Нобелова награда в повечето релевантни области: биология, програмиране, математика, инженерство, писане и т.н. Това означава, че може да доказва нерешени математически теореми, да пише изключително добри романи, да създава сложни кодови бази от нулата и др.
- Освен че е просто "умно нещо, с което говориш", той разполага с всички интерфейси, достъпни за човек, работещ виртуално, включително текст, аудио, видео, управление с мишка и клавиатура и достъп до интернет. Може да извършва всякакви действия, комуникации или отдалечени операции, позволени от този интерфейс, включително действия в интернет, даване или получаване на указания на хора, поръчване на материали, ръководене на експерименти, гледане на видеа, създаване на видеа и т.н. Изпълнява всички тези задачи с умение, надминаващо това на най-способните хора в света.
- Не просто пасивно отговаря на въпроси; вместо това може да му бъдат възлагани задачи, които отнемат часове, дни или седмици, след което отива и ги изпълнява автономно, по начина, по който би го направил умен служител, като иска разяснения при нужда.
- Няма физическо въплъщение (освен че живее на компютърен екран), но може да контролира съществуващи физически инструменти, роботи или лабораторно оборудване през компютър; на теория дори би могъл да проектира роботи или оборудване за собствена употреба.
- Ресурсите, използвани за обучението на модела, могат да бъдат пренасочени за пускане на милиони негови инстанции (това съответства на проектираните размери на клъстъри към ~2027 г.), а моделът може да абсорбира информация и да генерира действия с около 10–100 пъти по-голяма скорост от човешката. Възможно е обаче да бъде ограничен от времето за реакция на физическия свят или на софтуера, с който взаимодейства.
- Всеки от тези милиони копия може да действа независимо по несвързани задачи или, ако е нужно, всички да работят заедно по начина, по който хората биха си сътрудничили, може би с различни подгрупи, фино настроени да бъдат особено добри в конкретни задачи, посочва Дарио Амодей.
Можем да обобщим това като "държава от гении в датацентър".
Както писах в "Машини на любяща милост", мощният ИИ може да бъде на само 1 - 2 години разстояние, макар че може да е и значително по-далеч. Точно кога ще пристигне мощният ИИ е сложна тема, която заслужава отделно есе, но засега ще обясня много накратко защо смятам, че има голям шанс да дойде много скоро, пише главният изпълнителен директор на "Антропик".
Аз и съоснователите ми в Anthropic бяхме сред първите, които документираха и проследиха "законите на мащабирането" на ИИ системите, наблюдението, че с добавянето на повече изчислителна мощ и тренировъчни задачи ИИ системите предсказуемо стават по-добри във всяко когнитивно умение, което можем да измерим. На всеки няколко месеца общественото мнение или се убеждава, че ИИ "удря стена", или се вълнува от някакъв нов пробив, който ще "промени фундаментално играта", но истината е, че зад волатилността и публичните спекулации има гладко, неуморно увеличение на когнитивните способности на ИИ, посочва Амодей.
Сега сме в точката, в която ИИ моделите започват да правят напредък в решаването на нерешени математически проблеми и са достатъчно добри в кодирането, че някои от най-силните инженери, които съм срещал, вече прехвърлят почти цялото си кодиране на ИИ. Преди три години ИИ се затрудняваше с аритметични задачи от началното училище и едва можеше да напише един ред код. Подобни темпове на подобрение се случват в биологичните науки, финансите, физиката и разнообразни агентни задачи. Ако експоненциалата продължи, което не е сигурно, но вече има десетилетна история, която я подкрепя, тогава не може да мине повече от няколко години, преди ИИ да стане по-добър от хората практически във всичко, коментира главният изпълнителен директор на "Антропик".
Всъщност тази картина вероятно подценява вероятния темп на напредъка. Защото ИИ вече пише голяма част от кода в Anthropic и по този начин значително ускорява темпа ни на напредък в изграждането на следващото поколение ИИ системи. Тази обратна връзка набира скорост месец след месец и може би е само на 1–2 години от точката, в която настоящото поколение ИИ автономно изгражда следващото. Тази верига вече е започнала и ще се ускорява бързо през следващите месеци и години. Наблюдавайки напредъка през последните 5 години отвътре в Anthropic и виждайки как се оформят дори следващите няколко месеца модели, усещам темпото на напредъка и тиктакането на часовника, казва още Амодей.
В това есе ще приема, че тази интуиция е поне донякъде вярна, не че мощният ИИ определено идва след 1 - 2 години, а че има голям шанс да дойде в следващите няколко. Както в "Машини на любяща милост", приемането на тази предпоставка сериозно може да доведе до някои изненадващи и тревожни заключения. Докато в "Машини на любяща милост" се фокусирах върху положителните последици от тази предпоставка, тук нещата, за които говоря, ще бъдат обезпокоителни. Това са заключения, които може би не искаме да приемем, но това не ги прави по-малко реални. Мога само да кажа, че ден и нощ съм фокусиран върху това как да ни насочим далеч от тези отрицателни изходи и към положителните, заключва Дарио Амодей.
