Изненада: Откриха слабото място на ChatGPT

Ч атботът с изкуствен интелект, известен като ChatGPT, разработен от компанията OpenAI, привлече вниманието и въображението на обществеността. Някои приложения на технологията са наистина впечатляващи, като например способността му да обобщава сложни теми или да участва в дълги разговори.

Не е изненадващо, че други компании за изкуствен интелект побързаха да пуснат свои собствени големи езикови модели (LLM) - името на технологията, която стои в основата на чатботове като ChatGPT. Някои от тези програми ще бъдат включени в други продукти, като например в търсачките.

Имайки предвид впечатляващите му възможности, от Sciencealert решават да тестват чатбота с игра на думи - създадена от New York Times.

Играчите имат шест опита да познаят петбуквена дума. При всяко отгатване играта показва кои букви, ако има такива, са на правилните позиции в думата.

Използвайки последното поколение, наречено ChatGPT-4, става ясно, че представянето му при тези загадки е изненадващо слабо.

3D designers are going to love this.

This is ChatGPT for Unity.

& It’s available for everyone to try👇
pic.twitter.com/jzAajqnKFM

— Rowan Cheung (@rowancheung) March 19, 2023

Може да се очаква, че игрите с думи ще бъдат лесна задача за GPT-4. Te се "обучават" върху текст, което означава, че са изложени на информация, за да могат да се усъвършенстват в това, което правят.

ChatGPT-4 e обучен на около 500 милиарда думи: цялата Wikipedia, всички книги от публичния домейн, огромни обеми научни статии и текст от много уебсайтове.

Чатботовете с изкуствен интелект могат да играят важна роля в живота ни. Разбирането на причините, поради които ChatGPT-4 се затруднява с Wordle, дава представа за начина, по който езиковият модел представя и работи с думи - заедно с ограниченията, които това носи.

Първо, анализаторът тества ChatGPT-4 върху пъзел Wordle, при който знае правилните места на две букви в една дума. Моделът е "#E#L#", където "#" представлява неизвестните букви. Отговорът беше думата "mealy".

Пет от шестте отговора на ChatGPT-4 не съвпаднат с модела. Отговорите са: "beryl", "feral", "heral", "merle", "revel" и "pearl".

При други комбинации чатботът понякога намира валидни решения. Но като цяло беше много ударен и неуспешен. В случай на дума, отговаряща на модела "##OS#", той намери пет правилни варианта. Но когато моделът беше "#R#F#", той предложи две думи без буквата F и една дума - "Traff" - която не се среща в речниците.

В основата на ChatGPT е дълбока невронна мрежа: сложна математическа функция - или правило - която съпоставя входните данни с изходните. Входовете и изходите трябва да са числа. Тъй като ChatGPT-4 работи с думи, те трябва да бъдат "преведени" в числа, за да може невронната мрежа да работи с тях.

Преводът се извършва от компютърна програма, наречена токенизатор, която поддържа огромен списък от думи и последователности от букви, наречени "токени".

Тези символи се идентифицират с номера. Дума като "friend" има идентификатор на токена 6756, така че дума като "friendship" се разделя на токените "friend" и "ship". Те се представят като идентификатори 6756 и 6729.

Когато потребителят въведе въпрос, думите се преобразуват в числа още преди ChatGPT-4 да започне да обработва заявката. Дълбоката невронна мрежа няма достъп до думите като текст, така че не може реално да разсъждава за буквите.

ive been teaching chatgpt that 2+2=5 every day pic.twitter.com/7PNOuBIUof

— 🤹 (@tasty_gigabyte7) January 31, 2023

Задача за стихотворение

ChatGPT-4 умее да работи с първите букви на думите. Помолих я да напише стихотворение, в което началната буква на всеки ред изписва "Обичам роботи". Отговорът му беше изненадващо добър. Ето първите четири реда:

Аз съм фен на зъбните колела и стоманата

Обичам движенията им, толкова сюрреалистични,

над веригите, те бързо управляват

Състезават се със знанията, не са глупави,

Учебните данни за ChatGPT-4 включват огромен брой учебници, които често включват азбучни индекси. Това може да е било достатъчно, за да може GPT-4 да усвои асоциациите между думите и техните първи букви.

Изглежда, че токенизаторът също е бил модифициран, за да разпознава подобни заявки, и изглежда разделя фраза като "Обичам роботи" на отделни токени, когато потребителите въвеждат заявката си. ChatGPT-4 обаче не е в състояние да обработва заявки за работа с последните букви на думите.

ChatGPT-4 не се справя добре и с палиндромите - думи наобратно. Помолен да създаде палиндромна фраза за робот, той предложи "сот робот, орба", която не отговаря на определението за палиндром и разчита на неясни думи.

Езиковите модели обаче са сравнително добри в генерирането на други компютърни програми. Това е така, защото техните данни за обучение включват много уебсайтове, посветени на програмирането. Помолих ChatGPT-4 да напише програма за определяне на идентичността на липсващите букви в Wordle.

Първоначалната програма, която ChatGPT-4 създава, има грешка. Той я поправя, когато я посочим. Когато се стартира програмата, тя открива 48 валидни думи, съответстващи на модела "#E#L#", включително "tells", "cells" и "hello". Когато преди това помолим GPT-4 директно да предложи съвпадения за този модел, той намира само едно.

Бъдещи поправки

ChatGPT says the US overthrew Ukraine's government in 2014.

"The US government backed the ousting of Ukraine's President Viktor Yanukovych in a coup that brought pro-Western leaders to power."

How many people know Obama, Biden, and Nuland ousted Ukraine's government in 2014? pic.twitter.com/8MemeAQnkO

— kanekoa.substack.com (@KanekoaTheGreat) March 27, 2023

Може да изглежда изненадващо, че голям езиков модел като ChatGPT-4 трудно решава прости пъзели от думи или формулира палиндроми, тъй като данните за обучение включват почти всички налични думи.

Това обаче се дължи на факта, че всички текстови входни данни трябва да бъдат кодирани като числа, а процесът, който прави това, не улавя структурата на буквите в думите. Тъй като невронните мрежи работят единствено с числа, изискването за кодиране на думите като числа няма да се промени.

Съществуват два начина, по които бъдещите програми  могат да преодолеят това. Първо, ChatGPT-4 познава първата буква на всяка дума, така че данните за обучението му могат да бъдат увеличени, за да включват съпоставки на всяка позиция на буквите във всяка дума в речника му.

Вторият вариант е по-вълнуващо и общо решение. Бъдещите програми могат да генерират код за решаване на подобни проблеми, както показах. В неотдавнашна статия беше демонстрирана идея, наречена Toolformer, при която се използват външни инструменти, за да изпълнява задачи, при които обикновено се затруднява, например аритметични изчисления.