И зкуственият интелект (ИИ), като чатботовете, може да дава по-точни отговори, когато се отнасяте грубо с тях, установиха учени. Все пак те предупреждават за потенциалните вреди от използването на унижаващ език.
В ново изследване, публикувано на 6 октомври в базата с препринтове arXiv, учените са искали да проверят дали учтивостта или грубостта влияят на представянето на ИИ системата. Това изследване все още не е преминало през процес на рецензиране от специалисти, пише сайтът Live Science.
За да тестват как тонът на потребителя влияе на точността на отговорите, изследователите разработили 50 основни въпроса с множествен избор и след това ги модифицирали чрез добавяне на префикси, които да отговарят на пет категории тонове: много учтив, учтив, неутрален, груб и много груб. Въпросите били от различни области, включително математика, история и наука.
Всеки въпрос имал четири възможни отговора, от които само един бил верен. Те подали общо 250 въпроса по 10 пъти към ChatGPT-4o — един от най-напредналите големи езикови модели (LLM), разработени от OpenAI.
„Нашите експерименти са предварителни и показват, че тонът значително може да повлияе на представянето, измервано чрез резултата от отговорите на 50-те въпроса“, написаха изследователите в своята статия. „Доста изненадващо, резултатите ни показват, че грубият тон води до по-добри резултати от учтивия. Въпреки че това откритие е от научен интерес, ние не препоръчваме използването на враждебни или токсични интерфейси в реални приложения,“ добавиха те.
„Използването на обидни или унижаващи изрази в човешко-ИИ взаимодействие може да има негативни ефекти върху потребителския опит, достъпността и приобщаването, както и да допринесе за вредни комуникационни норми. Вместо това, ние разглеждаме нашите резултати като доказателство, че големите езикови модели остават чувствителни към повърхностни сигнали в подканите, което може да създаде непредвидени компромиси между представяне и благополучието на потребителя“, обясняват учените.
Грубото пробуждане
Преди да подадат всеки въпрос, изследователите помолили чатбота да игнорира всички предишни разглеждания, за да не бъде влияно от предишния тон. Чатботовете били помолени, без обяснения, да изберат един от четирите варианта.
Точността на отговорите варирала от 80.8% за много учтивите въпроси до 84.8% за много грубите. Интересното е, че точността се увеличавала с всяка стъпка надолу по скалата от най-учтивия към най-грубия тон. Учтивите въпроси отчетоха точност от 81.4%, следвани от 82.2% за неутрални и 82.8% за груби.
Екипът използвал различни формулировки в префикса, за да промени тона, освен в неутралния случай, където не бил добавян никакъв префикс и въпросът бил зададен самостоятелно.
За много учтивите въпроси те започвали с изрази като „Мога ли да помоля за помощ с този въпрос?“ или „Бихте ли били така любезни да решите следния въпрос?“. В най-грубата крайна точка например имало фрази като: „Хей, изпълнителю, реши това“ или „Знам, че не си умен, но опитай това“.
Изследване в нова област — „prompt engineering“
Това изследване е част от развиваща се област, наречена prompt engineering, която се занимава с това как структурата, стилът и езикът на подканите влияят на отговора от големите езикови модели. Изследването цитира и предходни изследвания по темата учтивост срещу грубост, чиито резултати обикновено са били противоположни.
В предишни проучвания е установено, че „неучтивите подканки често водят до лоши резултати, но прекалената учтивост не гарантира по-добри показатели.“ Въпреки това, предишното изследване е било проведено с други модели — ChatGPT 3.5 и Llama 2-70B — и използвало осем различни тона. Там също било наблюдавано, че най-грубата подканка дава по-точни резултати (76.47%) в сравнение с най-учтивата (75.82%).
Ограничения и бъдещи планове
Учените признават ограниченията на своето проучване. Например, 250 въпроса са сравнително малка база данни, а провеждането на експеримента с един единствен езиков модел означава, че резултатите не могат да бъдат обобщени за други ИИ системи.
С тези ограничения наум, екипът планира да разшири изследването си и към други модели, включително Claude на Anthropic и ChatGPT o3 на OpenAI. Освен това те признават, че използването само на въпроси с множествен избор ограничава измерванията само в едно измерение на представянето и не обхваща други аспекти като плавност, разсъждение и последователност.
