Учени реконструираха песента „Another Brick in the Wall“ на групата „Pink Floyd“ чрез наблюдение на мозъчните вълни на хората - за първи път разпознаваема песен е декодирана от записи на електрическата активност на мозъка.
Надеждата е, че това може да помогне за възстановяване на музикалността на естествената реч при пациенти, които трудно общуват поради инвалидизиращи неврологични състояния като инсулт или амиотрофична латерална склероза - невродегенеративното заболяване, с което е диагностициран Стивън Хокинг.
Въпреки че членовете на същата лаборатория и преди са успявали да дешифрират реч, и дори мълчаливо въображаеми думи, от мозъчни записи, "като цяло всички тези опити за реконструкция са имали ниско качество", казва професор Робърт Найт, невролог от Калифорнийския университет в Бъркли, САЩ, който провежда изследването заедно с докторанта Людовик Белие.
“Scientists have reconstructed Pink Floyd’s Another Brick in the Wall by eavesdropping on people’s brainwaves – the first time a recognisable song has been decoded from recordings of electrical brain activity.” @LindaGeddes https://t.co/eHj7FdSdcl
— Ashis Basu 🇨🇦 (@BasuAshis) August 15, 2023
"По своята същност музиката е емоционална и прозодична - тя има ритъм, акцент, ударение и интонация. Тя съдържа много по-голям спектър от неща, отколкото ограничените фонеми в който и да е език, които биха могли да добавят още едно измерение към имплантируемия декодер на речта", казва професор Найт.
Докато в предишни разработки е била декодирана електрическата активност от моторната кора на мозъка за речта - област, която контролира малките мускулни движения на устните, челюстта, езика и ларинкса, които формират думите - в настоящото изследване са използвани записи от слуховите области на мозъка, където се обработват всички аспекти на звука.
Екипът анализира мозъчни записи от 29 пациенти, на които е пуснат приблизително триминутен откъс от песента на Pink Floyd, взета от албума им The Wall от 1979 г. Мозъчната активност на доброволците е била засечена чрез поставяне на електроди директно върху повърхността на мозъка им, докато са били подложени на операция за лечение на епилепсия.
След това е използван изкуствен интелект за декодиране на записите и кодиране на възпроизвеждането на звуците и думите. Макар и много приглушена, фразата "All in all, it's just another brick in the wall" прозвучава разпознаваемо в реконструираната песен - с непокътнати ритми и мелодия.
"Звучи малко, сякаш говорят под вода, но това е първият ни опит в тази област", казва Найт.
Той вярва, че използването на по-голяма плътност на електродите може да подобри качеството на реконструкциите им: "Средното разстояние между електродите беше около 5 мм, но имахме няколко пациенти с 3 мм разстояние и те бяха най-добре представилите се по отношение на реконструкцията", каза Найт.
"Сега, когато знаем как да направим това, мисля, че ако имахме електроди, които са на разстояние от милиметър и половина, качеството на звука щеше да бъде много по-добро".
С усъвършенстването на техниките за запис на мозъка може да стане възможно такива записи да се правят и без необходимост от операция - може би с помощта на чувствителни електроди, прикрепени към скалпа.
Тази година изследователи, ръководени от д-р Александър Хът от Тексаския университет в Остин, обявиха, че са успели да превърнат мозъчната активност в непрекъснат поток от текст, използвайки неинвазивни данни от ядрено-магнитен резонанс. Системата не е била достатъчно точна, за да разкодира точните думи, но е могла да открие същността на изреченията.
"Това изследване е наистина хубава демонстрация, че много от същите техники, които са разработени за декодиране на реч, могат да се прилагат и за музика - една недооценена област в нашата област, като се има предвид колко важно е музикалното преживяване в живота ни", каза Хът.
"Въпреки че не са записвали мозъчните реакции, докато участниците са си представяли музика, това може да бъде едно от нещата, за които ще се използват мозъчно-машинните интерфейси в бъдеще: превръщането на въображаемата музика в реална реч. Това е вълнуващо".
Изследването, публикувано в "PLoS Biology", сочи нови области на мозъка, участващи в откриването на ритъма, и потвърди, че дясната страна на мозъка е по-настроена към музиката, отколкото лявата.
По-доброто разбиране на начина, по който се обработват музиката и езикът, може да има и практически приложения, като например да помогне да се хвърли светлина върху загадката защо хората с афазия на Брока, които трудно намират и произнасят правилните думи, често могат да пеят думи без затруднения.
