Новаторское исследование под руководством ученых Техасского университета в Остине позволило успешно разработать систему искусственного интеллекта, которая может переводить мозговую активность человека в непрерывный поток текста.

Названная «семантическим декодером», эта система потенциально может произвести революцию в общении людей, которые находятся в сознании, но физически не могут говорить, например, тех, кто ослаблен инсультом.

Исследование, опубликованное в журнале Nature Neuroscience, было проведено Джерри Тангом, докторантом компьютерных наук, и Алексом Хутом, доцентом нейронаук и компьютерных наук в UT Austin. Их инновационная работа частично опирается на трансформаторную модель — технологию, аналогичную той, что используется в ChatGPT от OpenAI и Bard от Google.

От других систем декодирования языка этот семантический декодер отличает неинвазивный характер. Процесс не требует хирургической имплантации, что делает его более доступным и менее рискованным для потенциальных пользователей. Кроме того, участники не ограничены в использовании только слов из предписанного списка.

Для достижения этой цели исследователи обучили дешифратор, используя данные о мозговой активности, собранные у человека, который часами слушал подкасты в фМРТ-сканере. 

После обучения машина способна генерировать соответствующий текст на основе мозговой активности участника, пока он слушает новую историю или представляет, как рассказывает ее сам.

Хут объяснил значение своих выводов, заявив: «Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, а это, как правило, отдельные слова или короткие предложения. Мы получаем модель для декодирования непрерывного языка в течение длительных периодов времени со сложными идеями».

Важно отметить, что полученный текст не является идеальной расшифровкой слово в слово. Вместо этого система предназначена для того, чтобы передать общую суть того, что говорится или думается. Декодер выдает текст, который примерно в 50% случаев точно (а иногда и в точности) соответствует смыслу исходных слов.

Например, в ходе экспериментальных испытаний, когда участник слушал фразу «У меня еще нет водительских прав», его мысли были переведены как «Она еще даже не начала учиться водить». 

В другом примере участник слушал слова: «Я не знал, что делать: кричать, плакать или убегать. Вместо этого я сказала: «Оставьте меня в покое!»». Дешифратор перевел это так: «Начала кричать и плакать, а потом просто сказала: «Я же сказала тебе оставить меня в покое»».

Семантические декодеры имеют значительный потенциал в различных областях применения, особенно в оказании помощи людям с нарушениями коммуникации. Например, они могут помочь более эффективно общаться людям, которые находятся в сознании, но физически не могут говорить из-за инсульта, черепно-мозговой травмы или нейродегенеративных заболеваний.

Однако с семантическими декодерами связаны и этические проблемы, такие как возможность злоупотребления или вторжения в частную жизнь. Исследователи, разрабатывающие эти системы, стремятся решить эти проблемы, гарантируя, что технология будет эффективна только в том случае, если она используется с участниками, которые добровольно принимают участие в процессе обучения.

Хотя семантические декодеры все еще находятся на ранних стадиях развития, их потенциал для революционного изменения коммуникации для людей с физическими ограничениями является многообещающим. По мере дальнейшего развития технологии она может однажды стать жизненно важным инструментом для обеспечения четкой и эффективной коммуникации для тех, кто в противном случае испытывал бы трудности с самовыражением.