AI, преобразующий мысли в речь, переводит мозговые волны в речь

Ученые совершили значительный прорыв в восстановлении естественной речи у людей с параличом, используя искусственный интеллект для преобразования мозговых волн в произнесенные слова в реальном времени с помощью мозговых имплантатов.

Ученые из Радбаудского университета вместе с UMC Утрехт разработали технологию мозговых имплантатов с ИИ, которая переводит нейронные сигналы в произносимые слова с точностью от 92 до 100%, как сообщает Neuroscience News. Исследование, опубликованное на этой неделе в Nature Neuroscience, нацелено на разработку инструментов коммуникации для парализованных людей.

Исследование использовало пациентов с эпилепсией, у которых на короткое время были внедрены имплантаты в мозг, чтобы создать ассоциации между нейронными сигналами и вербальными выражениями. Эта разработка уменьшает предыдущую задержку, которая затрудняла общение для людей с нарушениями речи.

«Наш подход стриминга приносит ту же быструю способность декодирования речи, что и устройства, такие как Alexa и Siri, в нейропротезы», — объяснил Гопала Ануманчипалли, со-руководитель исследования, как сообщает New Atlas. “Используя похожий тип алгоритма, мы обнаружили, что можем декодировать нейронные данные и, впервые, обеспечить практически синхронный стриминг голоса”, — добавил он.

Система работает за счет захвата активности мозга через электроды высокой плотности, размещенные на поверхности мозга. Затем ИИ расшифровывает эти сигналы, воссоздавая слова и предложения с удивительной точностью.

Кроме того, модель текста в речь, обученная на голосе пациента до травмы, гарантирует, что сгенерированная речь звучит естественно и тесно напоминает их оригинальный голос.

Один из авторов исследования, Чеол Джун Чо, объяснил, как система преобразует мысли в речь: «Мы декодируем после того, как мысль уже сформирована, после того, как мы решили, что сказать, после выбора слов и решения о движении мышц голосового тракта», — как сообщает New Atlas.

Этот прорыв значительно улучшает прежние технологии. Кроме того, эту систему на базе искусственного интеллекта теперь можно использовать для инициации речи в течение одной секунды, что позволяет вести непрерывные беседы. Эта технология может изменить жизнь людей с тяжелыми параличами, заболеваниями, при которых человек заключен в своем теле, или такими состояниями, как ЛСД, позволяя им общаться естественным образом.

Тем не менее, несмотря на эти достижения, технология все еще сталкивается с проблемами. Как объясняется в Neuroscience News, этот ИИ требует обширного обучения на нейронных данных человека, и он может не работать эффективно для тех, у кого нет предыдущих записей речи.

Хоть система и может декодировать слова, добиться полностью естественного темпа и выражения остается сложной задачей. К тому же, текущие модели испытывают трудности в прогнозировании полных предложений и абзацев, сосредотачиваясь в основном на отдельных словах.

Кроме того, менее инвазивные версии, использующие шлемы для ЭЭГ, имеют меньшую точность, около 60%, по сравнению с имплантированными электродами, как отмечено в New Scientist.

Впереди, исследователи планируют улучшить скорость речи системы и выразительность, делая разговоры еще более реалистичными.