Вам никогда не приходило в голову, что было бы, если бы некое устройство могло декодировать наши мысли в реальную речь или написанный текст? Не говоря уж о том, что это существенно повысило бы эффективность существующих интерфейсов речи, появление такого устройства полностью изменило бы ситуацию для людей, страдающих речевыми патологиями, а еще в большей степени – для «запертых в себе» больных, полностью лишенных речи и моторных функций.
«Таким образом, вместо того, чтобы спрашивать «Siri, какая сегодня будет погода?» или «Ок, Google, куда мне сегодня пойти на обед?» я просто мысленно произношу эти фразы» объясняет Кристиан Херфф, автор доклада, недавно опубликованного в журнале Frontiers in Human Neuroscience.
Хотя чтение человеческих мыслей по-прежнему остается в сфере научной фантастики, ученые уже научились декодировать речь из сигналов, генерируемых нашим мозгом в тот момент, когда мы говорим или слушаем чужую речь.
В своем обзоре Кристиан Херфф и его соавтор Таня Шульц сравнивают плюсы и минусы использования различных методов визуализации работы мозга, призванных улавливать сигналы и затем преобразовать их в текст.
Эти технологии включают функциональную магнитно-резонансную томографию (МРТ), инфракрасную визуализацию, способную определять нервные сигналы на основе метаболической активности нейронов, а также такие методы как магнитоэнцефалография (МЭГ), которая может улавливать электромагнитную активность нейронов, отвечающих за речь. Один из методов под названием электрокортикография дал в ходе исследования Херффа наиболее многообещающие результаты.
В экспериментальной части исследования участвовали больные эпилепсией, которым уже были имплантированы электродные сетки для лечения их заболевания. Они зачитывали тексты, демонстрировавшиеся на экране, а в это время их мозговая активность регистрировалась приборами. Эти результаты легли в основу создания базы данных моделей нейронных сигналов, которые в настоящее время могут быть согласованы с речевыми элементами или звуками.
Когда ученые включили в свои алгоритмы также языковые модели, они сумели декодировать нейронные сигналы в текст с большой точностью. «Впервые мы можем продемонстрировать, что мозговая активность может декодироваться достаточно конкретно», говорит Херфф. «Тем не менее, существующая в настоящее время необходимость в имплантации электродов в мозг оставляет наши методы весьма далекими от применения в повседневной жизни.
Итак, насколько далеки мы от того момента, когда появится реально функционирующее устройство чтения мыслей? «Первым этапом является декодирование воображаемых фраз на основе анализа деятельности мозга, но для этого предстоит решить еще много технических вопросов», признает Херфф.
Результаты их исследования, несмотря на явные признаки прогресса, являются только предварительным шагом к созданию нейрокомпьютерного интерфейса.