Языковая деятельность мозга похожа на работу языковых моделей ИИ

Ученые Еврейского университета в Иерусалиме обнаружили сходство между нейронными механизмами обработки языка мозгом человека и моделями искусственного интеллекта.

Работа опубликована в журнале Nature Communications.

Исследование проводилось под руководством доктора Ариэля Гольдштейна из Еврейского университета в Иерусалиме, работавшего в тесном сотрудничестве с Google Research в Израиле и Медицинской школой Нью-Йоркского университета.

Глубокие языковые модели, такие как GPT-2 и более старшие, используют искусственные нейронные сети с "пространствами включений" (embedding spaces) – векторными представлениями высокой размерности, отражающими взаимосвязи между словами в различных контекстах.

Этот подход позволяет моделям по-разному интерпретировать одно и то же слово в зависимости от контекста, обеспечивая более глубокое понимание значений и связей слов. Команда доктора Гольдштейна попыталась выяснить, может ли мозг использовать подобные методы при обработке языка.

У участников эксперимента во время прослушивания 30-минутного подкаста ученые регистрировали нейронную активность в нижней лобной извилине – области, тесно связанной с обработкой языка. Ученые показали, что словам, которые слышит человек, можно сопоставить своего рода "мозговые включения", схожие с векторными представлениями "пространств включений", которые используют языковые модели.

Эта общая геометрия позволила исследователям предсказать реакцию мозга на ранее не встречавшиеся слова. Это означает, что мозг, как и искусственные языковые модели, полагается на контекстуальные связи, а не на фиксированные значения слов.

Ученые полагают, что эти результаты свидетельствуют о том, что теории мозга, которые рассматривают его как хранилище фиксированных, основанных на правилах представлений, не вполне точны. Нам нужно отнестись к мозгу как к непрерывной, управляемой контекстом системе.

Доктор Гольдштейн говорит: "Мы заметили, что контекстные включения, подобные тем, что используются в моделях глубокого обучения, более тесно связаны с нейронной активностью, чем принятые сегодня статичные представления".

Исследование показало, что мозг динамически обновляет свое представление языка на основе контекста, а не только "вспоминает" сохраненные слова.

Работа доктора Гольдштейна и его коллег согласуется с последними достижениями в области искусственного интеллекта, и говорит о том, что модели ИИ могут помочь нашему пониманию нейронных механизмов обработки языка.