Люди и ChatGPT одинаково «видят» структуру предложений

Международная группа исследователей обнаружила, что большие языковые модели, такие как ChatGPT, обрабатывают предложения почти так же, как человеческий мозг, — разбивая их на иерархически упорядоченные блоки-составляющие, а не просто анализируя цепочку слов.

Классическая лингвистика со времен Ноама Хомского утверждает, что мозг превращает линейную последовательность слов в иерархическую структуру — дерево, где слова объединяются в группы (именные, глагольные, предложные...), те — в более крупные блоки, и так далее. Большие языковые модели не проектировались специально для построения таких деревьев, и до недавнего времени не было уверенности, что они способны использовать ту же языковую логику, что и человек.

В ходе эксперимента люди и нейросети выполняли необычное задание: им показывали пример удаления фрагмента из предложения, а затем просили применить такое же «правило» к новому предложению.

Оказалось, что и люди, и все протестированные модели (ChatGPT, GPT-4, Claude-3, Gemini-1, Llama-3) в подавляющем большинстве случаев удаляли именно полные лингвистические составляющие — например, целиком именную группу вроде большой красный дом, а не случайный набор слов. Частота таких «правильных» удалений была значительно выше случайного уровня (p<0,001).

Для контроля ученые использовали простую нейросеть LSTM, которая обрабатывает текст линейно и не обучалась на огромных массивах данных, — она справилась с задачей не лучше, чем если бы действовала наугад. Это означает, что наблюдаемое сходство в поведении людей и языковых моделей нельзя объяснить статистическими закономерностями, описывающими порядок слов.

Еще одно открытие: выбор стратегии зависел от языка. При работе с английским текстом и люди, и модели фокусировались на типе «родительского» узла в синтаксическом дереве, а с китайским — на типе той составляющей, которую они удаляли. Билингвы, для которых английский был вторым языком, переключались на «английское» правило при работе с английскими предложениями.

Авторы приходят к выводу о том, что нейросети, как и люди, не просто имеют представление о скрытой иерархической структуре предложения, но и применяют его на практике. Несмотря на принципиально разные механизмы работы и обучения, человеческий мозг и современные языковые модели анализируют и строят предложения схожим образом.

Предложенный метод, по мнению авторов, может стать новым диагностическим инструментом, позволяющим понять, действительно ли языковая модель усвоила абстрактные синтаксические представления или только запомнила статистические паттерны.