Международная группа исследователей обнаружила, что большие языковые модели, такие как ChatGPT, обрабатывают предложения почти так же, как человеческий мозг, — разбивая их на иерархически упорядоченные блоки-составляющие, а не просто анализируя цепочку слов. Классическая лингвистика со времен Ноама Хомского утверждает, что мозг превращает линейную последовательность слов в иерархическую структуру — дерево, где слова объединяются в группы ...
...Международная группа исследователей обнаружила, что...
Исследователи из Массачусетского технологического института (MIT) нашли объяснение так называемого U-образного эффекта, который характерен для больших языковых моделей вроде ChatGPT. Суть этого эффекта в том, что модели обрабатывают разные части текста с разной точностью. Чем дальше от центра текста, тем точность выше (отсюда и название — график точности имеет спад в центре, отчего становится похож на букву U). Что это означает? Например, если модели нужно ...
...Исследователи из Массачусетского технологического...
