Исследователи из Массачусетского технологического института (MIT) нашли объяснение так называемого U-образного эффекта, который характерен для больших языковых моделей вроде ChatGPT. Суть этого эффекта в том, что модели обрабатывают разные части текста с разной точностью. Чем дальше от центра текста, тем точность выше (отсюда и название — график точности имеет спад в центре, отчего становится похож на букву U). Что это означает? Например, если модели нужно ...
...Исследователи из Массачусетского технологического...
Александр Пиперски — кандидат филологических наук, лауреат премии «Просветитель», старший преподаватель Стокгольмского университета — расскажет о событиях и явлениях прошедшего года, важных для наук о языке. Вот несколько заявленных тем лекции. Роль больших языковых моделей в изучении языка. Практически в каждой научной новости 2024 года, где встречается слово language, есть упоминание о больших языковых моделях. Однако остается неясным, какие
...Александр Пиперски — кандидат филологических...
Недавнее исследование, проведенное учеными из Microsoft и ведущих американских университетов, опровергает идею, что нейросети всегда лучше работают с теми языками, для которых есть большие массивы текстов. При генерации или переводе текстов действует общее правило: чем больше данных для обработки доступно модели на этапе обучения, тем лучше будет результат. Например, ИИ-перевод на языки вроде английского и русского получается точнее, чем на менее распространенные —
...Недавнее исследование, проведенное учеными из ...
Всё чаще можно слышать, что большие языковые модели вроде ChatGPT «пишут как люди». На первый взгляд их способность имитировать нашу речь действительно потрясает. Но более пристальный научный анализ все же выявляет различия. Научная группа из Университета Карнеги — Меллона (США) проверила с помощью методов корпусного анализа, насколько созданные человеком тексты отличаются от текстов в тех же жанрах и стилях, но созданных языковыми моделями (LLM).
...Всё чаще можно слышать, что большие языковые модели...
Большие языковые модели (чат-боты на основе искусственного интеллекта, обученные на больших массивах языковых данных) могут порождать связные, осмысленные предложения и даже тексты, в чем многие уже могли убедиться на собственном опыте. Но насколько они способны «понимать» внутреннюю логику человеческого языка, остается неясным. К примеру, если такие модели в ходе обучения находят связи между буквами и словами, могут ли они отличить грамматически правильное ...
...Большие языковые модели (чат-боты на основе искусственного...
Со второй половины 2010-х годов компьютерные языковые модели совершили революцию в обработке текстов. Они научились осмысленно отвечать на вопросы, делать переводы, писать рассказы и даже романы. Лингвисты восприняли эту революцию неоднозначно: кто-то — с оптимизмом, а кто-то — со скепсисом.
...Со второй половины 2010-х годов компьютерные языковые...
...Получившая громкую известность аббревиатура GPT расшифровывается...
Могут ли невежливые запросы снизить качество ответов больших лингвистических моделей вроде ChatGPT? Группа ученых из Университета Васэда (Япония) проверила это предположение на нескольких моделях и трех языках — английском, китайском и японском. В разных языках способы проявления вежливости отличаются. Например, в английском языке есть универсальные слова и конструкции, которые позволяют вежливо обратиться к любому собеседнику. В японском языке ...
...Могут ли невежливые запросы снизить качество ответов...
Число текстов, сгенерированных искусственным интеллектом, в последние годы растет в геометрической прогрессии. И качество таких текстов постоянно улучшается. А это значит, что определить, к примеру, реальное авторство учебной работы будет все труднее. Ведь текст, порожденный нейросетями, выглядит уникальным, его не распознаёт проверка инструментами вроде «Антиплагиата». Однако справиться с этой задачей обещают исследователи Высшей школы экономики.
...Число текстов, сгенерированных искусственным интеллектом...
В течение многих лет такие компании, как OpenAI и Google, собирали данные из интернета для обучения больших языковых моделей вроде ChatGPT. Эти модели в процессе обучения «переваривали» гигантские объемы текстов: публицистику, научные статьи, романы, инструкции, официальные документы, посты в соцсетях. Благодаря этой «пище» программы смогли сами генерировать нечто подобное. Но запасы созданных человеком письменных текстов иссякают. Исследовательская ...
...В течение многих лет такие компании, как OpenAI...
Правительство РФ внесло в Госдуму законопроект о создании Национального словарного фонда — единого цифрового ресурса, содержащего данные словарей русского языка. Закон «О государственном языке РФ» предлагается дополнить статьей, которая будет регламентировать создание и работу Национального словарного фонда. Под ним понимается государственная информационная система, в которой будут представлены данные о нормах современного русского ...
...Правительство РФ внесло в Госдуму законопроект...
