Александр Пиперски — кандидат филологических наук, лауреат премии «Просветитель», старший преподаватель Стокгольмского университета — расскажет о событиях и явлениях прошедшего года, важных для наук о языке. Вот несколько заявленных тем лекции. Роль больших языковых моделей в изучении языка. Практически в каждой научной новости 2024 года, где встречается слово language, есть упоминание о больших языковых моделях. Однако остается неясным, какие
...Александр Пиперски — кандидат филологических...
В 2023 году специалисты в области нейросетевых вычислений Илья и Захар Шумайловы описали явление, которое они назвали «коллапс модели». Под коллапсом модели авторы понимают процесс «вырождения», затрагивающий несколько поколений генеративных моделей, в ходе которого сгенерированные данные снова и снова загрязняют ту выборку, на котором обучается следующее поколение моделей. В недавней статье, опубликованной в журнале Nature, они ...
...В 2023 году специалисты в области нейросетевых...
Недавнее исследование, проведенное учеными из Microsoft и ведущих американских университетов, опровергает идею, что нейросети всегда лучше работают с теми языками, для которых есть большие массивы текстов. При генерации или переводе текстов действует общее правило: чем больше данных для обработки доступно модели на этапе обучения, тем лучше будет результат. Например, ИИ-перевод на языки вроде английского и русского получается точнее, чем на менее распространенные —
...Недавнее исследование, проведенное учеными из ...
Всё чаще можно слышать, что большие языковые модели вроде ChatGPT «пишут как люди». На первый взгляд их способность имитировать нашу речь действительно потрясает. Но более пристальный научный анализ все же выявляет различия. Научная группа из Университета Карнеги — Меллона (США) проверила с помощью методов корпусного анализа, насколько созданные человеком тексты отличаются от текстов в тех же жанрах и стилях, но созданных языковыми моделями (LLM).
...Всё чаще можно слышать, что большие языковые модели...
Большие языковые модели (чат-боты на основе искусственного интеллекта, обученные на больших массивах языковых данных) могут порождать связные, осмысленные предложения и даже тексты, в чем многие уже могли убедиться на собственном опыте. Но насколько они способны «понимать» внутреннюю логику человеческого языка, остается неясным. К примеру, если такие модели в ходе обучения находят связи между буквами и словами, могут ли они отличить грамматически правильное ...
...Большие языковые модели (чат-боты на основе искусственного...
Со второй половины 2010-х годов компьютерные языковые модели совершили революцию в обработке текстов. Они научились осмысленно отвечать на вопросы, делать переводы, писать рассказы и даже романы. Лингвисты восприняли эту революцию неоднозначно: кто-то — с оптимизмом, а кто-то — со скепсисом.
...Со второй половины 2010-х годов компьютерные языковые...
...Получившая громкую известность аббревиатура GPT расшифровывается...
Число текстов, сгенерированных искусственным интеллектом, в последние годы растет в геометрической прогрессии. И качество таких текстов постоянно улучшается. А это значит, что определить, к примеру, реальное авторство учебной работы будет все труднее. Ведь текст, порожденный нейросетями, выглядит уникальным, его не распознаёт проверка инструментами вроде «Антиплагиата». Однако справиться с этой задачей обещают исследователи Высшей школы экономики.
...Число текстов, сгенерированных искусственным интеллектом...
В течение многих лет такие компании, как OpenAI и Google, собирали данные из интернета для обучения больших языковых моделей вроде ChatGPT. Эти модели в процессе обучения «переваривали» гигантские объемы текстов: публицистику, научные статьи, романы, инструкции, официальные документы, посты в соцсетях. Благодаря этой «пище» программы смогли сами генерировать нечто подобное. Но запасы созданных человеком письменных текстов иссякают. Исследовательская ...
...В течение многих лет такие компании, как OpenAI...
Могут ли невежливые запросы снизить качество ответов больших лингвистических моделей вроде ChatGPT? Группа ученых из Университета Васэда (Япония) проверила это предположение на нескольких моделях и трех языках — английском, китайском и японском. В разных языках способы проявления вежливости отличаются. Например, в английском языке есть универсальные слова и конструкции, которые позволяют вежливо обратиться к любому собеседнику. В японском языке ...
...Могут ли невежливые запросы снизить качество ответов...
Современные генеративные модели, такие как ChatGPT, уже активно применяются для написания научных статей и выпускных работ. Выявить разницу между человеческим и сгенерированным текстом становится всё труднее. При этом квалификационные, другие учебные и научные работы предполагают академическую честность, поэтому необходимы инструменты для выявления таких фрагментов. Команда исследователей из НИУ ВШЭ создала две программы для выявления в научных текстах фрагментов, созданных ...
...Современные генеративные модели, такие как ChatGPT,...
