В 2023 году специалисты в области нейросетевых вычислений Илья и Захар Шумайловы описали явление, которое они назвали «коллапс модели». Под коллапсом модели авторы понимают процесс «вырождения», затрагивающий несколько поколений генеративных моделей, в ходе которого сгенерированные данные снова и снова загрязняют ту выборку, на котором обучается следующее поколение моделей. В недавней статье, опубликованной в журнале Nature, они ...
...Исследование: языковые модели «тупеют» после обучения...
...В 2023 году специалисты в области нейросетевых...
Векторное представление слова в компьютерной лингвистике — это сопоставление слову из некоторого словаря числового вектора фиксированной длины, который отражает совместную встречаемость слова с другими словами в корпусе текстов. Каким образом такая модель передает важные семантические признаки слова? Какие у нее есть преимущества и ограничения? Грамота решила подступиться к этой теме с помощью компьютерного лингвиста Бориса Орехова.
...Векторное представление слова в компьютерной лингвистике...
...Что такое векторные модели и как можно их использовать...
...Слово и его окружение Идея представления слова...
Любимые всеми книги и фильмы часто рассказывают захватывающие и необычные истории. Но и таким форматам, как рекламный ролик или пост в блоге, чтобы попасть в топы просмотров, необходимо чем-то зацепить пользователя. Сегодня авторы нередко обращаются к генеративным языковым моделям в поисках вдохновения. Но есть ли в этом польза? Может быть, правы скептики, и их массовое применение убьет творчество? Исследователи Анил Доши из Лондонского ...
...Языковые модели оказались хорошими помощниками в написании...
...Любимые всеми книги и фильмы часто рассказывают...
В последнее время устаревшая церковнославянская и конфессиональная лексика активно используются современными массмедиа. Рассчитанные на массового читателя и слушателя, современные массово-коммуникативные тексты, воспроизводя стандартные языковые модели, обращаются к устаревшей лексике для большей эмоциональности, экспрессивности.
...В последнее время устаревшая церковнославянская и конфессиональная...
...Церковная лексика в практике современных СМИ...
...Исследователь проблем современного русского языка Е...
Со второй половины 2010-х годов компьютерные языковые модели совершили революцию в обработке текстов. Они научились осмысленно отвечать на вопросы, делать переводы, писать рассказы и даже романы. Лингвисты восприняли эту революцию неоднозначно: кто-то — с оптимизмом, а кто-то — со скепсисом.
...Со второй половины 2010-х годов компьютерные языковые...
...Чат-боты GPT и другие: что думают лингвисты о больших...
...Получившая громкую известность аббревиатура GPT расшифровывается...
Уже сейчас писатели издают книги, которые написаны ими в соавторстве с нейросетями. Спецпроект «Писатели vs Нейросети», созданный изданиями «Системный Блокъ» и «Подтекст», анализирует, какие этапы создания художественного текста может упростить нейросеть и насколько полезны языковые модели.
...Уже сейчас писатели издают книги, которые написаны...
...Сможет ли искусственный интеллект заменить писателей...
...Кто лучше напишет рассказ? В ходе эксперимента писателю...
Коммуникативный запрет — это не «стоп-лист», а добровольный отказ от той или иной модели речевого поведения. Таково видение обсуждаемой проблемы Владимира Ильича Карасика, доктора филологических наук, профессора кафедры общего и русского языкознания Института Пушкина. Видео доступно на ютуб-каналах ИРЯ РАН и проекта «Говорим по-русски».
...Коммуникативный запрет — это не «стоп-лист...
...«Говорим по-русски!»: коммуникативные запреты и вызовы...
...Один из известнейших дискурсологов Владимир Карасик...
Когда взрослые разговаривают друг с другом, они опираются на свои знания и предположения о том, как и о чем будет (скорее всего) говорить другой человек. Это облегчает им задачу по расшифровке звуковой информации, особенно когда голос собеседника приглушен, плохо слышен на фоне шума, речь неразборчива или ее пониманию мешает сильный акцент. В новом исследовании Массачусетского технологического института и Гарвардского университета, опубликованном в журнале Nature Human ...
...Как взрослые понимают бессвязную речь маленького ребенка...
...Когда взрослые разговаривают друг с другом, они опираются...
Большие языковые модели (чат-боты на основе искусственного интеллекта, обученные на больших массивах языковых данных) могут порождать связные, осмысленные предложения и даже тексты, в чем многие уже могли убедиться на собственном опыте. Но насколько они способны «понимать» внутреннюю логику человеческого языка, остается неясным. К примеру, если такие модели в ходе обучения находят связи между буквами и словами, могут ли они отличить грамматически правильное ...
...Нейросети проиграли людям при поиске грамматических...
...Большие языковые модели (чат-боты на основе искусственного...
2023 год стал вызовом для наук о языке во всем мире. Оказалось, что большие языковые модели (самый известный их представитель — ChatGPT) гораздо лучше справляются с порождением осмысленных высказываний и текстов, чем модели, которые предлагались до этого внутри лингвистики. В результате мнения специалистов о новых технологических достижениях разделились: одни их игнорируют или оспаривают их результаты, другие пытаются концептуально осмыслить и даже ...
...22 января лингвист Александр Пиперски подведет лингвистические...
...2023 год стал вызовом для наук о языке во...
