Исследователи из Массачусетского технологического института (MIT) нашли объяснение так называемого U-образного эффекта, который характерен для больших языковых моделей вроде ChatGPT. Суть этого эффекта в том, что модели обрабатывают разные части текста с разной точностью. Чем дальше от центра текста, тем точность выше (отсюда и название — график точности имеет спад в центре, отчего становится похож на букву U). Что это означает? Например, если модели нужно ...
...Суть этого эффекта в том, что модели обрабатывают...
...Например, если модели нужно распознать текст, процент...
...Были протестированы 163 модели, в том числе...
Со второй половины 2010-х годов компьютерные языковые модели совершили революцию в обработке текстов. Они научились осмысленно отвечать на вопросы, делать переводы, писать рассказы и даже романы. Лингвисты восприняли эту революцию неоднозначно: кто-то — с оптимизмом, а кто-то — со скепсисом.
...Со второй половины 2010-х годов компьютерные языковые...
...В результате такие модели могут создавать грамотный...
...Это связано с тем, как обучаются новые модели: они...
...Более ранние модели в основном учитывали параметры...
Векторное представление слова в компьютерной лингвистике — это сопоставление слову из некоторого словаря числового вектора фиксированной длины, который отражает совместную встречаемость слова с другими словами в корпусе текстов. Каким образом такая модель передает важные семантические признаки слова? Какие у нее есть преимущества и ограничения? Грамота решила подступиться к этой теме с помощью компьютерного лингвиста Бориса Орехова.
...Векторное представление слова в компьютерной лингвистике...
...переводить эти конструкции в математические модели...
...Если же рассматривать большие языковые модели не как...
В 2023 году специалисты в области нейросетевых вычислений Илья и Захар Шумайловы описали явление, которое они назвали «коллапс модели». Под коллапсом модели авторы понимают процесс «вырождения», затрагивающий несколько поколений генеративных моделей, в ходе которого сгенерированные данные снова и снова загрязняют ту выборку, на котором обучается следующее поколение моделей. В недавней статье, опубликованной в журнале Nature, они ...
...описали явление, которое они назвали «коллапс модели...
...Под коллапсом модели авторы понимают процесс «...
...Девятая версия модели, когда ее попросили написать...
Любимые всеми книги и фильмы часто рассказывают захватывающие и необычные истории. Но и таким форматам, как рекламный ролик или пост в блоге, чтобы попасть в топы просмотров, необходимо чем-то зацепить пользователя. Сегодня авторы нередко обращаются к генеративным языковым моделям в поисках вдохновения. Но есть ли в этом польза? Может быть, правы скептики, и их массовое применение убьет творчество? Исследователи Анил Доши из Лондонского ...
...Истории, написанные при помощи модели, были оценены...
...С одной стороны, модели могут направить человека...
Могут ли невежливые запросы снизить качество ответов больших лингвистических моделей вроде ChatGPT? Группа ученых из Университета Васэда (Япония) проверила это предположение на нескольких моделях и трех языках — английском, китайском и японском. В разных языках способы проявления вежливости отличаются. Например, в английском языке есть универсальные слова и конструкции, которые позволяют вежливо обратиться к любому собеседнику. В японском языке ...
... Генеративные модели искусственного интеллекта...
...выбирали самые популярные и продвинутые языковые модели...
...В промптах для китайской модели уважительные формы...
Промпт ворвался в русский язык вместе с ChatGPT и Midjourney в 2022 году. Но его история началась в Древнем Риме и прошла через театральные подмостки и командную строку DOS, прежде чем соединиться с историей нейросетей.
...Промпт ворвался в русский язык вместе с ChatGPT и Midjourney...
...mdash; это текстовое задание, которое вы даете модели...
Нейросети учатся на текстах, созданных человеком. Но что, если текстов для обучения не хватает? Тогда используют синтетические данные, сгенерированные моделью. В чем их особенности? Как повлияет появление большого количества «искусственных» текстов на нас как носителей естественного языка? Мы поговорили об этом с руководителем ИИ-направления Грамоты, компьютерным лингвистом Михаилом Копотевым.
...Нейросети учатся на текстах, созданных человеком. Но...
...В таком случае языковой модели ставят задачу:...
...Это ведет к деградации модели: она хорошо работает...
...Автору промпта или создателю модели?...
Уже сейчас писатели издают книги, которые написаны ими в соавторстве с нейросетями. Спецпроект «Писатели vs Нейросети», созданный изданиями «Системный Блокъ» и «Подтекст», анализирует, какие этапы создания художественного текста может упростить нейросеть и насколько полезны языковые модели.
...Уже сейчас писатели издают книги, которые написаны...
... Языковые модели и стилизация Научить нейросеть...
На портале Федерального института оценки качества образования опубликован отчет о результатах общероссийской оценки качества общего образования по модели международных сопоставительных исследований качества образования за 2023 год. Такая оценка проводится в России ежегодно с 2019 года. В этот раз результаты (в общероссийской и региональных выборках) основаны на анкетировании 61,5 тыс. обучающихся, сотен администраций образовательных ...
...общероссийской оценки качества общего образования по модели...
