Исследователи из Массачусетского технологического института (MIT) нашли объяснение так называемого U-образного эффекта, который характерен для больших языковых моделей вроде ChatGPT. Суть этого эффекта в том, что модели обрабатывают разные части текста с разной точностью. Чем дальше от центра текста, тем точность выше (отсюда и название — график точности имеет спад в центре, отчего становится похож на букву U). Что это означает? Например, если модели нужно ...
...Суть этого эффекта в том, что модели обрабатывают...
...Например, если модели нужно распознать текст, процент...
...Были протестированы 163 модели, в том числе...
В 2023 году специалисты в области нейросетевых вычислений Илья и Захар Шумайловы описали явление, которое они назвали «коллапс модели». Под коллапсом модели авторы понимают процесс «вырождения», затрагивающий несколько поколений генеративных моделей, в ходе которого сгенерированные данные снова и снова загрязняют ту выборку, на котором обучается следующее поколение моделей. В недавней статье, опубликованной в журнале Nature, они ...
...описали явление, которое они назвали «коллапс модели...
...Под коллапсом модели авторы понимают процесс «...
...Девятая версия модели, когда ее попросили написать...
Могут ли невежливые запросы снизить качество ответов больших лингвистических моделей вроде ChatGPT? Группа ученых из Университета Васэда (Япония) проверила это предположение на нескольких моделях и трех языках — английском, китайском и японском. В разных языках способы проявления вежливости отличаются. Например, в английском языке есть универсальные слова и конструкции, которые позволяют вежливо обратиться к любому собеседнику. В японском языке ...
... Генеративные модели искусственного интеллекта...
...выбирали самые популярные и продвинутые языковые модели...
...В промптах для китайской модели уважительные формы...
Промпт ворвался в русский язык вместе с ChatGPT и Midjourney в 2022 году. Но его история началась в Древнем Риме и прошла через театральные подмостки и командную строку DOS, прежде чем соединиться с историей нейросетей.
...Промпт ворвался в русский язык вместе с ChatGPT и Midjourney...
...mdash; это текстовое задание, которое вы даете модели...
Любимые всеми книги и фильмы часто рассказывают захватывающие и необычные истории. Но и таким форматам, как рекламный ролик или пост в блоге, чтобы попасть в топы просмотров, необходимо чем-то зацепить пользователя. Сегодня авторы нередко обращаются к генеративным языковым моделям в поисках вдохновения. Но есть ли в этом польза? Может быть, правы скептики, и их массовое применение убьет творчество? Исследователи Анил Доши из Лондонского ...
...Истории, написанные при помощи модели, были оценены...
...С одной стороны, модели могут направить человека...
Векторное представление слова в компьютерной лингвистике — это сопоставление слову из некоторого словаря числового вектора фиксированной длины, который отражает совместную встречаемость слова с другими словами в корпусе текстов. Каким образом такая модель передает важные семантические признаки слова? Какие у нее есть преимущества и ограничения? Грамота решила подступиться к этой теме с помощью компьютерного лингвиста Бориса Орехова.
...Векторное представление слова в компьютерной лингвистике...
...переводить эти конструкции в математические модели...
...Если же рассматривать большие языковые модели не как...
На портале Федерального института оценки качества образования опубликован отчет о результатах общероссийской оценки качества общего образования по модели международных сопоставительных исследований качества образования за 2023 год. Такая оценка проводится в России ежегодно с 2019 года. В этот раз результаты (в общероссийской и региональных выборках) основаны на анкетировании 61,5 тыс. обучающихся, сотен администраций образовательных ...
...общероссийской оценки качества общего образования по модели...
Источники и причины появления новых слов Многие слова, которые мы сегодня воспринимаем как привычные и существовавшие всегда, когда-то были новыми единицами. Так, слово столица образовано от слова стол при помощи суффикса -иц-, но со временем эта связь перестала ощущаться: сегодня мы не видим в слове столица то значение, которое есть у стола. А во многих случаях слова, когда-то послужившие основой для новых, сами ушли из языка: говядина (от ст.-слав. говѩдо — крупный рогатый ...
... Сами по себе эти модели не новы: и раньше были...
Со второй половины 2010-х годов компьютерные языковые модели совершили революцию в обработке текстов. Они научились осмысленно отвечать на вопросы, делать переводы, писать рассказы и даже романы. Лингвисты восприняли эту революцию неоднозначно: кто-то — с оптимизмом, а кто-то — со скепсисом.
...Со второй половины 2010-х годов компьютерные языковые...
...В результате такие модели могут создавать грамотный...
...Это связано с тем, как обучаются новые модели: они...
...Более ранние модели в основном учитывали параметры...
Всё чаще можно слышать, что большие языковые модели вроде ChatGPT «пишут как люди». На первый взгляд их способность имитировать нашу речь действительно потрясает. Но более пристальный научный анализ все же выявляет различия. Научная группа из Университета Карнеги — Меллона (США) проверила с помощью методов корпусного анализа, насколько созданные человеком тексты отличаются от текстов в тех же жанрах и стилях, но созданных языковыми моделями (LLM).
...Всё чаще можно слышать, что большие языковые модели...
...При этом сами модели отличались друг от друга, имели...
