В 2023 году специалисты в области нейросетевых вычислений Илья и Захар Шумайловы описали явление, которое они назвали «коллапс модели». Под коллапсом модели авторы понимают процесс «вырождения», затрагивающий несколько поколений генеративных моделей, в ходе которого сгенерированные данные снова и снова загрязняют ту выборку, на котором обучается следующее поколение моделей. В недавней статье, опубликованной в журнале Nature, они ...
...В 2023 году специалисты в области нейросетевых...
Всё чаще можно слышать, что большие языковые модели вроде ChatGPT «пишут как люди». На первый взгляд их способность имитировать нашу речь действительно потрясает. Но более пристальный научный анализ все же выявляет различия. Научная группа из Университета Карнеги — Меллона (США) проверила с помощью методов корпусного анализа, насколько созданные человеком тексты отличаются от текстов в тех же жанрах и стилях, но созданных языковыми моделями (LLM).
...Всё чаще можно слышать, что большие языковые модели...
Большие языковые модели (чат-боты на основе искусственного интеллекта, обученные на больших массивах языковых данных) могут порождать связные, осмысленные предложения и даже тексты, в чем многие уже могли убедиться на собственном опыте. Но насколько они способны «понимать» внутреннюю логику человеческого языка, остается неясным. К примеру, если такие модели в ходе обучения находят связи между буквами и словами, могут ли они отличить грамматически правильное ...
...Большие языковые модели (чат-боты на основе искусственного...
Со второй половины 2010-х годов компьютерные языковые модели совершили революцию в обработке текстов. Они научились осмысленно отвечать на вопросы, делать переводы, писать рассказы и даже романы. Лингвисты восприняли эту революцию неоднозначно: кто-то — с оптимизмом, а кто-то — со скепсисом.
...Со второй половины 2010-х годов компьютерные языковые...
...Получившая громкую известность аббревиатура GPT расшифровывается...
Число текстов, сгенерированных искусственным интеллектом, в последние годы растет в геометрической прогрессии. И качество таких текстов постоянно улучшается. А это значит, что определить, к примеру, реальное авторство учебной работы будет все труднее. Ведь текст, порожденный нейросетями, выглядит уникальным, его не распознаёт проверка инструментами вроде «Антиплагиата». Однако справиться с этой задачей обещают исследователи Высшей школы экономики.
...Число текстов, сгенерированных искусственным интеллектом...
В течение многих лет такие компании, как OpenAI и Google, собирали данные из интернета для обучения больших языковых моделей вроде ChatGPT. Эти модели в процессе обучения «переваривали» гигантские объемы текстов: публицистику, научные статьи, романы, инструкции, официальные документы, посты в соцсетях. Благодаря этой «пище» программы смогли сами генерировать нечто подобное. Но запасы созданных человеком письменных текстов иссякают. Исследовательская ...
...В течение многих лет такие компании, как OpenAI...
Могут ли невежливые запросы снизить качество ответов больших лингвистических моделей вроде ChatGPT? Группа ученых из Университета Васэда (Япония) проверила это предположение на нескольких моделях и трех языках — английском, китайском и японском. В разных языках способы проявления вежливости отличаются. Например, в английском языке есть универсальные слова и конструкции, которые позволяют вежливо обратиться к любому собеседнику. В японском языке ...
...Могут ли невежливые запросы снизить качество ответов...
Современные генеративные модели, такие как ChatGPT, уже активно применяются для написания научных статей и выпускных работ. Выявить разницу между человеческим и сгенерированным текстом становится всё труднее. При этом квалификационные, другие учебные и научные работы предполагают академическую честность, поэтому необходимы инструменты для выявления таких фрагментов. Команда исследователей из НИУ ВШЭ создала две программы для выявления в научных текстах фрагментов, созданных ...
...Современные генеративные модели, такие как ChatGPT,...
Современные инструменты распознавания языков, такие как LangID (Language Identification) компании Google, используются для автоматического перевода, общения с пользователем на его языке, классификации и фильтрации данных. Однако со многими редкими языками они работать не умеют. Например, тексты на навахо — наиболее распространенном из языков коренных американцев — система распознает неправильно, как тексты на исландском, лингала, волоф и других языках. Этот пример отражает более ...
...Современные инструменты распознавания языков, такие...
Генеративные нейросети обучаются на огромных объемах данных, что позволяет им создавать осмысленные тексты за секунды. При этом они явно перенимают от своих «учителей» не только хорошее. Исследователи из Массачусетсского технологического института проанализировали случаи намеренного обмана и манипуляций со стороны больших языковых моделей и моделей, обученных под специфические задачи (например, видеоигры или торги на рынке). Выяснилось, что даже когда моделям на этапе ...
...Генеративные нейросети обучаются на огромных объемах...
