Нейросети учатся на текстах, созданных человеком. Но что, если текстов для обучения не хватает? Тогда используют синтетические данные, сгенерированные моделью. В чем их особенности? Как повлияет появление большого количества «искусственных» текстов на нас как носителей естественного языка? Мы поговорили об этом с руководителем ИИ-направления Грамоты, компьютерным лингвистом Михаилом Копотевым.
...Нейросети учатся на текстах, созданных человеком. Но...
...Обучение и самообучение: как синтетические данные влияют...
...Грамота: Одна из страшилок, связанных с развитием...
Большинство нейросетевых языковых моделей обучаются на огромных массивах данных — в основном англоязычных, так как текстов на этом языке больше всего. При этом модели — если их дообучить — вполне могут генерировать тексты на других языках и делать переводы на эти языки, несмотря на то, что данных на этих языках, пригодных для обучения моделей, значительно меньше. Языковым моделям удается обходить эти ограничения благодаря тому, что они используют ...
...Исследование: внутренний язык больших языковых моделей...
...Большинство нейросетевых языковых моделей обучаются...
Ключевые слова в научных статьях, монографиях и других текстах нужны для того, чтобы потом по этим словам публикация могла быть отнесена к определенной теме и нашлась в поиске. Было бы удобно «вычислять» ключевые слова с помощью нейросетевых алгоритмов, которые автоматически прочитывают текст и определяют, о чем там идет речь. Сейчас подходы к определению ключевых слов в основном строятся на выделении их из текста. Однако в этом ...
...Российские исследователи предложили новую модель генерации...
...Ключевые слова в научных статьях, монографиях...
Специалисты из Нью-Йоркского университета создали модель машинного обучения (нейросеть), которая анализирует электрическую активность коры головного мозга, связанную с речью, и воспроизводит задуманные человеком слова. Для обучения модели исследователи обратились к группе из пяти пациентов с диагностированной рефрактерной эпилепсией и нарушениями развития речи. В этом состоянии пациент не реагирует на лечение противоэпилептическими препаратами в адекватных дозах и комбинациях, то есть не ...
...Нейросеть научилась распознавать задуманные слова по...
...Специалисты из Нью-Йоркского университета создали ...
Со второй половины 2010-х годов компьютерные языковые модели совершили революцию в обработке текстов. Они научились осмысленно отвечать на вопросы, делать переводы, писать рассказы и даже романы. Лингвисты восприняли эту революцию неоднозначно: кто-то — с оптимизмом, а кто-то — со скепсисом.
...Со второй половины 2010-х годов компьютерные языковые...
...Чат-боты GPT и другие: что думают лингвисты о больших...
...Получившая громкую известность аббревиатура GPT расшифровывается...
Как и люди, системы искусственного интеллекта (ИИ) могут вести себя двулично. Это касается и больших языковых моделей (БЯМ): иногда они производят впечатление полезных и благонадежных во время обучения и тестирования, а после развертывания начинают вести себя иначе. Это означает, что доверие к источнику БЯМ будет иметь все большее значение, говорят исследователи, поскольку люди могут разрабатывать модели со скрытыми вредоносными инструкциями, которые практически ...
...Приличное поведение больших языковых моделей может...
...Как и люди, системы искусственного интеллекта...
В 2023 году специалисты в области нейросетевых вычислений Илья и Захар Шумайловы описали явление, которое они назвали «коллапс модели». Под коллапсом модели авторы понимают процесс «вырождения», затрагивающий несколько поколений генеративных моделей, в ходе которого сгенерированные данные снова и снова загрязняют ту выборку, на котором обучается следующее поколение моделей. В недавней статье, опубликованной в журнале Nature, они ...
...Исследование: языковые модели «тупеют» после обучения...
...В 2023 году специалисты в области нейросетевых...
Зоны мозга, связанные с обработкой речи, почти не «подают голос», когда мы читаем грамматически простые и понятные предложения. Однако их активность возрастает, когда мы продираемся сквозь сложный текст. Но насколько сложным он должен быть? Исследователи из Массачусетского технологического института решили проверить, как речевые зоны реагируют на фразы разной сложности. Для начала они выбрали 1000 предложений из художественной литературы, расшифровок устной речи, текстов ...
...Исследование: какие фразы сильнее возбуждают речевые...
...Зоны мозга, связанные с обработкой речи, почти не &...
Учебная книга формирует наше мировоззрение, поддерживает связь поколений и укрепляет культурную традицию. Но в традициях обучения есть и различия, которые вносят время и культура региона. Особенно эти различия заметны в книгах, предназначенных для обучения языку.
...Учебная книга формирует наше мировоззрение, поддерживает...
...«Простое прилежное читание»...
...Заимствование языковых теорий обычно связано с усвоением...
Мария Лебедева заведует лабораторией в Институте Пушкина и руководит образовательным направлением Грамоты. Она считает русский язык самым важным школьным предметом. Почему? И как сделать его живым, интересным и практически ценным для каждого школьника? Об этом она рассказала в лекции для преподавателей русского языка, прочитанной в рамках проекта «Тотальный диктант». Грамота предлагает краткий конспект этой лекции.
...Мария Лебедева заведует лабораторией в Институте...
...Самый важный предмет. Функциональный подход к обучению...
...Как сегодня учат русскому языку в школе 1. Один...
