Подсказки для поиска

Прогноз: текстовые данные для обучения нейросетей могут закончиться в ближайшие годы

В течение многих лет такие компании, как OpenAI и Google, собирали данные из интернета для обучения больших языковых моделей вроде ChatGPT. Эти модели в процессе обучения «переваривали» гигантские объемы текстов: публицистику, научные статьи, романы, инструкции, официальные документы, посты в соцсетях. Благодаря этой «пище» программы смогли сами генерировать нечто подобное.

Но запасы созданных человеком письменных текстов иссякают. Исследовательская компания Epoch AI прогнозирует, что дефицит «живых» текстовых данных может наступить уже в ближайшие пять лет. Эксперты представили экстраполяцию (прогнозы оценки значения переменной за пределами исходного диапазона наблюдений) тенденций в создании текстов людьми, а также потребностей нейросетей в обучающих данных, и пришли к выводу, что кризис наступит примерно между 2026 и 2032 годом.

В этих условиях все больше компаний рассматривают возможность использования синтетических данных — таких, которые порождены нейросетями по образу и подобию человеческих текстов. В 2021 году исследовательская фирма Gartner предполагала, что уже в нынешнем году 60% данных, используемых для тренировки нейросетей, будут иметь машинное происхождение.

Но синтетические данные создают другую проблему. В недавней статье, опубликованной группой исследователей из Оксфорда и Кембриджа, говорится, что введение в модель слишком большого объема сгенерированных данных в итоге приводит к ее деградации. В принципе использовать такие данные можно, но они должны быть сбалансированы «живыми», чтобы модель выдавала адекватные результаты.

Вероятно, компаниям-разработчикам придется менять подходы к созданию и обучению нейросетей, чтобы обеспечить их качественную работу. Ведь просто заставить всех людей круглосуточно производить новые уникальные тексты, чтобы удовлетворить растущие «аппетиты» моделей, не получится.

Портал «Грамота.ру»

Еще на эту тему

Создать себе подобных: как люди придумали чат-ботов

От первых программ с запрограммированными сценариями до современных моделей-трансформеров

Нейросеть выучилась понимать язык без использования текстовых данных

Она смогла самостоятельно установить смысловую связь между звуками и образами, просматривая миллионы видеороликов

Обучение и самообучение: как синтетические данные влияют на работу больших языковых моделей

Михаил Копотев о роли сгенерированных нейросетью текстов в развитии моделей и в жизни людей

все публикации

Высок как гора, застенчив как барышня: что фразеология сообщает о культурно-языковой картине мире

Лингвокультуролог Мария Ковшова о разных способах символизации реальности

Таджики, негры и евреи: что исследует лингвистическая конфликтология

Сотрудники НИУ ВШЭ рассказали коллегам об этом научном направлении и о результатах своих экспериментов

Как склонять по-русски составные топонимы

В зависимости от происхождения и структуры могут склоняться обе части названия, одна из частей или ни одной

Слова-паразиты: откуда они берутся и какую роль выполняют

Они приходят без разрешения и «питаются» смыслом высказывания

«Набросал стишата», или О стратегии авторской скромности

Мое творчество, мои произведения... Ирина Фуфаева объясняет, почему нас смущают эти выражения

Кринж или не кринж? Лингвистический взгляд на чувство неловкости в коммуникации

Валерий Шульгинов пытается понять, какие ситуации мы описываем этим словом и почему

В Ухане или в Ухани? Как выяснить тип склонения иностранного топонима

Первый шаг — определить, насколько это название привычное и есть ли похожие на него русские слова

Как редакционная политика повышает качество текстов

Что в ней должно быть и кто заинтересован в том, чтобы она работала

Слово «пожалуйста» может быть избыточным

Представляем некоторые публикации в третьем номере журнала «Русская речь» за 2025 год

Свое среди чужих: попробуйте отличить исконно русское слово от заимствований

Десять примеров того, что разница между «местными» и «чужаками» со временем перестает быть заметной

Стенография: как поймать слова на лету

От мраморных плит до современных программ

Чем опасны «бесы орфографии»?

Не надо искать в приставке нечистую силу и злой умысел

Язык всегда найдет способ заполнить лакуны

Лингвист Мария Ровинская дала интервью каналу «Мослекторий»

Александр Пушкин, главный инфлюенсер русского языка

Его влияние на то, как мы говорим и пишем, сохраняется спустя двести лет

В среднем человек ругается 250 тысяч раз за жизнь — как к этому относиться?

Константин Деревянко, Ярослав Скворцов и Владимир Легойда обсудили ненормативную лексику

Тест: знаете ли вы значение этих устаревших слов?

Увраж, палаш, ажитация и еще семь слов, которые мы больше не используем

Я вижу, значит, я понимаю: как устроены метафоры восприятия

Лингвист Валерий Шульгинов о мыслях в животе, текучем времени и связи слуха с послушанием

1/6
Большой универсальный словарь русского языка (2 тома)
1 — 4 классы
Морковкин В.В., Богачева Г.Ф., Луцкая Н.М.
4.3
Подробнее об издании
От 2320 ₽
Купить на маркетплейсах:
Назовите ваше слово года!
Какие новые слова в 2024 году прочно вошли в вашу речь? На какие вы обратили внимание, какие стали чаще слышать вокруг? Участвуйте в выборе «Слова года» по версии Грамоты.
Отправить
Спасибо!
Мы получили ваш ответ и обязательно учтем его при составлении списка слов-кандидатов
Читать Грамоту дальше
Новые публикации Грамоты в вашей почте
Неверный формат email
Подписаться
Спасибо,
подписка оформлена.
Будем держать вас в курсе!