В 2023 году специалисты в области нейросетевых вычислений Илья и Захар Шумайловы описали явление, которое они назвали «коллапс модели». Под коллапсом модели авторы понимают процесс «вырождения», затрагивающий несколько поколений генеративных моделей, в ходе которого сгенерированные данные снова и снова загрязняют ту выборку, на котором обучается следующее поколение моделей. В недавней статье, опубликованной в журнале Nature, они ...

...Причина такой деградации в том, что модель выбирает...

В течение многих лет такие компании, как OpenAI и Google, собирали данные из интернета для обучения больших языковых моделей вроде ChatGPT. Эти модели в процессе обучения «переваривали» гигантские объемы текстов: публицистику, научные статьи, романы, инструкции, официальные документы, посты в соцсетях. Благодаря этой «пище» программы смогли сами генерировать нечто подобное. Но запасы созданных человеком письменных текстов иссякают. Исследовательская ...

...сгенерированных данных в итоге приводит к ее деградации...

Открыл заседание президент России Владимир Путин. Он подчеркнул значимость усилий государства и общества в области поддержки русского и других языков России, высказал ряд конкретных предложений по совершенствованию этой работы. Завершая свое выступление, президент указал на необходимость «сформулировать базовые, стратегические цели и направления» языковой политики и «подготовить проект Основ государственной политики по этому направлению». В ходе ...

...МГЛУ Искра Космарская считает, что разговоры о деградации...

Нейросети учатся на текстах, созданных человеком. Но что, если текстов для обучения не хватает? Тогда используют синтетические данные, сгенерированные моделью. В чем их особенности? Как повлияет появление большого количества «искусственных» текстов на нас как носителей естественного языка? Мы поговорили об этом с руководителем ИИ-направления Грамоты, компьютерным лингвистом Михаилом Копотевым.

...Нейросети учатся на текстах, созданных человеком. Но...

...синтетических текстовых данных, что может привести к их деградации...

...Это ведет к деградации модели: она хорошо работает...

Мы уже писали о том, какие блоги о языке можно найти в «Телеграме» и в социальных сетях. Но интересные источники лингвистических новостей и историй продолжают появляться, так что всегда есть что добавить к нашему списку. Представляем пять телеграм-каналов, авторы которых увлекательно и доступно рассказывают о тонкостях русского и других языков и рассматривают язык в разных контекстах — от географии до судебной экспертизы. 

...Мы уже писали о том, какие блоги о языке...

...вопреки разговорам о его якобы порче и деградации...