Большинство нейросетевых языковых моделей обучаются на огромных массивах данных — в основном англоязычных, так как текстов на этом языке больше всего. При этом модели — если их дообучить — вполне могут генерировать тексты на других языках и делать переводы на эти языки, несмотря на то, что данных на этих языках, пригодных для обучения моделей, значительно меньше. Языковым моделям удается обходить эти ограничения благодаря тому, что они используют ...
...«Английский уклон» может проявляться при порождении...
...При этом модели — если их дообучить — вполне могут генерировать тексты на других языках и делать переводы на эти языки, несмотря на то, что данных на этих языках, пригодных для обучения моделей, значительно меньше....
...Исследование: внутренний язык больших языковых моделей...
21 февраля в мире отмечается Международный день родного языка. Его задача — напомнить о ценности всех тех языков, которые достались нам в наследство. Когда родной язык народа уходит из общественной жизни, ему грозит превращение в набор отдельных слов и обрывочных рассказов, интересующих лишь исследователей. Эта угроза существует и для языков некоторых коренных народов России. Но современные технологии дают таким языкам надежду.
...Голосовые помощники, цифровые учебники и онлайн-переводчики...
...21 февраля в мире отмечается Международный день родного...
...Сейчас идет активная работа по созданию и обработке корпусов текстов — на них впоследствии можно обучить модели искусственного интеллекта, которые смогут не только переводить, но и генерировать тексты на языке....
...А команда разработчиков SberDevices в 2022 году представила новейшую разработку — mGPT, способную генерировать тексты на 61 языке, в том числе башкирском, тувинском и чувашском. Сейчас модель выложена в открытом доступе на российской платформе ML....
...Как цифровизация помогает сохранить языки коренных...
Уже сейчас писатели издают книги, которые написаны ими в соавторстве с нейросетями. Спецпроект «Писатели vs Нейросети», созданный изданиями «Системный Блокъ» и «Подтекст», анализирует, какие этапы создания художественного текста может упростить нейросеть и насколько полезны языковые модели.
...Специальный совместный проект изданий «Системный Блокъ...
...Уже сейчас писатели издают книги, которые написаны...
...Кроме того, они могут генерировать недостоверную информацию, добавляя в повествование несуществующие исторические события, названия планет и т. п. Эти особенности сужают сферу применения нейросетей в творчестве, делая текст пригодным разве что для фантастической прозы или абстрактной поэзии....
...Сможет ли искусственный интеллект заменить писателей...
В апреле 1992 года, по старой привычке, включаю радио и слышу беседу двух ученых мужей, Владимира Петровича Нерознака и Михаила Викторовича Горбаневского, о проблемах филологической науки, о проблемах языка, о том, что словарь Владимира Ивановича Даля был издан Обществом любителей российской словесности и хорошо было бы это Общество возродить. Не буду ничего говорить о своих переживаниях в тот момент. Дело в том, что я была уверена: я единственная, кого интересует это Общество...
...Из истории Общества любителей российской словесности...
...В апреле 1992 года, по старой привычке, включаю радио...
...Владимир Нерознак обладает одним очень важным качеством — не только генерировать новые идеи, но и собирать вокруг себя тех, кто способен их реализовать. Он умеет организовать, вдохновить единомышленников на создание новых структур, отвечающих современным потребностям....
...Одичалые слова...
О характерных чертах языка нейросетей и перспективах его влияния на наши речевые привычки изданию «Социодиггер» рассказал доцент НИУ ВШЭ, старший научный сотрудник ИРЛИ РАН Борис Орехов.
...Взгляд лингвиста Бориса Орехова на язык нейросетей...
...О характерных чертах языка нейросетей и перспективах...
...Многие восхищаются тем, как хорошо нейросети научились генерировать тексты. Но компьютерный текст, хоть и очень похож на человеческий, все же имеет особенную логику, стиль и синтаксис....
...Машинный диалект: границы рефлексии...