Исследователи из Массачусетского технологического института (MIT) нашли объяснение так называемого U-образного эффекта, который характерен для больших языковых моделей вроде ChatGPT. Суть этого эффекта в том, что модели обрабатывают разные части текста с разной точностью. Чем дальше от центра текста, тем точность выше (отсюда и название — график точности имеет спад в центре, отчего становится похож на букву U). Что это означает? Например, если модели нужно ...
...Исследователи из Массачусетского технологического...
В 2023 году специалисты в области нейросетевых вычислений Илья и Захар Шумайловы описали явление, которое они назвали «коллапс модели». Под коллапсом модели авторы понимают процесс «вырождения», затрагивающий несколько поколений генеративных моделей, в ходе которого сгенерированные данные снова и снова загрязняют ту выборку, на котором обучается следующее поколение моделей. В недавней статье, опубликованной в журнале Nature, они ...
...В 2023 году специалисты в области нейросетевых...
Новое исследование, опубликованное в журнале Frontiers in Psychology, выявило серьезные ограничения современных языковых моделей в понимании метафорического языка. Специалисты протестировали ChatGPT-4 на анализе четырех ключевых политических речей Дональда Трампа, произнесенных с середины 2024 по начало 2025 года, включая выступления после покушения и по случаю победы на выборах, инаугурационную речь и обращения к Конгрессу. Модели ...
...Новое исследование, опубликованное в журнале Frontiers...
Новый сервис создала компания SberDevices — партнер Сбера. По данным разработчиков, модель на основе искусственного интеллекта обучена на примерах, покрывающих большинство часто встречающихся источников текста и их особенностей: новости, социальные сети, отзывы, субтитры, интернет-страницы, блоги и статьи. Сервис поддерживает только русский язык и не исправляет пунктуацию — она остается на усмотрение автора. Объем текста, который можно загружать для ...
...Новый сервис создала компания SberDevices &mdash...
В апреле 1992 года, по старой привычке, включаю радио и слышу беседу двух ученых мужей, Владимира Петровича Нерознака и Михаила Викторовича Горбаневского, о проблемах филологической науки, о проблемах языка, о том, что словарь Владимира Ивановича Даля был издан Обществом любителей российской словесности и хорошо было бы это Общество возродить. Не буду ничего говорить о своих переживаниях в тот момент. Дело в том, что я была уверена: я единственная, кого интересует это Общество...
...В апреле 1992 года, по старой привычке, включаю радио...
...Я позвонила Владимиру Петровичу Нерознаку, в то время...
Современные инструменты распознавания языков, такие как LangID (Language Identification) компании Google, используются для автоматического перевода, общения с пользователем на его языке, классификации и фильтрации данных. Однако со многими редкими языками они работать не умеют. Например, тексты на навахо — наиболее распространенном из языков коренных американцев — система распознает неправильно, как тексты на исландском, лингала, волоф и других языках. Этот пример отражает более ...
...Современные инструменты распознавания языков, такие...
Русская топонимика может показаться запутанной и нелогичной из-за многообразия вариантов написания. Например, почему Переславль-Залесский пишется через дефис, а Ростов Великий — раздельно? Разбираем сложные орфографические случаи и объясняем, с чем может быть связана разница.
...Русская топонимика может показаться запутанной и нелогичной...
...Раздельное написание топонимов Географические названия...
Разработка стартапа Cybernet AI стала первым масштабным решением в области автоматического распознавания речи (ASR), созданным с нуля специально для тюркской языковой группы, а не адаптированным из англоязычных моделей. Большинство систем, используемых в регионе, до недавнего времени базировались на архитектурах, изначально обученных на английском языке. Такие универсальные модели плохо справлялись с фонетикой, особенностями интонации и
...Разработка стартапа Cybernet AI стала первым масштабным...
Когда-то мы смеялись над корявостью и глупостью первых языковых моделей. Сегодня чат-боты пишут за людей деловые письма и посты, сочиняют рассказы, ведут задушевные беседы и приводят аргументы в спорах. Есть ли что-то, чем речь машины в корне отличается от человеческой? И может ли эксперт — или даже другая машина — обнаружить эту разницу?
...Когда-то мы смеялись над корявостью и глупостью первых...
...Гладко, но безжизненно Машина пишет текст не ...
В течение многих лет такие компании, как OpenAI и Google, собирали данные из интернета для обучения больших языковых моделей вроде ChatGPT. Эти модели в процессе обучения «переваривали» гигантские объемы текстов: публицистику, научные статьи, романы, инструкции, официальные документы, посты в соцсетях. Благодаря этой «пище» программы смогли сами генерировать нечто подобное. Но запасы созданных человеком письменных текстов иссякают. Исследовательская ...
...В течение многих лет такие компании, как OpenAI...
