Лучшие программы-корректоры на основе ИИ
В блоке команды чат-бота BotHub на портале «Хабр» вышла статья о том, может ли машинный интеллект находить и исправлять ошибки в русскоязычном тексте, как настоящий корректор. Для испытания автор отобрал 13 популярных инструментов — от передовых языковых моделей до специализированных корректорских сервисов.
Методология
Автор стремился выжать из ИИ-корректоров максимум возможного, поэтому создал текст с десятками разных ошибок. В их числе были и типичные огрехи, и сложные случаи — незаметные опечатки, запутанные синтаксические конструкции, примеры, требующие знания правил постановки запятых при общих членах предложения.
В число «испытуемых» вошли DeepSeek-R1, Claude-3.7-Sonnet, Claude-3.7-Sonnet-Thinking, Grok-3-Beta, ChatGPT-4o, ChatGPT-4.1, ChatGPT-o1, ChatGPT-o3, Gemini-2.5-Pro, YandexGPT-5-Pro, «Яндекс Браузер» («Нейроредактор»), Text.ru и «Мистер корректор».
Чат-боты из этого списка вместе с текстом получали инструкцию: «Ты профессиональный корректор с обширными познаниями в русской филологии. Вычитай предоставленный текст, исправь орфографические, грамматические и пунктуационные ошибки».
Результаты
В итоговом зачете оценивалось количество правильно исправленных ошибок, пропущенных ошибок и случайно внесенных новых ошибок.
Безоговорочным лидером оказался ChatGPT-o3. Он исправил 33 ошибки из 38, пропустив всего четыре.
Модель продемонстрировала исключительную точность в сложных случаях пунктуации и даже внесла несколько стилистических улучшений, не нарушающих авторский замысел.
Второе место разделили Grok-3-Beta и ChatGPT-4o с результатом в 31 исправленную ошибку и семь пропущенных. Обе модели показали высокий уровень понимания контекста и успешно справились с большинством орфографических задач.
Третье место досталось онлайн-сервису Text.ru — единственному ненейросетевому инструменту в топе.
Сервис исправил 31 ошибку из 38, но внес две новые, что снизило итоговый результат до 29 баллов.
Анализ
Какие общие моменты выявил тест?
Большие языковые модели (LLM) показали наилучшие результаты: вероятно, сыграла роль возможность настройки через промпт-инструкции, что позволяет адаптировать проверку под конкретные требования. Специализированные сервисы типа Text.ru и «Мистера корректора» хорошо справились с базовыми орфографическими ошибками, но испытывали трудности со сложными случаями пунктуации.
«Нейроредактор» в «Яндекс Браузере» показал скромные результаты — исправил лишь половину ошибок.
При этом многие нейросетевые модели допускали при исправлении текста ошибки, которые никогда не сделал бы профессиональный корректор. Так, сервис Gemini от Google «исправил» фразу 3-х кнопочный интерфейс на 3-хкнопочный интерфейс, а вопросительное предложение Вы остались довольны сотрудничеством?.. превратил в утверждение.
В целом современные нейросети значительно превосходят традиционные инструменты проверки правописания, считает автор «Хабра». Для достижения лучшего эффекта он советует использовать передовые языковые модели с точными настройками через промпт-инструкции.
Еще на
эту тему
Языковые модели хуже обрабатывают середину текста
Они привыкли к тому, что все самое главное написано в начале и в конце
«Лучшие корректоры — это люди с высоким интеллектом и умеренным самомнением»
Редактор-корректор легендарного еженедельника «Нью-Йоркер» Мэри Норрис, известная как «Королева запятых», — о своей профессии, языке и новых технологиях
Нейросети проиграли людям при поиске грамматических ошибок
Это открытие ставит под сомнение языковые компетенции моделей
