Как лингвистическая экспертиза может повысить качество учебников

Грамота: Какие проблемы должна решать лингвистическая экспертиза и какова ее роль в комплексной оценке учебников?

Антонина Лапошина: Перед публикацией тексты учебников проверяют на соответствие современным научным теориям, ФГОС, Конституции РФ, санитарным правилам и нормам (СанПиНам). Есть и оценка языка, но сейчас она ограничивается оценкой соответствия текста возрасту ученика и еще несколькими размытыми пунктами. Например, результаты экспертизы учебника по русскому языку могут выглядеть так: «Объем теоретического материала и текстов соответствует нормам учебного времени. Компоновка дидактического материала и количество информации в нем продуманы с точки зрения физиологии семиклассника. Тексты способствуют повышению настроения, выработке оптимизма (веселые истории рубрики „Перемена“)». В такой редакции этот пункт мне представляется довольно «пустым», формальным. Эксперты, вероятно, не допустят какого-то вопиющего несоответствия текстов возрасту, но ведь тут важно проанализировать каждый текст в отдельности и дать качественную обратную связь авторам.

Можно ли сделать оценку языка более точной и осмысленной?

А. Л.: Прежде всего она должна быть более полной, учитывать разные параметры. Ведь учебник — это основной источник нехудожественных текстов для школьника, и очень важно обращать внимание на язык этих текстов. Это касается доступности текста, его соответствия возрасту, удобочитаемости, того, насколько текст помогает поддерживать интерес к теме. Чтобы экспертиза была полезна не только ученикам, которые будут заниматься по этому учебнику, но и его авторам, нужны четкие измеряемые критерии.

Такие критерии уже существуют?

А. Л.: В научной среде уже давно звучит мысль о необходимости объективных измеряемых критериев качества учебного текста. Есть работы Марии Юрьевны Сидоровой, Марины Ивановны Солнышкиной, Валерия Дмитриевича Соловьева; наша лаборатория когнитивных и лингвистических исследований Института Пушкина также занимается этими вопросами.

Чаще всего в науке поднимается вопрос об автоматической оценке сложности, читабельности учебных текстов.

Написано огромное количество статей с различными методиками, есть даже несколько онлайн-сервисов для проверки учебных текстов (см., например, Текстометр, RuLingua). Но ни один из них до сих пор не внедрен как обязательный шаг проверки учебника. Есть также наработки, позволяющие объективно оценивать учебные тексты и по другим важным параметрам, таким как информационная насыщенность, терминологическая плотность, способность вызывать интерес, разнообразие текстов по жанрам и стилям, если мы говорим об учебниках русского языка.

Есть ли у специалистов общее понимание того, какие параметры нужно оценивать в первую очередь?

А. Л.: В чем сходятся практически все эксперты, так это в том, что должна быть оценка доступности текста. По поводу остальных параметров есть разные мнения. Скажем, мой коллега Павел Трущелёв много пишет о том, как связана лингвистическая сторона учебного текста со способностью вызывать эмоцию интереса у ученика. Ведь одно дело — добиться того, чтобы ученик понял написанное, а другое — чтобы ему было интересно, чтобы он не терял мотивацию читать и вникать. Чтобы оценить эту сторону учебных текстов, проводятся исследования с детьми. Им дают тексты на одну и ту же тему, но написанные разным языком. Один — строгий, логичный, но сухой, а другой написан более живо, тема дана в популярном изложении. Затем исследователи оценивают, какую информацию читатель вынес из текста, и на этом основании делаются вывод, работает такой-то прием изложения или нет.

Интерес — это крайне многогранное и размытое понятие, которое сложно формализовать.

Например, отдельно взятый школьник горячо интересуется темой войны Алой и Белой розы и готов продираться сквозь тексты любой степени сложности и подробности — но это зона индивидуального интереса, ее пока сложно учитывать в учебниках для общеобразовательной школы. А проверка доступности хороша тем, что ее можно делать автоматически, опираясь на свойства самого текста.

Как происходит автоматическая проверка доступности текста?

А. Л.: Существуют разные системы. Во-первых, во всем мире большой популярностью пользуются формулы читабельности, которые учитывают, например, среднюю длину предложения в тексте, количество длинных слов или количество слов не из списка доступных слов. Это простой вариант решения задачи. А во-вторых, сейчас активно обучаются машинные модели, которые могут учитывать гораздо больше параметров — например, количество простых предложений в составе сложных, дискурсивные связки и маркеры. Так мы можем лучше понимать степень связности текста.

Как современные технологии помогают оценить сложность текстаИнструменты компьютерной лингвистики лучше всего работают с учебными материаламиНо для использования таких систем требуется сначала определить коллекцию образцовых текстов: вот этот текст оптимален для седьмого класса, а этот доступен в пятом. Сейчас в качестве таких образцов чаще всего выступают тексты из актуальных учебников. Тут, конечно, делается допущение, что современные тексты учебников оптимальны для заданного возраста. В идеале следовало бы собирать такие коллекции более тщательно, с учетом того, как эти тексты читают и понимают настоящие современные школьники.

Мы говорим про учебные тексты в целом, но ведь учебники по разным предметам устроены по-разному. Например, есть описания событий в учебнике истории, пояснения к задачам по математике, упражнения по русскому языку. К ним нужно подходить с разной меркой?

А. Л.: Да, вне всякого сомнения. Например, автор учебников и методист Генриетта Григорьевна Граник много писала о важности подбора текстов для учебников русского языка: это ведь не просто материал, в который нужно вставить буквы или знаки препинания, это должен быть живой, интересный, разнообразный, актуальный для современного школьника текст. Поэтому в экспертизе учебников по русскому языку есть дополнительный критерий — разнообразие текстов, который пока не подкреплен никакими данными.

В поисках таких данных мы проанализировали все тексты упражнений из восьми линеек учебников русского языка для начальной школы и можем констатировать, что тексты сегодняшних учебников по русскому языку довольно однообразны. Если вы откроете произвольную страницу, например в УМК «Школа России», на которой напечатало текстовое прозаическое упражнение, то, вероятнее всего, увидите описание природы, которое помните еще со своих школьных времен. Подсчеты показали, что в этой линейке около 19% текстов упражнений — это художественное описание, еще около 9% — художественное повествование.  

Мы смотрели также на состав авторских текстов в учебнике, количество устаревших слов, распределение текстов по тематикам.

Мы не делаем никаких выводов об идеальном балансе, но обращаем внимание на то, что можно количественно описать соотношение текстов разных тематик и уже после этого оценивать, насколько адекватно представлена каждая из них. Сейчас учебники даже для одного возраста очень существенно различаются, хотя они написаны в соответствии с ФГОС для общеобразовательных школ.

И все-таки, на ваш взгляд, к какому балансу нужно стремиться, если мы говорим об учебнике русского языка?

А. Л.: Русский язык как предмет играет особую роль, поскольку в задачу уроков русского языка входит помочь школьнику понимать тексты учебников по другим предметам. Эти уроки должны научить грамотно общаться вне школы, разрешать конфликты, рассказывать о себе, о семье, о своих интересах и даже составлять заявление или жалобу.

Приведу пример: зачем школьники делают синтаксический разбор предложения? Вероятно, вы скажете, чтобы научиться выделять главное и второстепенное, видеть связи в предложении, лучше понимать его смысл. Тогда почему подавляющее большинство упражнений на синтаксический разбор содержит предложения из художественной литературы? Гораздо важнее научиться понимать структуру определения или научного суждения, с которым ученик столкнется уже на следующем уроке биологии.

Вот пример из упражнения для 8-го класса: Я любил и хозяйку в фероньерке, и ее мужа, и ее гостей, и ее лакеев, и даже дувшегося на меня инженера Анисимова.

Я совсем не хочу показаться бездушным рационалистом — как филолог я нежно люблю и ценю русскую литературу. Речь о том, чтобы представлять себе баланс текстов разных стилей и жанров в учебнике русского языка. И изменить этот баланс, иначе учебник останется очень далеким от реальных нужд ученика и, возможно, поэтому неинтересным для него. Опрос Ольги Литовченко показывает, что сами ученики оценивают интересность учебников русского языка значительно ниже, чем, например, учебников иностранного языка.

Предположим, будут утверждены списки лексики и доли текстов разных стилей. Не свяжет ли это руки авторам учебников, ведь каждый учебник — это еще и продукт творчества авторского коллектива?

А. Л.: Конечно, важно говорить о диапазоне значений нормы. Выработка таких критериев — сама по себе важный шаг: она позволит методическому сообществу прийти к консенсусу относительно того, чего мы ждем от хорошего учебника. В моей идеальной картине мира экспертиза по ясным критерям — это скорее помощь авторам учебников в корректировке материалов, дополнительный взгляд на учебник как элемент системы образования.

Скажем, на странице 15 введено понятие, а дальше во всей линейке учебников его нигде не использовали — у авторов есть повод задуматься. Или один текст сильно выбивается по сложности из общего корпуса текстов для этого класса, а важную тему предлагается отрабатывать только на текстах художественного стиля — это авторский ход или недосмотр?

Самый важный предмет. Функциональный подход к обучению русскому языкуЛекция Марии Лебедевой для Тотального диктанта о роли языка в учебе и в жизниНужно, чтобы оценка учебников была прозрачной, основанной не на чьих-то субъективных ощущениях, а на проверяемых параметрах и опробованных методиках. Тем более что уже есть много инструментов такого рода: и у нашей лаборатории, и у других экспертов — например, в школе междисциплинарного анализа текстов Казанского университета.

Тема объективной оценки учебников назрела и наболела, необходимость такой оценки не вызывает споров. К чему гадать, если мы можем проверить? Создать репрезентативную выборку детей из разных регионов, показывать им тексты разной тематики, разных авторов, написанные в научном или, наоборот, научно-популярном стиле. И смотреть не только на предпочтения, но и на результаты — как ребенок усваивает информацию.

Серия подобных исследований могла бы лечь в основу прототипа критериальной оценки текстов учебников.

Такие эксперименты уже идут. В нашей лаборатории мы, например, просили младших школьников читать учебник русского языка и отслеживали движение их глаз с помощью специального устройства — айтрекера. В результате мы получали информацию о том, на каком месте ребенок «застревает» и начинает перечитывать слово или фразу несколько раз. Такие данные помогают выявить трудные места в тексте. Если говорить о поэтапном введении экспертизы, первым шагом должно быть внедрение анализа уровня сложности текста: для этого есть уже достаточно данных и методик.