Пробелы и ошибки в регламентах –
как избежать негативного влияния на качество ЭОР

•  Жесткие и мягкие регламенты •  На какие ЭОР рассчитаны ЕТТ •  Мультимедийность: философия •  Мультимедийность: метрика •  Метрики интерактивности •  Метрики эргономичности •  Нормативы защищенности •  Метрики для тестовых вопросов •  Вопросы, поднятые при обсуждении •  Выводы

Недостатки регламентов, которые используются при разработке и экспертизе электронных образовательных ресурсов (ЭОР), обсуждались неоднократно. Ясно, что работа по совершенствованию нормативных документов бесконечна, регламентов без недостатков не бывает. В 2011 году разработка «Единых технических требований к ЭОР (ЕТТ)» впервые вышла из тени и была вынесена на открытое обсуждение. Эта инициатива Министерства, радикально преобразившая жизненный цикл регламента, несомненно, пошла на пользу отрасли. Многие из присутствующих на данном семинаре участвовали и в дискуссиях вокруг нового документа. Отчасти разделяя ответственность за результат, хочу заострить внимание на некоторых, принципиальных на мой взгляд, оставшихся проблемах.

Жесткие и мягкие регламенты

В нашей стране вообще, и в нашей отрасли в частности, до сих пор преобладающим влиянием пользуется концепция так называемых «жестких» регламентов. В нормативных документах такого рода все требования прописаны как абсолютно обязательные для исполнения. Хорошо известны слабые места подобной жесткости. Во-первых, высока цена ошибки – даже явно противоречащее здравому смыслу положение остается обязательным к исполнению. Нередко различные положения регламента прямо противоречат друг другу – и тогда «строгость законов компенсируется необязательностью их исполнения». Доработка жестких регламентов очень трудозатратна – каждую мелкую ошибку или недоработку нужно непременно исправлять.

Любимым развлечением исполнителей, чья деятельность нормирована «жестким» законодательством, становится поиск «отмычек», или «читинг» (этот термин, пришедший из компьютерных игр, означает способ обойти установленные правилами ограничения, не прибегая, однако, к собственно программному взлому). Формально все требования вроде выполнены, а по сути получается форменное издевательство. С другой стороны, читинг применяется не только недобросовестными разработчиками, стремящимися облегчить себе жизнь, но и является порой единственным, хотя и извращенным, «лекарством» от ошибок жестких требований ЕТТ, часть из которых мы рассмотрим ниже.

Обратной стороной неоправданных надежд на целительную силу жестких регламентов является пренебрежительное отношение к регламентам «мягким», таким, как рекомендации или подборки образцовых примеров. По мнению поклонников жесткой руки, фраза, начинающаяся с «рекомендуется», может означать только одно – на нее никто из исполнителей и экспертов не станет обращать внимание. Мировой опыт доказывает обратное. Абсолютное большинство актов, регламентирующих разработку учебных электронных ресурсов, не являются ни «законами», ни «стандартами». (Знаете ли вы, например, сколько спецификаций профиля SCORM имеют статус стандарта? Если нет – вы будете удивлены.) При этом, они ни в коем случае не являются беззубыми «благими пожеланиями».

Суть исполнения мягкого регламента достаточно проста: исполнитель может отклониться от рекомендованной опции – но будет обязан объяснить, почему в данном случае предпочел альтернативное решение. Да, с мечтами о якобы возможной «автоматической экспертизе качества ЭОР» придется расстаться, и сама форма экспертизы изменится – но зато уйдут в прошлое как критическая чувствительность к ошибкам и недоработкам регламента (неизбежным всегда, как мы помним), так и анекдотические примеры читинга.

На какие ЭОР рассчитаны ЕТТ

«Единые технические требования к ЭОР» разрабатывались на базе «Унифицированных требований» проекта ОМС. Первое, что необходимо отметить – очевидную неуниверсальность УТ. Они относительно приемлемы лишь для узкого класса ЭОР. Начинается все с объема модуля – он должен быть заметно больше единичного учебного объекта, но заметно меньше целого курса. Почему задан именно такой размер ЭОР? Логично было бы предположить, что основой для судьбоносного выбора стала оценка востребованности в учебном процессе ресурсов именно такого типа. Увы, доступные нам статистические данные свидетельствуют об обратном.

Наиболее востребованы в школе элементарные ресурсы, поскольку они легко встраиваются в урочную систему. Действительно, на занятии учителю удобно воспользоваться, например, какой-нибудь параметрической моделью или видеофрагментом, и затем продолжить обсуждение. В модулях ОМС, однако, модель непременно должна быть окружена несколькими слоями дополнительных материалов, позволяющих изучать модуль самостоятельно – что на уроке только мешает, ведь учитель ищет не замену себе, а вспомогательный инструмент. Тогда, быть может, модуль будет полезен для самообразования?

В системах дистанционного обучения разрозненные модули ОМС также не годятся. В самом деле, непременным условием любого полноценного курса является его связность. Модули ОМС нельзя даже объединить гиперссылками. Представьте, например, wikipedia, разобранную на несвязанные линками статьи – потеря качества очевидна. Таким образом, единственной потенциальной нишей для модулей спецификации ОМС остается эпизодическое (несистематическое) домашнее самообразование. Правда, насколько оно востребовано (как заставить школьника изучать модуль, а не играть в установленную на том же компьютере игрушку) – неизвестно.

Гипертрофированное внимание к «мультимедийности» модулей оправдано больше для первой половины школьного курса, в старших классах и тем более в системах высшего образование ее учебная ценность значительно ниже. Полезная, например, в курсах биологии или истории, «повышенная мультимедийность» зачастую не только излишня, но и вредна при изучении математики или литературы. Как мы увидим далее, ошибочная метрика интерактивности в ЕТТ приводит к неадекватной оценке качества модулей П-типа (практикумов), а к качеству модулей К-типа (контроль) введенные метрики вообще не имеют отношения. Наконец, нормативы ЕТТ не подходят при разработке ЭОР для пользователей с ограниченными физическими возможностями.

Мультимедийность: философия

В требованиях к ЭОР отражена позиция известного идеолога «максимальной мультимедийности», согласно которой чем больше ЭОР приближен к «виртуальной реальности», тем выше его учебная ценность. На практике же, качество симуляции вовсе не тождественно познавательной ценности. Чаще всего виртуальный симулятор просто удваивает реальность – но при этом не приближает нас к пониманию того, как эта реальность устроена.

В области образовательных моделирующих сред, которыми я занимаюсь последние полтора десятилетия, это противопоставление легко продемонстрировать. Например, для моделирования физических явлений существует множество профессиональных программных пакетов, призванных как можно точнее симулировать какие-то аспекты реальности. Скажем, вычислять, как те или иные параметры в скважине влияют на итоговый выход нефти. Такие пакеты относятся к классу инженерных симуляторов. И, несмотря на свою мощность, точность и дороговизну, их учебная ценность, как правило, очень мала. Задача инженерного пакета – рассчитать, но не объяснить, как произведено моделирование и расчет.

Едва ли не важнейший навыком, позволяющим ученикам понять сущность научного исследования как такового, является умение моделировать сложные явления. Модель всегда начинается с абстрагирования – то есть с удаления всего, что на данном этапе рассмотрения представляется необязательным и мешающим выявить стабильные закономерности. Получив первое осмысленное приближение к реальности, исследователь должен найти границы применимости текущей абстракции и дополнить свою модель поправками следующего уровня – и т.д. Принципиально, что на каждом шаге ученик должен хотя бы в общих чертах осознавать суть создаваемой модели. В этом учебное моделирование в корне отличается от инженерного: если для инженерного пакета главное – точность симуляции, то для учебного – понимание механизма моделирования.

Например, компьютерный планетарий, рассчитанный на наблюдателя звездного неба, вычисляет положения планет исключительно по сложным высокоточным таблицам эфемерид, являющихся результатом численного интегрирования. Учебный же планетарий, рассчитанный на понимание школьником механизмов небесной механики, должен представлять хоровод планет в кеплеровском приближении, в виде движения по эллипсу. Эта абстракция недостаточно точна, чтобы совпасть с реальным небом у нас над головой, но зато позволяет понять общие принципы движения небесных тел, абсолютно скрытые в «инженерном» пакете.

Педалирование «мультимедийности» как абсолютной ценности пагубно отражается на базовых образовательных компетенциях. Привыкая к комиксному стилю изложения, ученики утрачивают важнейшие навыки ясного мышления – умение отсекать бессодержательный «шум» и грамотно строить абстрактные модели, умение работать с кристальной лаконичностью формул и графиков, схем и чертежей.

Тренажеры, построенные на основе «виртуальной реальности», часто совершенно беспомощны в сфере фундаментального образования (например, перемещение по экрану виртуальных «трехмерных колб» не помогает понять сущность химической реакции). Компьютерные имитации могут быть реально полезны при изучении недоступных для прямого человеческого восприятия условий (микро/макромир, очень быстрые/медленные процессы) – но здесь их роль обычно чисто иллюстративная (в основном на выходе получаются учебные видеоролики). Основная сфера, где достоинства симуляторов бесспорны – профессиональное образование. Это, прежде всего, моделирование устройств и сооружений, использовать которые дорого и небезопасно (например, авиасимулятор) или трудно в силу их «многослойности» (анатомическая модель тела или инженерной конструкции).

Итак, можно констатировать, что образовательная ценность ЭОР не растет линейно по мере увеличения мультимедийности или приближения к виртуальной реальности. Мультимедийность и VR – весьма мощные и полезные средства, когда применяются уместно – становятся вредным отвлекающим фактором, когда вопреки учебной задаче создаются лишь для внешней эффектности и выполнения бездумного «норматива».

Мультимедийность: метрика

Сказанное выше, разумеется, не означает, что мультимедиа-элементы бесполезны. Их грамотное и уместное использование значительно повышает учебную ценность ЭОР, это общеизвестный факт. Ложными, и поэтому вредными, являются два других утверждения: «чем больше мультимедиа – тем выше учебная ценность» и «мультимедийность должна нормироваться вплоть до отдельной сцены».

Метрика «уровня мультимедийности» из ЕТТ не имеет мировых аналогов. И дело тут не в революционной инновации, которую нам удалось произвести, а в бесполезности такой метрики. Нигде в мире в заказе на разработку образовательного продукта не будут указывать абстрактный «уровень мультимедийности». Если заказчику нужен курс, скажем, по биологии, насыщенный мультимедийными и интерактивными объектами, он сформулирует это примерно так: «должен содержать 100 видеофрагментов, 30 интерактивных моделей» и т.п. с дальнейшей конкретизацией параметров видео или моделей. Это, в частности, гарантирует, что на выходе будут получены именно качественные видеофрагменты и модели, а не «равные им по уровню мультимедийности», но не нужные элементы. Понятно также, что в курсе по математике никому не придет в голову требовать наличия видеофрагментов, да и вообще мультимедийность здесь гораздо меньше востребована. В ЕТТ же требования якобы «универсальны» – то есть на деле плохи почти во всех частных случаях.

Далее. Если требования насытить курс мультимедиа-компонентами вполне разумны, то нормировка «сколько какой мультимедии использовать в каждом пункте» есть ничем не обоснованное вмешательство технических требований в содержательную часть курса, в авторскую дидактическую методику. Во времена УТ наибольшее количество нареканий от авторов ЭОР (в том числе и от очень опытных, прекрасно владеющих мультимедиа-средствами) и наибольшее количество читинга вызывала нормировка уровня мультимедийности отдельной сцены. Бессмысленное добавление картинки-пустышки в текстовое сообщение или тестовый вопрос – типичное проявление такого читинга. После перехода на новую технологическую базу ЭОР (браузер) эта норма, сохранившаяся в ЕТТ в каком-то стыдливо-прикрытом виде, стала совсем анахроничной – она все так же раздражает авторов, но совершенно не мешает читеру, ведь он может просто объединить весь модуль в одну сцену.

Метрика мультимедийности в ЕТТ не избежала и откровенного перекоса по сравнению с метрикой УТ. В процессе обсуждения старой метрики, было замечено, что упущен такой мультимедиа-элемент, как динамически генерируемая графика. Скажем, трехмерное виртуальное пространство нельзя было отнести ни к видео, ни к картинкам, но его мультимедийная ценность при этом была всем очевидна. Отсюда возникло предложение к шести мультимедиа-элементам добавить седьмой. К сожалению, это простое действие конкретным исполнителем было выполнено слишком творчески и в самый последний момент, когда уже нельзя было что-то поправить.

Вместо одного нового элемента было введено целых 5 (хотя все они являются лишь вариантами динамически генерируемой графики). Но это в общем не страшно. Однако, помимо этого, в метрике появилось ничем не оправданная двухступенчатость: «Уровень мультимедийности (УМ) в диапазоне от 1 до 6 определяется количеством различных медиаэлементов, используемых в ИОМ. В диапазоне от 7 до 11 УМ определяется старшим порядковым номером медиаэлемента, так как в этом случае типично использование медиаэлементов младших номеров, но не обязательно всех.» Это утверждение вызывает по меньшей мере недоумение.

Например, совершенно неясно, почему фотопанорама, используемая в виде статичной картинки, имеет уровень мультимедийности 1, а та же картинка, динамически искажаемая плеером панорам, сразу приобретает феерический уровень мультимедийности 7. Какие такие 7 «медиаэлементов младших номеров» в ней внезапно появились? Ясно, что такая удивительная метрика напрочь девальвирует само понятие «уровня мультимедийности», и без того, как мы видели, довольно уязвимое.

Метрики интерактивности

Метрика «интерактивности», введенная в УТ, перешла в ЕТТ почти без изменений. Но не потому, что она настолько удачна, а, напротив, потому, что вообще не является корректной метрикой интерактивности, но времени на полную ее переработку не было.

Показателем уровня интерактивности ЭОР может служить только глубина реакций на действия пользователя. Если ученик воздействует на модель, она ему «отвечает», он по результатам этого ответа корректирует свое представление и совершает следующее действие – вот такой итеративный процесс и называется интерактивностью, а его глубина является метрикой уровня интерактивности. В метрике УТ/ЕТТ в неотрефлексированном виде присутствует и этот, правильный, параметр, но в наибольшей степени логику этой метрики определяет бессодержательная у учебном смысле активность пользователя, а не интерактивность взаимодействия пользователь – учебный объект.

Согласно метрике УТ/ЕТТ, чем больше пользователь елозит курсором по экрану (пусть даже совершенно бесполезно в образовательном смысле) – тем интерактивность выше. То есть тестовый вопрос, в котором я выбрал нужные чек-боксы, менее интерактивен, чем вопрос, в котором я нужные чек-боксы перетащил в контейнер. Разумеется, к реальной интерактивности это отношения не имеет – потому что уровень отклика системы на действия пользователя в обоих случаях одинаков. Второй вариант более развлекателен, первый более эргономичен – но эти-то метрики в УТ/ЕТТ как раз отсутствуют.

Путая мехническую активность и содержательную интерактивность, авторы метрики провоцируют неэргономичные решения сценарно-дизайнерских задач. Вопиющим образцом такого перекоса служил пункт УТ, согласно которому второй уровень интерактивности присваивался картинке, которую можно скролировать. То есть вместо того, чтобы показать картинку целиком, разработчику предлагалось поместить ее в заведомо меньшее чем нужно окошко – и тем самым сразу получить призовой бал за интерактивность! – невзирая на сдавленные проклятья пользователя в адрес авторов такого убогого интерфейсного решения.

Другим характерным примером непонимания сущности интерактивности является отношение авторов метрики УТ/ЕТТ к веб-серфингу. В самом деле, с точки зрения «активности» нажатие на гиперссылку настолько просто и неэффектно, что ее можно охарактеризовать только как «условно-пассивная форма взаимодействия». У любого человека, который хоть раз искал ответ на свой вопрос в интернете, отнесение серфинга к пассивной форме работы с информацией вызовет смех. Серфинг – одна из наиболее интерактивных форм работы. Вы формируете запрос, получаете в ответ десятки откликов и вариантов действий, анализируете их и выбираете следующий шаг – и так произвольно глубоко до получения желаемого результата. Ваши действия радикально зависят от ваших знаний, способностей, в огромной степени свободны и результат их непредсказуем. Интерактивность зашкаливает, но существующая метрика этого просто не видит – тем хуже для метрики.

Метрики эргономичности

В силу особенностей введенной в УТ метрики «интерактивности» эргономичность разрабатываемых ЭОР стала резко уменьшаться. В самом деле, одно из основных правил юзабилити – чем меньше бесполезных в содержательном смысле интерфейсных движений совершает пользователь, тем лучше – недвусмысленно противоречит нормативам «уровня интерактивности». Да и лишняя «мультимедийность» в эргономике однозначно осуждается как вредный «белый шум». Наиболее радикально указанные противоречия выявились, когда возникла необходимость создания ЭОР для людей с ограниченными возможностями здоровья. Только отлаженные механизмы читинга позволяли разработчикам сочетать категорически важную для инвалидов эргономичность ЭОР с требованиями регламента.

Правила, метрики и нормативы эргономичности в ЕТТ практически отсутствуют (ограничиваются лишь скромными пожеланиями к шрифтам и цветам). Высказанное на данном семинаре мнение, что эргономичность в принципе не поддается измерению и нормировке – неверно. В мире наработано много полезных рекомендаций, следование которым несомненно улучшит результат – это и рекомендации W3C и интерфейсная документация фирмы Apple и многое другое. Представители IBS обозначили свою решимость начать выработку хоть каких-то внятных критериев – это можно только приветствовать. Со своей стороны готов принять участие в такой работе, поскольку различными сложными интерфейсами и нормами юзабилити занимаюсь достаточно давно и повышение культуры разработчиков в этой области считаю очень важным.

Нормативы защищенности

Какие еще важные полезные отсутствуют в ЕТТ? Например, в случае тестовых вопросов – нормативы на защищенность.

Во-первых, путанная идеология «полной открытости ЭОР для редактирования» оставила без ответа вопрос: как защитить правильный ответ от несанкционированного просмотра учеником? В ЕТТ нет никаких нормативов на «физическую» защищенность критичных для проведения контроля данных.

Во-вторых, хорошо известно, что один и тот же по сути тестовый вопрос может быть технически оформлен многими разными способами, которые отнюдь неравноценны по степени защищенности от угадывания правильного ответа. В давнем проекте ИСО были, хотя бы, рекомендации не использовать вопросы с выбором ответа «да»–«нет» – поскольку вероятность угадывания 1/2 никак не может быть признана удовлетворительной. Сейчас нет даже таких норм – а ведь методики грамотной разработки тестовых заданий весьма развиты и неплохо формализуются.

Метрики для тестовых вопросов

Критерии, содержащиеся в ЕТТ, не слишком полезны для оценки качества контрольных вопросов. В реальной практике разработчики используют совсем другие метрики, если хотят технологически ранжировать тестовые вопросы и выбрать из них те, которые больше подходят для конкретной учебной задачи.

Взгляните на пример такого сравнения (задания условны, созданы только для сравнения):

Превью	Задание	Вероятность угадывания	Эргономика: 1 = просто, 3 = сложно	Развлечение
	Переместите овал на нужное место	1/8 8 из органелл помещаются в овал	2 Перетаскивание	+
	Окрасьте нужный прямоугольник	1/2 Выбор из двух	2 2 щелчка	+
	Обведите ломаной	1/10 10 органелл всего на рисунке	3 Несколько щелчков	+
	Отметьте значком	1/10 10 органелл всего на рисунке	2 2 щелчка	+
	Подпишите	Возможна любая надпись	3 Печатание	–
	Переместите указатель подписи	1/10 10 органелл всего на рисунке	2 Перетаскивание	+
	Переместите подпись	1/6 6 возможных расположений	2 Перетаскивание	+
	Выберите из радиокнопок	1/4 Выбор из четырех	1 1 щелчок	–

Какой вариант предпочесть? – «единственно верного» решения не существует, выбор зависит от конкретной задачи. Скажем, при разработке теста для людей с нарушениями моторики разумно предпочесть вариант с наименьшей эргономической сложностью (выбор); при создании важного проверочного теста – наиболее защищенный от угадывания (текстовый ввод); для промежуточного теста полезно добавить немного развлекательности (ученикам больше нравится таскать элементы по экрану, чем выбирать из радиокнопок или печатать).

Некоторые вопросы, поднятые при обсуждении

Василий Слышкин (IBS) высказал мнение, что основная задача нормативов ЕТТ на мультимедийность и «интерактивность» – не повышение качества ЭОР, а недопущение резкого удешевления их себестоимости в ущерб заказчику.

Ответ. Да, объективно это похоже на правду. Однако, во-первых, везде и всюду эти нормативы позиционируются именно как критерии качества и это ложно ориентирует разработчиков и экспертов. Во-вторых, для обеспечения должного уровня вложений в мультимедийность и интерактивность существует гораздо более эффективный способ, я его уже упоминал: в заказе на выполнение работ нужно требовать не абстрактный «уровень мультимедийности», невероятным образом одинаковый для всех ступеней образования и учебных предметов, а конкретный список мультимедиа-объектов (видео, панорамы и т.д.) или интерактивных объектов – список, уникальный для каждого заказа. Заметим, кстати, что в таком заказе подсчитать себестоимость работ можно гораздо точнее.

Мировая практика показывает, что относительно универсальными могут быть только технические требования, похожие на спецификации SCORMa. Требования к мультимедийности и интерактивности настолько переплетены с содержательной стороной работы авторского коллектива, что универсальными быть не могут в принципе. В силу этого якобы «универсальные» требования ЕТТ обречены на выхолащивание – им все проще соответствовать, но в этом все меньше какого-то смысла (хотя это, конечно, лучше ситуации, когда они были настолько догматичны, что начисто отрезали целые пласты педагогического опыта). Если мы хотим, чтобы требования не мешали авторам, но и не позволяли обманывать заказчика – движение к конкретизации на уровне заказа является единственно продуктивным.

Выводы

В своем докладе я хотел проиллюстрировать следующие основные тезисы:

1. Буквальное следование некоторым положениям существующего регламента может понизить качество разрабатываемых ЭОР.
2. Во многих случаях отличить качественный ЭОР от менее удачного можно лишь с помощью метрик, отсутствующих в текущих ЕТТ.
3. Регламенты, претендующие на относительную универсальность, могут составляться только в «мягкой» форме рекомендаций и образцов.
4. Жесткие нормативы могут и должны вводиться на уровне конкретного заказа, но контрпродуктивны (и поэтому обречены на выхолащивание) в универсальных требованиях, рассчитанных на ЭОР разных типов.

Все высказанные замечания и предложения, разумеется, должны служить не поводом для саботажа регламентов, а одной из точек для их плодотворного развития.