ОБУЧЕНИЕ И ВОСПИТАНИЕ
ВОЕННАЯ МЫСЛЬ № 12/2003, стр. 17-23
ОБУЧЕНИЕ И ВОСПИТАНИЕ
ПЕДАГОГИЧЕСКОЕ ТЕСТИРОВАНИЕ В ВЫСШЕЙ ВОЕННОЙ ШКОЛЕ
Полковник П.И. ОБРАЗЦОВ,
доктор педагогических наук
МИРОВОЙ педагогический опыт констатирует возрастающую роль применения в высшей школе тестовых форм контроля и оценки знаний обучающихся. В последние годы значительное внимание уделяется этой проблеме и в российской высшей (в том числе высшей военной) школе. Об этом свидетельствует большое количество всевозможных научных публикаций, посвященных исследованию сущности и особенностей данного феномена.
Являясь частью многих педагогических новаций, педагогические тесты (ПТ) позволяют военному педагогу получить объективные оценки уровня знаний, умений, навыков курсантов и слушателей, проверить соответствие качества подготовки выпускников военных вузов заданным государственным образовательным стандартам, выявить пробелы в их подготовке. В сочетании с использованием вычислительной техники ПТ помогают перейти к созданию современных систем адаптивного обучения и адаптивного контроля - наиболее эффективных и, к сожалению, наименее применяемых сегодня в высших военных учебных заведениях форм организации учебного процесса.
Полученные в результате тестирования большого числа курсантов и слушателей тестовые баллы представляют процесс обучения не в идеальном, а в реальном свете. Надо признать, что традиционный контроль в форме опроса (индивидуальных контрольных собеседований, зачетов и т.д.) действительно отнимает у военного педагога много времени, которое можно было бы с пользой потратить на обучение. Особенно трудно поддается изменению существующая сегодня в большинстве военных вузов организация учебного процесса. Она легко отторгает любые новшества, а если и принимает что-то, то в сильно упрощенном и измененном до неузнаваемости виде. Именно так, на наш взгляд, воспринимается тестовый контроль, который, по мнению отдельных руководителей военного образования, способен организовать каждый преподаватель.
Педагогический тест следует понимать как систему заданий специфической формы и определенного содержания, которые расположены в порядке возрастания трудности, создаваемой с целью объективно оценить структуру и измерить уровень подготовленности обучающихся.
Следовательно, ПТ целесообразно рассматривать не как обычную совокупность или набор заданий, а как систему, обладающую двумя главными системными факторами: содержательным составом тестовых заданий, образующих наилучшую целостность, и нарастанием трудности от задания к заданию. Принцип нарастания трудности позволяет военному педагогу определить уровень знаний и умений по контролируемой дисциплине, а обязательное ограничение времени тестирования - выявить наличие навыков и умений. Трудность задания как субъективное понятие определяется эмпирически, по величине доли неправильных ответов. Этим трудность отличается от объективного показателя - сложности, под которой понимают совокупность числа понятий, вошедших в задание, числа логических связей между ними и числа операций, необходимых для выполнения задания.
Отметим, что задания теста представляют собой не вопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых превращаются в истинные или ложные. В соответствии с технологией процедуры тестирования ответы кодируются двоичным кодом («1» - истинно; «О» - ложно) и в таком виде могут поступать в современные системы обработки информации.
Тестовое задание должно отвечать целому ряду требований, а именно: иметь четкую форму, отличаться предметной чистотой содержания, быть логически правильным, технологичным, иметь известную трудность и коррелировать с выбранным критерием. Тестовые задания необходимо обязательно проверять эмпирически.
Качество тестов традиционно оценивается двумя основными критериями. Первый - надежность теста, ассоциируемая в первую очередь с точностью измерения, которая определяется воспроизводимостью полученных результатов на том же контингенте испытуемых благодаря использованию параллельных тестов или других методов контроля. Второй - валидность теста, определяемая обычно как его способность измерять именно то, что он призван измерять по замыслу автора. При проверке ПТ на валидность он подвергается экспертной оценке.
Все задачи педагогического контроля можно условно разделить на два класса. В один класс входят задачи, связанные со сравнением учебных достижений курсантов и слушателей. Они решаются нормативно-ориентированным тестированием. К другому классу относятся задачи, связанные с оценкой степени овладения обучающимися учебным материалом. В этом случае они соответствуют критериально-ориентированному подходу к организации педагогического тестирования.
В основе нормативно-ориентированных ПТ лежит сопоставление индивидуального балла испытуемого с тестовыми баллами, полученными другими испытуемыми из той же группы. Известно, что уровень подготовки учебной группы зависит от многих факторов: состава группы, доминирующей мотивации в обучении, качества преподавания и даже числа занятий. В качестве основного недостатка названного класса тестирования важно указать такой: курсант (слушатель) из слабой группы, показавший в своей группе наилучший результат, может оказаться среди отстающих при сравнении его балла с результатами тестирования в сильной группе.
В рамках одного военно-учебного заведения эта проблема преодолевается довольно просто. Необходимо протестировать по одному и тому же тесту все учебные группы или прибегнуть к формированию так называемой выборки стандартизации. Это специально подобранная репрезентативная группа курсантов и слушателей. Результаты тестирования такой выборки называются тестовыми нормами. Отсюда и происхождение термина: «нормативно-ориентированное тестирование». Если выборка репрезентативна, то, сопоставляя индивидуальный балл с полученными нормами, можно получить объективную оценку достижений отдельного курсанта или слушателя по сравнению с уровнем подготовки всех обучающихся, и эта оценка уже не будет зависеть от уровня подготовленности конкретной учебной группы, в которой проводилось тестирование. Специфика нормативно-ориентированных ПТ тесно связана с их основной задачей: как можно более четко дифференцировать курсантов и слушателей по уровню их подготовленности.
Критериально-ориентированный ПТ представляет собой систему заданий, позволяющих измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которыми должны овладеть курсанты и слушатели в результате определенного курса обучения. При этом указанный объем называется областью содержания этого теста. С ней и соотносятся учебные достижения конкретных обучающихся, чтобы определить, какую долю учебного материала они усвоили, задачи какого уровня сложности могут решать. Выделяют два вида критериально-ориентированных ПТ.
Первый вид (domain-referenced tests) предназначен для оценки доли от полного объема учебного материала, которую усвоили курсанты и слушатели. Этот вид теста позволяет также оценить степень овладения тем или иным умением или навыком. Если обучающийся полностью овладел измеряемым умением и выработал соответствующий навык, то он в отведенное время выполнит 100% заданий. Если умение еще не сформировано, то не будет выполнено ни одного задания. Если умение находится в стадии формирования или даже сформировано, а навыка еще нет, то будет выполнена соответственно меньшая или большая часть заданий. Процент их правильного выполнения и является оценкой степени овладения.
Второй вид критериально-ориентированных тестов (mastery tests) используется для классификации курсантов и слушателей, распределения их на две (или более) группы на основании заранее выработанного критерия (зачет-незачет, аттестован-не аттестован). Для того чтобы быть отнесенным к группе «зачет» или «аттестован», обучающийся должен достичь необходимого минимального для этой группы уровня овладения учебным материалом. Этот уровень устанавливается разработчиками теста и является критерием, на основании которого принимается конкретное решение относительно каждого курсанта и слушателя. В тесте критерий выражается определенным количеством заданий.
Нормативно и критериально-ориентированные тесты можно использовать для перевода тестовых баллов в традиционную систему оценок. Например, если курсант (слушатель) выполнил более 90% заданий, то он получает оценку «отлично», решивший от 75 до 90% заданий - «хорошо», от 50 до 75% - «удовлетворительно». Критерий устанавливается самими разработчиками теста и зависит от сложности содержания и планируемой трудности задания.
В настоящее время в военной дидактике выделяют четыре основные формы тестовых заданий.
Первая. Задания закрытой формы, в которых обучающийся выбирает правильный ответ из нескольких, предложенных на выбор. Эти правдоподобные ответы называются «дистракторами». Чем лучше «дистрактор», тем чаще на него «попадается» курсант (слушатель), давая неправильный ответ. Плохие «дистракторы», которые обучающиеся не выбирают в силу их абсурдности, целесообразно убрать из тестового задания.
Вторая. Задания открытой формы, когда ответы дают сами курсанты и слушатели, дописывая ключевое слово в утверждении и превращая последнее в истинное или ложное высказывание. Такое тестовое утверждение содержит в одном предложении и вопрос, и ответ. Оно должно состоять из небольшого количества слов (чем меньше, тем лучше), а ключевое слово, которое вписывает обучающийся, должно завершать фразу. При формулировании задания важно минимумом слов добиваться полной смысловой ясности и однозначности содержания задания.
Третья. Задания на соответствие, в которых с элементами одного множества требуется соотнести элементы другого, причем число элементов во втором множестве должно на 20-30% превышать число элементов первого. Это обеспечивает курсанту и слушателю широкое поле для поиска правильного ответа.
Четвертая. Задания на установление правильной последовательности. Обучающийся указывает с помощью нумерации операций, действий или вычислений требуемую заданием последовательность. Такие задания хороши в тех областях учебной или профессиональной деятельности, которые хорошо алгоритмизируются.
Перечисленные формы тестовых заданий имеют определенные достоинства и недостатки. Так, использование второй формы обеспечивает достоверность оценки знаний. Однако ввод в ЭВМ ответов-слов требует больше времени, чем при использовании других форм заданий. Возможна оценка ответа как неверного из-за грамматической ошибки, которая практически не влияет на оценку при устном ответе или письменной работе.
Рассматривая методику разработки военным преподавателем педагогического теста, следует отметить, что процедура разработки ПТ начинается с формулировки цели, для которой тест создается. Цель ПТ, применение которого предусматривается на этапе итогового контроля, может быть сформулирована следующим образом: «Измерить уровень знаний курсантов и слушателей по курсу «Психология и педагогика». Более узкий тест, применяемый при текущем контроле, может иметь цель: «Измерить степень овладения курсантами умением решать линейные уравнения». Таким образом, на начальном этапе разработки ПТ цель формулируется в обобщенном виде.
Для того чтобы приступить к разработке тестовых заданий, составляющих структуру теста, целесообразно эту общую цель конкретизировать. Для этого военному педагогу необходимо четко и однозначно описать все знания, навыки и умения, овладение которыми проверяется с помощью данного теста, иными словами, четко описать область содержания теста. Если измеряется овладение курсантом (слушателем) каким-либо одним элементарным видом знаний или умений, то такой тест называется гомогенным. Это может быть, например, тест на знание исторических фактов, дат или типов технических средств, на умение решать уравнения или задачи определенного типа и т.д. Если измеряется овладение разнородными знаниями, умениями и навыками, то такой тест называется гетерогенным. Описание области содержания гетерогенного теста обычно бывает намного объемнее, чем описание содержания гомогенного теста. В любом случае требуется максимально четкое описание того, что должен знать или уметь курсант (слушатель).
Далее в соответствии с целями разработки ПТ следует с помощью тестовых заданий как можно более адекватно репрезентовать область содержания теста. При педагогическом тестировании важно получить информацию о том, в какой степени курсант (слушатель) овладел необходимым учебным материалом. Этого можно добиться только в том случае, если ПТ адекватно отражает содержание учебной дисциплины. К примеру, обучающийся выполнил правильно 20 заданий теста, состоящего из 30 заданий. Что означает этот результат? Если тестовые задания репрезентативны по отношению к области содержания теста, то в рассматриваемом примере можно сделать вывод, что обучающимся усвоено 66% учебного материала.
После определения цели теста и ее конкретизации целесообразно переходить к разработке тестовых заданий. При их составлении важно соблюдать ряд правил.
Во-первых, необходимо проанализировать содержание заданий с позиций равной представленности в тесте разных учебных тем, понятий, фактов, действий и т.д.
Во-вторых, ПТ не должен быть перегружен второстепенными терминами, несущественными деталями с акцентом на механическую память.
В-третьих, задания теста должны быть сформулированы четко, кратко, недвусмысленно, чтобы все курсанты и слушатели однозначно понимали смысл того, что у них спрашивается.
В-четвертых, важно, чтобы ни одно из заданий теста не могло служить подсказкой для ответа на другое. Варианты ответов на каждое задание должны подбираться таким образом, чтобы исключить возможности просто догадки или отбрасывания заведомо не подходящего ответа.
В-пятых, целесообразно выбирать наиболее приемлемую форму ответов на задания. Они, как и вопросы, должны быть краткими и однозначными. При реализации закрытой формы заданий, как правило, на выбор предлагается четыре-пять вариантов ответов. Вместе с этим ПТ должен удовлетворять всем необходимым критериям, обладать высокой надежностью и удовлетворительной валидностью.
Разработка заданий и их экспертный анализ основываются на спецификации, которая представляет собой набор описательных схем, позволяющих установить соответствие между тестовыми заданиями и областью содержания теста. Таким образом, спецификация представляет собой, по сути, алгоритм и правила, по которым должны разрабатываться тестовые задания.
Примерная схема спецификации может выглядеть следующим образом.
Первое. Общее описание. Оно состоит из одного-двух предложений, описывающих цели использования ПТ и то, что предполагается измерять с его помощью.
Второе. Пример инструкции по применению теста и одного из тестовых заданий. Здесь дается представление о том, как выглядит тест и какая форма заданий в нем используется.
Третье. Характеристика содержания и формы задания. В этом разделе указывается содержание, которое может и должно входить в тестовое задание, а также форма, в которой его необходимо представлять.
Четвертое. Характеристика ответов. Содержание данного раздела зависит от выбора формы задания. Для заданий закрытой формы даются правила, по которым формулируются правильные ответы и варианты неправильных или правдоподобных ответов. Для заданий открытой формы (если это необходимо) определяются критерии для оценки ответа испытуемого как правильного. Для заданий на установление соответствия или на установление правильной последовательности данный раздел может отсутствовать.
Пятое. Дополнительный раздел. Он используется в тех случаях, когда в тест входит достаточно большой объем однородного материала, например формул, грамматических правил, исторических фактов и т.д. Перечень однородных элементов содержания выносится в данный раздел, чтобы не загромождать другие разделы спецификации.
Следующим этапом разработки ПТ является его экспертная оценка. Она позволяет выяснить, в какой степени задания соответствуют по содержанию предмету измерения, т.е. действительно ли задания позволяют измерить уровень тех знаний, навыков и умений, для которых разрабатывался тест. Одновременно методы экспертного анализа позволяют оценить задания с точки зрения их формы. В основе экспертных методов лежит соотнесение содержания и формы задания с требованиями, изложенными в спецификации. В качестве экспертов должны выступать опытные военные преподаватели, владеющие предметной областью той учебной дисциплины, для которой создавался ПТ. Опыт показывает, что для этих целей вполне достаточным является участие трех-четырех экспертов.
Как правило, алгоритм их работы заключается в следующем. Ознакомившись с требованиями, изложенными в спецификации, каждый эксперт должен написать столько заданий, сколько предполагается включить в тест. Таким образом, исходное количество заданий оказывается в несколько раз больше требуемого. Это дает возможность выбраковывать самые неудачные из них или создать несколько вариантов теста, называемых тестовыми формами. После этого каждому эксперту предоставляются для изучения и оценки на предмет соответствия спецификации задания, разработанные другими экспертами. Задания, по которым не высказал замечания ни один из экспертов, могут включаться в тест. Далее эксперты определяют трудность выполнения каждого задания, отобранного для включения в тест, и выстраивают их рейтинг. Если результаты этой работы у большинства экспертов аналогичны, то последовательность представления вопросов для включения их в тест соответствует рейтингу их трудности. Если возникают спорные суждения о степени трудности того или иного задания, то проверка осуществляется путем решения этих заданий наиболее хорошо подготовленной группой курсантов и слушателей, которые в этом случае также исполняют роль экспертов.
После завершения работы над первым вариантом ПТ его многократно проверяют в учебном процессе в рамках пилотажного тестирования. Оно служит основой для сбора эмпирического материала о качестве теста. Математическая обработка этого материала позволяет разработчикам оценить ПТ на предмет его надежности и валидности. Цикл «пилотажное исследование - математический анализ» должен «прокручиваться» до тех пор, пока не получится вариант ПТ, характеристики которого будут полностью соответствовать его спецификации.
Безусловно, у педагогического тестирования как метода контроля есть и свои ограничения. Легче всего с помощью ПТ проверить степень овладения курсантами и слушателями учебным материалом. Проверка глубинного понимания предмета, овладения стилем мышления, свойственным изучаемой дисциплине, с помощью ПТ весьма затруднительна, хотя в принципе возможна. Отсутствие непосредственного контакта с курсантами и слушателями, с одной стороны, делает контроль более объективным, но с другой - повышает вероятность влияния на результат других случайных факторов.
Вместе с тем преимущества, которые имеют ПТ перед традиционными методами контроля, полностью перекрывают указанные ограничения. Среди основных преимуществ целесообразно выделить следующие.
Во-первых, ПТ позволяют повысить объективность контроля, исключить влияние на оценку побочных факторов, таких, как личность военного преподавателя и самого обучающегося, их взаимоотношения и т.д.
Во-вторых, оценка, получаемая с помощью ПТ, более дифференцированна. В отличие от традиционных методов контроля, где используется четырехбалльная шкала, результаты тестирования могут быть представлены в более конкретном виде, содержащем множество градаций оценки, а благодаря стандартизированной форме оценки ПТ позволяют соотнести уровень достижений курсантов и слушателей по предмету в целом и по отдельным существенным его элементам с аналогичными показателями в группе или любой другой выборке испытуемых.
В-третьих, тестирование обладает более высокой эффективностью, чем традиционные методы контроля. Его можно одновременно проводить как в учебной группе, так и на курсе или факультете. При этом обработка результатов тестирования с использованием специальных «ключей» для ПТ производится намного быстрее, чем, например, проверка письменной контрольной работы.
В-четвертых, показатели ПТ ориентированы на оценку усвоения ключевых понятий, тем и элементов учебной программы, а не конкретной совокупности знаний, как это имеет место при традиционном подходе. Применяя ПТ, можно построить «профиль» овладения курсантами и слушателями всеми элементами учебной программы.
В-пятых, ПТ обычно компактны и, как правило, легко поддаются автоматизации.
Критика тестирования часто обусловлена непониманием специфики этого метода и реальных возможностей его использования. Она правомерна тогда, когда при некомпетентном использовании ПТ абсолютизируется тестовый балл, забывается, что любая оценка дается с определенной долей вероятности. Достоинство педагогического тестирования заключается еще и в том, что можно оценить степень этой вероятности и, следовательно, узнать, насколько точен полученный результат.
Виленский В.Я., Образцов П.И., Уман А.И. Технологии профессионально-ориентированного обучения в высшей школе: Учебное пособие. М.: Педагогическое общество России, 2003.
Аванесов B.C. Научные проблемы тестового контроля знаний. М.: Исследовательский центр по проблемам управления качеством, 1994.
Люсин Д.В. Основы разработки и применения критериально-ориентированных педагогических тестов. М.: Исследовательский центр по проблемам управления качеством, 1993.
Подробнее с методикой разработки ПТ можно ознакомиться в Интернете по адресу http://www.rekom.ru/~obraztsov.
Гусев В.В., Петров В.А., Федоренко С.А. Разработка и применение педагогических тестов в образовательном процессе: Методическое пособие. Орел: ВИПС, 1997.
