Критерии оценки результатов.
Поэтому, приступая к опытно-экспериментальной части исследования, необходимо самым серьезным образом подойти к подбору критериев оценки эффективности предполагаемых педагогических инноваций. Еще до проведения основного эксперимента, основного этапа опытной работы и т.д. необходимо точно определить и проверить «работоспособность» критериев оценки эмпирических данных, по предварительным результатам прикинуть, какой контингент опрашиваемых или обучаемых, сколько классов, групп необходимо будет включить в опытно-экспериментальную работу, чтобы получить статистически достоверные окончательные результаты.
Критерии должны удовлетворять, в частности, следующим признакам:
Критерии должны быть объективными (настолько, насколько это возможно в педагогике), позволять оценивать исследуемый признак однозначно, не допускать спорных оценок разными людьми.
Критерии должны быть адекватными, валидными, т.е. оценивать именно то, что экспериментатор хочет оценить. Сегодня, в связи с повсеместным распространением и утверждением педагогики развития личности это требование тем более актуально, что мы весьма посредственно умеем оценивать уровень знаний и умений учащихся, но практически совершенно не умеем оценивать уровень развития тех или иных способностей, личностных качеств, а часто даже не знаем - какие способности и качества надо оценивать. Особенно остро требование адекватности
критериев стоит перед исследователями, занимающихся проблемами воспитания молодежи.
3. Критерии должны быть нейтральными по отношению к исследуемым явлениям.
Так, если в ходе эксперимента в одних группах, допустим, изучается какая-то новая тема, а в других - нет, то в качестве критерия сравнения нельзя брать знание учащимися материала этой темы.Совокупность критериев с достаточной полнотой должна охватывать все существенные характеристики исследуемого явления, процесса. Для многих педагогических исследований этот момент оставляет желать лучшего. Так, например, в связи с введением аттестации педагогических работников некоторые специалисты предлагают для учителей математики, физики разработать систему тестов, позволяющих оценивать их умение решать математические и физические задачи - это и будет якобы критерием квалификации учителя. Наверное, это должен быть лишь один из критериев, поскольку, помимо профессиональной математической подготовки, подготовки по физике учитель должен еще владеть и педагогическим, методическим мастерством, что в данном случае остается без внимания.
Рассмотрим теперь некоторые типичные ошибки в определении критериев оценки эффективности педагогических инноваций.
В частности, вполне очевидно, что оценить уровень сформированности тех или иных знаний, умений, каких-то качеств личности учащихся, студентов можно лишь в процессе каких-либо определенных действий, совершаемых этими учащимися, студентами, когда они активно могут проявить эти знания, умения, качества личности. Поэтому, например, такой «критерий» как результаты анкетирования студентов по окончании эксперимента «какая музыка вам нравится больше - эстрадная или классическая?» (изучалось воспитание эстетического вкуса студентов) - вряд ли может о чем-то говорить. Ведь студенты, зная, какой ответ от них хотят получить, могут просто «подыграть» преподавателю, экспериментатору. Или же «критерий» - ответы учащихся на вопрос - «понравились ли занятия по основам информатики и вычислительной техники?» Ведь, во-первых, учащиеся могут «подыграть»
спрашивающему, а во-вторых, наверное, не всегда учение может и должно нравиться - также как горькое, но необходимое лекарство для больного.
Еще один типичный случай - изучалась подготовка студентов педагогического вуза к ведению профориента- ционной работы со школьниками - уровень готовности студентов к этой работе оценивался преподавателями кафедры педагогики по итогам теоретических занятий. Эта оценка чисто умозрительная.
Здесь, наверное, можно было бы попробовать оценить уровень такой готовности студентов хотя бы в процессе их педагогической практики в школах, других образовательных учреждениях, которая предполагала бы какие-то их практические действия в этом направлении.Или же «критерий» - ответ на вопрос, нередко обращаемый к преподавателям - участникам опытно- экспериментальной работы: «Надо ли применять такие занятия?» Положительный ответ на него позволяет, возможно, судить о готовности тех или иных научно- методических разработок к внедрению в практику обучения и воспитания, но вряд ли может выступать основным критерием эффективности результатов научного исследования.
Наиболее часто встречаются случаи, когда в качестве критерия выделяются определенные уровни сформирован- ности каких-либо качеств личности учащихся, например, моральной ответственности, эстетической культуры, гума-нистических отношений и т.п., или уровни овладения какой-либо деятельностью (профессионального мастерства, управления педагогическим коллективом и т.д.). Как правило, выделяется три таких уровня: низкий, средний и высокий. Или выделяется большее число градаций, допустим: нулевой, низкий, средний, достаточный, высокий и т.д. Естественно, в силу сложности педагогических явлений, процессов выделение каких-то уровней в качестве критерия оценки вполне правомерно. Но беда в том, что выделяя чисто умозрительно, субъективно подобным образом уровни: низкий, средний, высокий, - экспериментатор сам же произвольно и оценивает, относит учащихся к тому или иному уровню. Таким образом ни о какой
объективности критерия и достоверности результатов здесь речь идти не может.
Другое дело, если вводятся уровни качественно, принципиально отличные один от другого по какому-то определенному основанию классификации. Например, для оценки овладения учащимися знаниями нередко используются четыре уровня, предложенные В.П. Беспалько (См. Беспалько В.П. Основы теории педагогических систем. - Воронеж. - 1977. - 304 с.): первый уровень - знания- знакомство - узнавание объектов, процессов, свойств при повторном восприятии ранее усвоенной информации; второй уровень - знания-копии - предполагает репродуктивное воспроизведение и применение полученной информации; третий уровень - предполагает продуктивные действия по применению полученной информации в процессе самостоятельной деятельности; четвертый уровень - знания-трансформации - предполагает возможность творческого применения полученной информации посредством самостоятельного конструирования собственной деятельности.
При грамотном построении оценочных процедур в этом случае знания каждого учащегося вполне однозначно могут быть отнесены к тому или иному определенному уровню.
Критерии оценки педагогических явлений могут быть качественными и количественными.
Они, естественно, дополняют друг друга. Исследователь, как правило, не ограничивается только качественными критериями и стремится использовать в целях объективности получаемых результатов какие-то количественные критерии оценки, используя тем самым определенные величины.О величинах и шкалах их измерения стоит поговорить особо. Понятие «величина» определяется следующим образом: величина есть мера множества, относительно элементов которого имеют смысл утверждения - больше, меньше, равно. Естественно, не на всяких множествах может быть задана величина, мера. Например, утверждение, что учащийся Иванов равен учащейся Петровой (не путать с равноправием!) смысла не имеет, т.к. каждый человек - неповторимая личность. Но, например, утверждение, что рост, вес учащегося Иванова больше
(меньше, равен) росту Петровой имеет уже вполне определенный смысл: рост и вес здесь выступают величинами.
Величина задается той или иной шкалой измерений, оценки. Шкала измерения - это числовая система, в которой отношения между различными свойствами изучаемых явлений, процессов переведены в свойства того или иного числового ряда. Шкала измерений делится на четыре основных класса: