В концепции ОСОКО говориться, что основой общероссийской оценки качества образования являются достижения участников образовательного процесса – школьников и учителей. Труд учителя всегда оценивался приблизительно. Теперь с широким распространением информационных технологий появилась возможность использовать методы математической статистики. В Тульской области разработана технология, позволяющая на основе анализа контрольной работы давать системную и достоверную оценку учительского труда без приблизительности и субъективизма. Автор технологии – доцент кафедры научных основ управления образованием Надежда Фомина. В образовательных учреждениях Романовского района заместителям директоров по учебной части районным методическим кабинетом рекомендовано использовать в своей работе данную технологию для повышения эффективности внедрения региональной системы оценки качества образования.
Диагностика с помощью математической статистики исключает приблизительность оценок. Привычное событие в любой школе – контрольная работа. Но, как правило, в ней видят только успех учеников: выведут процент “хорошистов” (так называемый – “процент качества”), троечников и неуспевающих. На том оценка ее и заканчивается. Но, оказывается, контрольная работа может многое рассказать и об учителе, о качестве его труда. Диагностика с использованием метода математической статистики позволяет предельно точно выявить, как использует учитель реальные учебные возможности каждого школьника, какую работу ведет со слабыми и сильными учениками и с классом в целом. Теперь у руководителей школ и учителей есть инструмент, позволяющий не приблизительно, на основе интуиции и эмпирики оценить труд учителя, а сделать это с максимальной степенью достоверности.
Однако руководители школ испытывают серьезные затруднения в использовании первичной информации о состоянии обучения и воспитания школьников и продолжают оценивать эти аспекты деятельности школы на уровне интуиции и эмпирики.
В последние годы в педагогике развивается новое направление исследований, связанное и с количественным описанием качества процессов, явлений, получившее название педагогической квалиметрии, и с методами математической статистики. Объект исследования в моем случае – результат педагогической деятельности.
Прежде всего, понятие “качество” следует разграничить с другими понятиями, часто употребляемыми в одинаковом лексическом значении. Например, такие понятия, как “результативность”, “продуктивность” и “эффективность”, – это разные понятия с точки зрения способов измерения. Если считать, что результативность – это конечный результат педагогического труда, измеренный без сравнения и сопоставления с чем-то, то тогда понятие продуктивность должно включать критерий продукта, то есть прирост в последующих показателях. Понятие “качество” включает сравнение полученных показателей с прогнозируемыми. В основу измерения качества труда учителя положен показатель прироста качества к тому, что прогнозировалось.
Диагностика прогнозируемого качества мало освещена в исследованиях ученых и практиков. Но именно сравнение того, что достигнуто, с тем, что планировалось, и позволяет сделать вывод: если полученные в ходе анализа показатели совпадут с прогнозируемыми или превысят их, то деятельность учителя можно с высокой степенью достоверности считать эффективной, высокого качества.
Показатели эффективности учебного процесса
Условно обозначим анализируемые показатели так:
- результативность – РЕЗ;
- объективность (достоверность) оценивания – ОЦ;
- глубина усвоения учебного материала, что определяет состояние работы с сильными учащимися – УСВ;
- уровень реализации учебных возможностей учащихся – УРВ;
- состояние работы со слабоуспевающими учащимися – НЕУСП.
Результативность – один из самых важных показателей труда учителя. Он выявляется в ходе анализа письменных контрольных работ и определяется процентным соотношением предложенного учителем объема заданий и выполненного школьником. Эффективной считается деятельность учителя в том случае, если полученная в ходе анализа результативность (РЕЗ) совпадает с прогнозируемым уровнем реальных возможностей учащихся (по оценке учителя) или превышает этот показатель, который мы условно обозначили УРВ.
Объективность (достоверность) оценки (ОЦ) – вопрос, который не может не волновать руководителя школы, так как справедливое оценивание имеет большое воспитательное значение. Анализ контрольных работ позволил сделать вывод: многие оценки учителей (66%) необъективны, причем в большинстве – в сторону занижения (42%). Это вызывает неудовлетворенность учащихся, утрату доверия учителю.
Объективность оценок определяется сравнением полученного результата (РЕЗ) с оценочным показателем (ОЦ). Если разница между ними составляет менее 10%, значит, оценка выставлена объективно, она достоверно отражает учебные возможности школьника.
Глубина усвоения учебного материала, определяющая состояние работы с сильными учащимися (УСВ) – один из важнейших показателей эффективности педагогического труда. Работа с сильными учащимися, у которых, в основном, четверки и пятерки, эффективна, если в ходе анализа контрольных работ выясняется, что прогнозируемый показатель полного усвоения программы совпадает с полученным в ходе анализа контрольной. Если же полученный в ходе контрольной показатель (УСВ) превышает прогнозируемый, то эффективность деятельности учителя определяется по приросту полученного показателя относительно прогнозируемого.
Уровень реализации учебных возможностей школьников (УРВ) – главный показатель эффективности деятельности педагога. Однако в практике часто не учитываются реальные возможности класса (нет механизма их определения), в котором работает учитель. Поэтому его успехи заведомо занижаются в слабом классе (не с чем было сравнивать) и не учитывается высокая прогнозируемая учителем результативность в классе сильном (то есть движение ребят к новому уровню обученности).
Показатель уровня реальных учебных возможностей учащихся (УРВ) позволяет увидеть результаты педагогического труда учителя в классах с различным составом учащихся. Определяется этот показатель по процентному отношению полученных в ходе анализа результатов письменной контрольной работы к индексу реальных возможностей учащихся. Эффективность педагогического труда определяется по совпадению показателей (100%) или по приросту полученного показателя к прогнозируемому.
Состояние работы со слабоуспевающими учащимися (НЕУСП) – также один из важных показателей эффективной деятельности учителя. Уменьшение числа неуспевающих, не сумевших выполнить задание в ходе анализа контрольных работ, свидетельствует об эффективном труде учителя со слабоуспевающими детьми.
Квалифицированный анализ контрольных работ, снабженный надежным диагностическим инструментом, может очень многое сказать о деятельности учителя. В определении ее эффективности квалифицированно проведенная диагностика имеет решающее значение.
Разработаны инструментальные способы диагностики, опирающиеся на методы математической статистики и учитывающие реальные возможности каждого ученика и его учебные достижения. Итак, это оценка:
- по среднему арифметическому показателю успеваемости каждого ученика, определенному по его итоговым оценкам за год, выставленным в классный журнал. При этом принимаются во внимание предметы без учета способностей ученика в пении, физкультуре, рисовании. Этот способ не обладает необходимой точностью, так как иногда за выставленными тройками стоят подразумеваемые двойки, которые необходимо учитывать в диагностике, иначе индексы будут завышенными;
- по среднему арифметическому показателю успеваемости каждого ученика, по текущим оценкам за год. Этот способ обладает необходимой точностью, однако он трудоемок – требует большого количества времени на обработку (трудоемкость – 5 часов на 100) и на накопление необходимого количества оценок за год;
- по диагностической таблице с применением метода доверительной компетентности. Диагностическую карту при этом методе заполняет учитель или классный руководитель, хорошо знающий учебные возможности учащихся и умеющий провести диагностические процедуры с максимальной точностью (поэтому и доверяют такому компетентному педагогу). Этот способ нетрудоемкий, но требует необходимой точности вычисления;
- по диагностической таблице с использованием метода групповых экспертных оценок: диагностическую карту заполняет каждый учитель, работающий в классе; необходимые показатели выводятся по среднему арифметическому полученных данных (методика В.С.Черепанова);
- комплексный способ (показатели определяются на основании данных, полученных в результате 2-3 способов, для большей надежности полученных величин). Такое диагностирование позволяет подучить показатели, достаточно точно характеризующие учебные возможности класса, а именно:
- индекс реальных учебных возможностей класса (ИРВ);
- индекс полного усвоения программного материала, или работы с сильными учащимися (ИУСВ);
- индекс прогнозируемого уменьшения неуспешных школьников, или работы со слабыми учащимися (ИНЕУСП).
Количественные признаки качества преподавания
Как уже было сказано, методы квалиметрии в сочетании с методами математической статистики позволяют с большей точностью оценить эффективность педагогического труда. По результатам контрольной работы это определяется следующим образом.
Показатель результативности выполнения работы равен индексу реальных возможностей учащихся, превышает прогнозируемый результат или меньше его не менее, чем на 10%. Условно это выглядит так: РЕЗ больше или равен ИРВ.
Оценочный показатель (объективность оценки) равен или отличается от показателя результативности не более, чем на 10%. РЕЗ должен быть равен ОЦ.
Показатель полного усвоения программного материала совпадает с прогнозируемым результатом, превышает его или меньше не более, чем на 10% (УСВ равен или больше ИУСВ).
Показатель уровня реализации учебных возможностей равен 100% или превышает 100% (УРВ равен или больше 100%), или меньше не более, чем на 10%.
Показатель контрольной работы, выполненной слабыми учащимися, равен прогнозируемому результату или немного уменьшен по сравнению с ним (это свидетельствует о работе с такими детьми).
Чтобы сделать достоверным вывод о качестве педагогического труда (преподавания) в данном классе, необходимо вычислить индексы учебных возможностей этого класса с учетом возможностей каждого ученика, применив для этого необходимые способы диагностики.
Определение индексов учебных возможностей учащихся
1-й этап. Составление списка учащихся.
2-й этап. Определение индивидуальных учебных возможностей учащихся путем выбора одного показателя (из данных), соответствующего реальным учебным возможностям каждого ученика, например: ученик обучается на “5” или “4” и “5”, на “4” или “4” и “3”, на “3” или на “2” и “3”, на “2”. 3-й этап. Выделение промежуточных параметров (через запятую):
4 и 5 = 4,5
3 и 4 = 3,5
2 и 3 = 2,5
4-й этап. Определение индексов: ИУРВ, ИУСВ, ИНЕУСП. Например, индексы учебных возможностей 6-го класса имеют такие количественные значения:
ИУРВ = 69% (индекс реальных возможностей детей)
ИУСВ = 35% (индекс полного усвоения материала)
ИНЕУСП = 31% (индекс прогнозируемой неуспешности учеников).
Определены эти показатели в результате обработки диагностической карты (Приложение 1), которая имеет следующий вид:
1. ИРВ =
Учащиеся этого класса, таким образом, могут выполнить предложенный объем контрольной работы на 69%. Это высокий показатель.
2. ИУСВ = 
Задача учителя – держать этих ребят хорошистов на таком же уровне и не “терять” их.
3. ИНЕУСП = 100% – ИРВ = 100% – 69% = 31%
После того, как закончен этап диагностирования, переходим к следующему этапу, предварительно занеся полученные индексы в таблицу индексов. Таблица пополняется новыми данными в связи с изменением списочного состава учащихся или изменением балльных индексов.
Определение качества преподавания по результатам анализа контрольной работы
Анализ контрольной работы начинается с определения количества заданий, выполненных каждым учеником, из числа заданий, предложенных в контрольной работе. Для удобства вычисления составляется рабочая таблица (Приложение 2).
1. Определение результативности (РЕЗ):
где: Ф – фактически выполненное учащимися количество заданий;
Д – данное учителем суммарное количество заданий.
Работа, таким образом выполнена с результатом в 78% (это высокий результат). Но мы еще не знаем, соответствует ли этот результат возможностям детей. Для этого надо определить индекс реальных учебных возможностей учащихся (их успешность). Определяем его следующими действиями.
2. Определение оценочного показателя (ОЦ):
3. Определение количественного показателя уровня работы с сильными учащимися (УСВ – полное усвоение материала):
4. Определение уровня реализации учебных возможностей (УРВ) (сравнение полученного показателя с индексом реальных возможностей учащихся):
Количественный показатель прогнозируемого результата контрольной работы в сравнении со 100-процентным результатом (то есть с максимально достижимым, когда возможности учащихся реализованы полностью): 112% – 100% = +12%.
В этой ситуации результат контрольной работы (по уровню реализации учебных возможностей школьников) превзошел прогнозируемый результат на 12%. Значит, учитель Кудинова С.И. хорошо знает учебные возможности учащихся 6 класса и работала с ними.
Показатель работы со “слабыми” учащимися (условное обозначение – НЕУСП) определяется по следующей формуле:
ЕУСП = 100% – РЕЗ = 100% – 78% = 22%.
Полученный показатель (22%) сравниваем с прогнозируемым индексом неуспешности (31%), видим, что этот показатель уменьшен (на 9%). Следовательно, со слабыми учащимися проведена работа.
В соответствии с показателями эффективности (при разнице в сторону уменьшения до 5% – уровень оптимальный, до 9% – достаточный, свыше 10% – критический) можно сделать вывод о том, что учебный процесс в этом классе протекает эффективно: оценки выставляются объективные (достоверные), работа с сильными учащимися проводится на должном уровне, учебные возможности учащихся реализуются полностью, показатели прогнозируемой неуспешности (неуспеваемости) уменьшаются.
Отражаю результаты контрольной работы в протоколе. Примерная схема (алгоритм протокола) письменного анализа контрольной работы:
Характеристика показателей
Если показатель результативности от 75% до 100% – результативность высокая; от 65% до 75% – хорошая; от 60% до 65% – достаточная; от 45% до 59% – низкая; от 35% до 44% – неудовлетворительная; от 0 до 34% – требуются экстренные меры. Итак:
Результативность деятельности учителя высокая, если показатели результативности находятся в пределах 75-100%.
Оценки выставлены необъективно, так как РЕЗ больше ОЦ (РЕЗ > ОЦ) более, чем на 10%. Не только сильные ученики, но и часть “середняков” справились с работой, так как УСВ > ИУСВ. Учебные возможности учащихся реализованы с превышением на 12% (УРВ>ИУРВ). Работа со слабыми учащимися проведена на должном уровне, так как НЕУСП < ИНЕУСП.
В письменном анализе контрольной работы именно эти результаты и отражаю: результативность деятельности учителя русского языка и литературы Кудиновой С.И. в 6 классе высокая, уровень преподавания предмета оптимальный, оценки выставлены необъективно, с работой справились не только сильные учащиеся, но средние, работа со слабыми учащимися проведена на должном уровне, учебные возможности учащихся 6 класса реализованы.
На первый взгляд, технология анализа с применением математической статистики – довольно сложная процедура. Кому-то даже она может показаться механистичной, а то и формальной. Но, во-первых, к этим формулам, индексам, уравнениям руководители школ и учителя, как показала практика, быстро привыкают и не испытывают затруднений. Во-вторых, эта несложная математика поможет избежать приблизительности оценок (что при квалиметрическом способе неизбежно) или хотя бы максимально снизить уровень приблизительности, субъективности оценок. В-третьих, этот метод обладает определенной комплексностью, системностью: при анализе контрольного задания качество труда учителя оценивается системно – работа со слабыми и сильными учениками, выполнение контрольной работы с учетом возможностей учащихся.
Само по себе это очень ценно для администрации, а тем более сейчас, когда придется решать, кто из учителей достоин стимулирующей надбавки к базовой части зарплаты за качество профессиональной деятельности. Этот критерий – успехи учащихся – присутствует практически во всех проектах региональных систем оценки качества образования.