Современный этап развития педагогики как науки характеризуется широкой дискуссией о роли и корректных практиках применения аналитических и квалиметрических методов в педагогических исследованиях. Особенно актуально их использование при рассмотрении гипотез об эффективности того или иного инструмента.
В последнее время также много говорится о необходимости разработки новых систем оценки обучающихся, в частности о необходимости внедрения балльно-рейтинговой системы. В настоящее время активно идет процесс реформирования и перезагрузки среднего профессионального образования, направленный на интеграцию системы среднего профессионального образования и сектора экономики. Система СПО нуждается в обновлении системы оценивания новых образовательных результатов в виде формируемых компетенций, разработке практикоориентированных фондов оценочных средств с целью качественной подготовки будущих специалистов. Однако очень небольшое количество исследований содержат статистически обоснованные выводы о сравнительной эффективности разных систем оценки, в то время как данный вопрос кажется авторам данной статьи важным и интересным.
Опытом применения балльно-рейтинговой системы оценки результатов обучения в процессе освоения образовательной программы в своих исследованиях поделились многие педагоги образовательных организаций [1‒14]. Рейтинговая система оценки успеваемости студентов вузов, введенная приказом Министерства образования РФ с 2002 г., была интерпретирована образовательными организациями по своему усмотрению, при этом они руководствовались методическими рекомендациями. Внедрение в систему менеджмента качества, составление рейтингов, определение рейтингов и их количества, распределение баллов определялись субъективным характером образовательной организации. В образовательных организациях были разработаны положения по введению новой системы оценивания, в которых определение самой системы трактовалось по-разному: БРС оценки, модульно-рейтинговая система оценивания, рейтинговая оценка успеваемости, модульно-рейтинговая технология обучения, рейтинговая система оценки качества, модульно-рейтинговая оценка качества образования, модульно-рейтинговая технология оценки достижений.
На основании изученной литературы, посвященной балльно-рейтинговой системе, можно говорить, что она действенна не только в высшем образовании, но и в СПО. Многие исследователи склоняются к мнению, что внедрение БРС в образовательный процесс способствует развитию мотивации к учебной деятельности [15; 16], рассматривают БРС как средство систематизации учебной работы обучающегося, повышения самостоятельности [17], а также как способ эффективного и объективного оценивания [17], БРС выделено как средство «повышения посещаемости» занятий [18], возможность применения более точной оценки за счет увеличенной шкалы оценивания [19; 20], как способ решения вопросов информационно-методического обеспечения [21]. Мнения большинства практикующих педагогов сводятся к тому, что балльно-рейтинговая система оценивания учебных достижений способствует выявлению уровня подготовки обучающегося, позволяет управлять и корректировать процесс при освоении образовательной программы.
В Княгининском университете реализуется несколько специальностей среднего профессионального образования. При этом экономические и информационные специальности оцениваются с помощью БРС, а инженерные специальности ‒ по традиционной системе. Надо сказать, что условия реализации образовательных программ высшего образования отличаются от программ СПО, учебные планы последних ежегодно претерпевают изменения, удовлетворяя требованиям ФГОС, вносимым изменениям в документы, регламентирующие деятельность в образовательной организации, что приводит к актуализации учебно-методической документации, в том числе и процедуры оценивания.
Рассмотрим суть применяемой балльно-рейтинговой системы в СПО и влияние выбранной системы оценивания на результат промежуточной аттестации первокурсников. На основании принятого положения о БРС в вузе, а также положения о фонде оценочных средств преподавателями СПО по каждой дисциплине были разработаны технологические карты, в которых указывались средства и способы набора баллов студентом в течение семестра. Общая система оценивания включала в себя следующие составляющие: посещаемость, контроль знаний, активность на занятии, внеаудиторная деятельность, промежуточная аттестация.
В течение семестра обучающийся может набрать до 70 баллов. Промежуточная аттестация проводится в форме экзамена и оценивается в 30 баллов. В текущий контроль включены обязательные контрольные точки: входной контроль и контрольные работы (суммарное максимальное значение 50 баллов), результаты которых существенно влияют на итоговую оценку. В кумулятивную оценку также входят оценки за активность студента на занятии, где можно заработать от 0 до 3 баллов, оценка научно-исследовательской деятельности студента в рамках дисциплины (при наличии), дополнительные баллы за своевременность, а также посещаемость. Посещаемость занятий суммарно оценивается в 5 баллов (поскольку данный фактор не основной). Система не наказывает за отсутствие на занятиях, но стимулирует к вовлеченности по изучению материала на занятиях. Оценка «отлично» выставляется при наборе баллов от 86 до 100, «хорошо» ‒ 71‒85, «удовлетворительно» ‒ 51‒70, «неудовлетворительно» ‒ меньше 51 балла. Также баллы можно набрать, участвуя во внеаудиторных мероприятиях, организованных кафедрой. Рейтинг студента по дисциплине определяется как сумма накопленных баллов, за семестр – как среднее значение по всем изученным дисциплинам.
В электронной информационно-образовательной среде вуза на странице дисциплины размещается электронный журнал, который позволяет обучающимся контролировать и регулировать свою успеваемость, побуждая к активной учебной деятельности.
Статистический анализ, включающий сравнения традиционной и балльно-рейтинговой системы оценивания, даст возможность сделать выводы об эффективности используемой системы, а также поспособствует поддержке и развитию профессионализма педагогов.
В целом данная статья посвящена проверке статистической гипотезы о наличии / отсутствии зависимости результатов обучения студентов среднего образования от применяемой системы оценивания на примере дисциплины «математика» на данных, собранных на студентах Княгининского университета (Нижегородская область).
Для проведения исследования была собрана база данных результатов студентов СПО со следующей информацией:
- итоговая оценка по математике в аттестате (если присутствуют оценки по алгебре и геометрии, вычисляется средняя арифметическая);
- оценка студента за входной контроль (входной контроль проводится на первом занятии по модифицированным вариантам ОГЭ);
- оценка студента за текущий контроль в первом семестре (текущий контроль проводится в середине семестра);
- оценка студента за первый семестр (при этом бралась первая оценка по ведомости);
- оценка студента за текущий контроль во втором семестре;
- оценка студента за второй семестр.
Данная информация собиралась по результатам освоения общеобразовательной дисциплины «Математика» на 1-м курсе обучения студентами специальностей «Бухгалтерский учет, анализ и аудит», «Информационные системы и технологии», «Сети связи и системы коммутации», «Электрификация и автоматизация сельского хозяйства», «Механизация сельского хозяйства» за 2019‒2021 гг. Указанную дисциплину вели разные преподаватели, которые применяли традиционную или балльно-рейтинговую систему.
Проверка предположения о равенстве средних величин оценок проводилась с помощью:
- проверки статистических гипотез о равенстве средних значений оценок по контрольным мероприятиям среди двух совокупностей студентов ‒ оцененных по традиционной или балльной-рейтинговой системе;
- дисперсионного анализа с оценками по контрольным мероприятиям в качестве зависимой переменной и независимыми переменными, обозначающими год обучения, направление обучения, используемую систему оценки.
Всего были собраны данные по 318 студентам, 101 из которых оценивались по балльно-рейтинговой системе, 217 –по традиционной системе оценок; из выборки 91 студент учился на первом курсе в 2019 г., 128 студент – в 2020 г., 99 студент – в 2021 г.
В выборку вошли 76 студентов, учащихся по специальности «Бухгалтерский учет, анализ и аудит», 79 студентов, учащихся по специаьности «Информационные системы и технологии», 25 человек, учащихся по специальности «Сети связи и системы коммутации», 46 человек, учащихся по специальности «Электрификация и автоматизация сельского хозяйства», 92 человека, учащихся по специальности «Механизация сельского хозяйства»; 135 студентов поступило с оценкой «удовлетворительно» в аттестате, 92 студента – с оценкой «хорошо», 11 студентов – с оценкой «отлично».
Все расчеты проводились с использованием языка R. Проверка статистических гипотез о равенстве средних значений осуществлялась с использованием пакета функций ggbetweenstats пакета ggstatsplot, который реализует t-тест Уэлша. Результаты исследования оценок входного контроля показали следующее:
- гипотеза о равенстве средних оценок по итогам входного контроля для разных направлений подготовки в целом может быть опровергнута. Статистически значимо снижение среднего балла для групп, обучающихся по специальностям «Электрификация и автоматизация сельского хозяйства», «Механизация сельского хозяйства» по сравнению с остальными (соответствующие р-значения равны 4.55e-09);
- гипотеза о равенстве средних оценок по итогам входного контроля для студентов набора разных лет не может быть опровергнута (значение критерия равно 2.95, р-значение равно 0.06);
- гипотеза о равенстве средних оценок по итогам входного контроля для студентов с разным баллом аттестата может быть опровергнута (значение критерия равно 6.58, р-значение равно 0.0078). Для студентов с оценкой «удовлетворительно» в аттестате средний балл входного контроля равен 2.49; с оценкой «хорошо» ‒ 3.07; с оценкой «отлично» ‒ 3.57. Подтверждаемость оценок аттестата равна: для оценки «удовлетворительно» ‒ 30 %, для оценки «хорошо» ‒ 41 %, для оценки «отлично» ‒ 14 %.
Результаты исследования оценок промежуточной аттестации по итогам I семестра показали следующее:
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации в I семестре для разных направлений подготовки в целом может быть опровергнута (значение критерия равно 11.76, р-значение равно 1.27е-07). Статистически значимо увеличенное значение величины среднего балла в группах специальностей «Бухгалтерский учет, анализ и аудит», «Информационные системы и технологии» (частные р-значения равны 2.48е-05 и 5.74е-04);
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации в I семестре для студентов набора разных лет не может быть опровергнута (значение критерия равно 0.66, р-значение равно 0.52);
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации в I семестре для студентов с разным баллом аттестата опровергается (значение критерия равно 26.39, р-значение равно 5.59е-07). Для студентов с оценкой «удовлетворительно» в аттестате средний балл промежуточной аттестации по итогам I семестра равен 2.84; с оценкой «хорошо» ‒ 3.36; с оценкой «отлично» ‒ 4.00. Воспроизводимость оценок аттестата равна: для оценки «удовлетворительно» ‒ 80 %, для оценки «хорошо» ‒ 37 %, для оценки «отлично» ‒ 36 %;
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации в I семестре для студентов с разными оценками входного контроля в целом не может быть опровергнута (значение критерия равно 7.6, р-значение равно 4.90е-04);
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации в II семестре для программ с разными системами оценивания не может быть опровергнута (значение критерия равно -0.24, р-значение равно 0.81).
Результаты исследования оценок по итогам промежуточной аттестации за второй семестр показали следующее:
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации во II семестре для разных направлений подготовки может быть опровергнута (значение критерия равно 9.68, р-значение равно 2.10е-04);
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации во II семестре для студентов набора разных лет не может быть опровергнута (значение критерия равно 0.33, р-значение равно 0.72);
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации во II семестре для студентов с разным баллом аттестата опровергается (значение критерия равно 15.79, р-значение равно 2.76е-5). Для студентов с оценкой «удовлетворительно» в аттестате средний балл промежуточной аттестации по итогам II семестра равен 2.75; с оценкой «хорошо» ‒ 3.18; с оценкой «отлично» ‒ 3.91. Воспроизводимость оценок аттестата равна: для оценки «удовлетворительно» ‒ 68 %, для оценки «хорошо» ‒ 31 %, для оценки «отлично» ‒ 36 %;
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации во II семестре для студентов с разными оценками входного контроля не может быть опровергнута (значение критерия равно 2.96, р-значение равно 0.055);
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации во II семестре для программ с разными системами оценивания может быть опровергнута (значение критерия равно 4.31, р-значение равно 2.7е-05). Средняя оценка студентов, оцениваемых по балльно-рейтинговой системе, была равна 2.7, а студентов, оцениваемых по традиционной системе, – 3.18;
- гипотеза о равенстве среднего балла по итогам промежуточной аттестации во II семестре для студентов с разными оценками за промежуточную аттестацию в I семестре опровергается (значение критерия равно 33.92, р-значение равно 4.77е-10). Для студентов с оценкой «неудовлетворительно» за промежуточную аттестацию в первом семестре средний балл промежуточной аттестации по итогам II семестра равен 2.33; с оценкой «удовлетворительно» ‒ 2.84; с оценкой «хорошо» ‒ 3.42; с оценкой «отлично» ‒ 4.67. Воспроизводимость оценок промежуточной аттестации I семестра равна: для оценки «удовлетворительно» ‒ 75 %, для оценки «хорошо» ‒ 42 %, для оценки «отлично» ‒ 78 %.
Для оценки влияния разных рассмотренных факторов (оценки за текущий контроль, балл аттестата, оценка входного контроля, применяемая система оценки) на оценки студентов за первый и второй семестры был применен одномерный многофакторный дисперсионный анализ (ANOVA) с помощью функции aov пакета stats из R (формула в модели аналогична приведенной ниже, только с другими именами переменных).
Применение метода дисперсионного анализа позволило получить следующие статистически значимые уравнения:
- Оценка студента за первый семестр = 0.5625 * Оценка студента за текущий контроль + 0.3022 *. Оценка в аттестате + 0.1024 *. Оценка по входному контролю + 0.0044 *. Применяемая система оценки (1 – применяется БРС, 0 – применяется традиционная система оценки).
- Оценка студента за второй семестр = 0.423 *. Оценка студента за первый семестр + 0.587 *. Оценка студента за текущий контроль во втором семестре.
Все рассчитанные оценки коэффициентов в данных уравнениях статистически значимы, что отвергает гипотезу о равенстве средних значений оценок промежуточной аттестации в изучаемых группах.
Полученные результаты исследования позволяют сделать следующие выводы:
- по собранным данным влияние типа системы оценки на средние результаты оценки студентов проявляется не сразу – в первом семестре влияние статистически не значимо, во втором семестре – значимо. По исследуемым данным, применение балльной-рейтинговой системы приводит к снижению средних оценок студентов, однако данный фактор не является ключевым предиктором оценок;
- лучшим предиктором для предсказания оценки студента на следующей контрольной точке является оценка на предыдущей контрольной точке;
- при обучении математике обращает на себя внимание низкая воспроизводимость школьных оценок – значительная часть студентов демонстрирует низкие оценки на заданиях входного контроля.
Сделанные в ходе исследования выводы, свидетельствующие о статистически достоверной незначимости влияния системы оценки знаний студентов на их средние результаты, отражают ситуацию только в одном учебном заведении и лишь по дисциплине «математика». Полученные результаты нуждаются в проверке на примере других учебных заведений, уровней обучения и предметов. Кроме того, необходимо также рассмотреть вопрос о расширении состава изучаемых показателей путем включения данных о социально-экономическом положении студентов как факторов, влияющих на результаты обучения.
Список литературы
- Ларионова Н. Б. Балльно-рейтинговая система оценки знаний как эффективная мотивация студентов к успешному обучению // Ученые записки Казанского филиала «Российского государственного университета правосудия». 2022. Т. 18. С. 311‒316.
- Русаков С. В., Русакова О. Л., Смольяков М. Д. Анализ эффективности учебной деятельности студентов в рамках балльно-рейтинговой системы // Новые информационные технологии в образовании и науке. 2022. № 5. С. 74‒79.
- Михтеев С. Ш., Михтеева Е. Ю. Балльно-рейтинговая система – фактор активизации познавательной активности обучаемых // Современное образование: содержание, технологии, качество. 2021. Т. 1. С. 78‒80.
- Мальцева Н. Н., Пеньков В. Е. Балльно-рейтинговая система: достоинства и недостатки // Высшее образование в России. 2021. Т. 30. № 4. С. 139‒145.
- Коряковцева В. А. Преимущества и проблемы применения балльно-рейтинговой системы в вузе // Гуманитарные науки. 2021. № 1 (53). С. 62‒69.
- Сокунова С. Ф., Косихин В. П., Лобанов С. В. Балльно-рейтинговая система как фактор повышения физической и умственной работоспособности в процессе обучения // Ученые записки университета имени П. Ф. Лесгафта. 2020. № 8 (186). С. 264–267.
- Петрова В. Т., Бойков В. А. Многоуровневая система обучения математике в вузах и балльно-рейтинговая система оценки знаний студентов // Педагогическое образование и наука. 2019. № 5. С. 29–37.
- Башмакова М. Г. Вариант балльно-рейтинговой системы оценивания знаний для дисциплины «Вычислительная математика» // Вестник науки. 2019. Т. 3. № 9 (18). С. 4‒8.
- Севостьянова С. А., Шумакова Е. О., Мартынова Е. В. Рейтинговая система оценки знаний студентов при изучении дисциплины «Вводный курс математики» // Вестник Южно-Уральского государственного гуманитарно-педагогического университета. 2018. № 8. С. 116‒129.
- Емельянова Ю. Н., Емельянов В. Д. Результаты внедрения балльно-рейтинговой системы с учетом специфики дисциплины «Спортивные игры и методика преподавания» // Проблемы современного педагогического образования. 2017. № 57-1. С. 69‒76.
- Жуков В. А. Плюсы и минусы балльно-рейтинговой системы // Современное образование: содержание, технологии, качество. 2017. Т. 2. С. 252‒254.
- Стариченко Б. Е. Балльно-рейтинговая система оценивания учебной деятельности студентов: вопросы назначения // Педагогическое образование в России. 2017. № 5. С. 116‒125.
- Балльно-рейтинговая система оценки при подготовке студентов по дисциплине «Педиатрия» / С. В. Маркова [и др.]. // Вестник Северо-Восточного федерального университета им. М. К. Аммосова. Серия «Медицинские науки». 2017. № 1 (06). С. 71‒74.
- Якушева Н. В. Стимулирование учебной деятельности в условиях применения балльно-рейтинговой системы // Вестник науки и образования. 2017. № 1 (25). С. 85‒87.
- Петрушкина В. В. Использование балльно-рейтинговой системы среднего профессионального образования как средство мотивации учебной деятельности // Вестник Калужского университета. 2017. № 2. С. 101‒104.
- Фаткуллин Н. Ю. Коррекция балльно-рейтинговой системы на основе анализа практики ее функционирования // Проблемы современного педагогического образования. 2017. № 57-5. С. 342‒350.
- Черемнова Т. В. Балльно-рейтинговая система как эффективный способ оценивания знаний студентов (на примере дисциплины «химия») // Вестник Кемеровского государственного университета. Серия «Гуманитарные и общественные науки». 2017. № 4. С. 51‒55.
- Панина Е. Ю., Щербакова П. Б. Использование балльно-рейтинговой системы оценки качества обучения иностранному языку в старших классах // Проблемы романо-германской филологии, педагогики и методики преподавания иностранных языков. 2017. № 13. С. 216‒221.
- Иляшенко Л. К., Ваганова О. И., Прохорова М. П. Балльно-рейтинговая система оценки в учебном процессе вуза // Азимут научных исследований: педагогика и психология. 2019. Т. 8. № 1 (26). С. 141‒143.
- Ваганова В. Г. Организация балльно-рейтингового контроля при обучении физике в техническом вузе // Современные проблемы науки и образования. 2019. № 6. С. 47.
- Шиленин Д. А. Балльно-рейтинговая система контроля и оценивания знаний курсантов: вопросы внедрения и перспективы развития // Вестник Санкт-Петербургского военного института войск национальной гвардии. 2022. № 3 (20). С. 82‒85.
