Введение. В рамках перечня поручений президента РФ, направленных на повышение качества высшего образования в России, в 2015−2017 гг. Федеральная служба по надзору в сфере образования и науки провела эксперимент по независимому оцениванию знаний обучающихся [9]. Процедура проведения этого эксперимента была максимально приближена к естественным условиям экзаменационной сессии и предполагала сдачу экзаменов/зачетов в форме собеседования и письменных ответов. Объективность апробации обеспечивалась привлечением независимых экспертов – знания учащихся проверяли преподаватели, которые не проводили занятия у опрашиваемых студентов. В качестве сторонних экспертов привлекались преподаватели других вузов, имеющие значительный опыт работы по выбранным дисциплинам. В эксперименте приняли участие около 7 тысяч студентов из 115 вузов страны [9].
Осуществление независимой оценки в рамках проведения промежуточной аттестации показало, что в России есть вузы, дающие качественное образование и готовые к независимому аудиту знаний своих студентов. Однако, по данным эксперимента, почти в трети всех экзаменов оценки экзаменаторов и независимых экспертов разошлись. Нередко баллы студентам завышались, а в ряде вузов уровень объективности оказался ниже 75 % [10].
Рособрнадзор заинтересован в дальнейшем развитии объективного оценивания, так как срезы знаний позволяют определить реальное качество подготовки обучающихся, выявить недочеты в рабочих программах, экзаменационных материалах и принять меры для корректировки ситуации. В связи с этим одной из важнейших задач является разработка фондов оценочных средств и процедуры оценивания уровня сформированности компетенций, ориентированных на достижение конечных целей подготовки выпускников вузов и обеспечение его эффективности.
Подготовка обучающихся и формирование у них требуемых образовательными стандартами компетенций требует использования в образовательном процессе различных форм контроля качества усвоения материала. Результат обучения определяется по сформированным компетенциям, проявляемым в виде приобретенных знаний и умений. Динамика формирования компетенций, мониторинг и корректировка процесса обучения могут осуществляться с использованием различных видов оценочных средств и систем контроля. Одним из средств, обеспечивающих возможность осуществления автоматизированного контроля и мониторинга, являются платформы электронного обучения.
Дидактические возможности платформы электронного обучения для проведения автоматизированной проверки усвоения курса физики. Для проведения текущего и промежуточного контроля знаний и умений по физике у студентов очной и заочной форм обучения инженерных направлений подготовки нами разработаны и активно используются в учебном процессе сетевые образовательные модули (СОМ), содержащие разнообразные методические материалы и фонды оценочных средств (ФОС) [4, 5]. Особая роль при этом отведена заключительному тестированию обучающихся, которое проводится как по завершении изучения отдельных разделов дисциплины, так и курса физики в целом.
Тестирование является одним из самых распространенных методов исследования уровня знаний, умений и способностей обучающихся [3, 7]. В настоящее время широкое применение получило автоматизированное тестирование, что соответствует общей концепции модернизации и компьютеризации системы образования [1, 8]. Многофункциональным средством для создания полноценной электронной базы тестовых заданий по физике, имеющим встроенный редактор формул, является, например, выбранная нашим университетом платформа электронного обучения Blackboard. В ней реализована возможность создания закрытых и открытых вопросов, в т. ч. с вычисленной формулой, запросов на соответствие, ранжирование и многих других.
Внедрение СОМ показало, что использование инструментов платформы Blackboard позволяет получать информацию о ходе и качестве усвоения учебного материала, а также стимулирует систематическую работу студентов, нацеливая их на успешную дальнейшую учебу [4, 5].
Структура и описание сетевого образовательного модуля «Фонд оценочных средств по физике». Для повышения объективности процедуры оценивания в соответствии с пожеланиями Рособрнадзора в части, касающейся проведения независимой экспертизы, требуется создать в рамках вуза единый электронный образовательный ресурс по физике [9]. При этом важно, чтобы этот ресурс соответствовал содержанию рабочих программ дисциплины «Физика» для обучающихся по конкретному направлению подготовки бакалавриата. Поскольку объем этой дисциплины и формируемые с ее помощью компетенции существенно отличаются для разных направлений подготовки, то этот ресурс должен быть универсальным, т. е. позволять формировать контрольные задания разной сложности, а также обеспечивать возможность проведения внешней экспертизы. Важно, чтобы объем базы заданий, используемых для тестирования, был достаточно большим, что позволило бы подбирать задания разного уровня сложности с учетом различных направлений обучения и снижения вероятности заимствования ответов студентами.
С целью реализации независимой экспертизы нами разработан сетевой образовательный модуль «Фонд оценочных средств по физике». Он предназначен для проведения процедуры оценивания степени усвоения учебного материала по курсу физики по завершении его изучения, осуществляемой с использованием технологий электронного обучения. При этом контроль может осуществлять преподаватель, который не работал с тестируемой группой. В этой связи разработанный СОМ также может использоваться для проверки остаточных знаний по физике независимым экспертом.
Структура СОМ «Фонд оценочных средств по физике» представлена на рисунке. В нее включены следующие основные элементы:
- общие сведения о сетевом образовательном модуле;
- контрольные задания;
- описание и порядок формирования контрольных заданий;
- мои оценки;
- средства коммуникации;
- средства курса (мои группы; тесты и пулы);
- инструменты для оценивания;
- центр оценок.
Информационный блок содержит сведения об электронном образовательном ресурсе, его авторах, рабочие программы дисциплины «физика» для разных направлений подготовки, порядок работы с ресурсом и методические материалы. В структурном элементе Объявления преподаватели (эксперты) публикуют информацию о процедуре выполнения контрольных заданий. Объявления могут быть как ограниченными по датам, так и бессрочными. При необходимости текст объявления может быть автоматически отправлен на электронную почту студентов. Методические материалы включают в себя ссылки на учебные пособия, примеры решения задач, справочные материалы (физические постоянные, таблицы физических величин, основные математические формулы и т. д.), список рекомендуемой литературы.
Блок работы с курсом включает в себя описание порядка и процедуры формирования отдельных задач (вопросов), контрольные задания и структурный элемент Мои оценки. Основным элементом этого блока являются Контрольные задания. Задания формируются преподавателями или экспертами. Методика подготовки этих заданий описана ниже. Элемент Мои оценки позволяет обучающемуся осуществлять самоконтроль за результатами выполнения контрольных заданий, сравнивать свои оценки со средними или медианными оценками других студентов.
Структура сетевого образовательного модуля
«Фонд оценочных средств по физике»
Блок коммуникаций служит для организации взаимодействия студент – преподаватель и студент – студент и включает в себя такие элементы, как форум Доска обсуждений и Почта Blackboard.
Блок управления курсом предназначен для администрирования СОМ и доступен только для преподавателя (эксперта). Используя инструмент Моя группа структурного элемента Средства курса, преподаватель может управлять доступом отдельных групп обучающихся к контрольным заданиям, что позволяет использовать образовательный ресурс для проведения контроля по разделам курса физики или по курсу в целом в объеме рабочей программы дисциплины. Инструмент Тесты и пулы предназначен для формирования контрольных заданий разного целевого назначения и типа. С помощью инструментов структурного элемента Оценивание можно создавать отчеты по работе с СОМ (вести статистику посещений, устанавливать время, проведенное студентами в СОМ, определять частоту использования тех или иных учебных материалов и др.). В Центре оценок сформированы таблицы, предназначенные для проведения экспертом анализа результатов выполнения различных контрольных заданий. В Хранилище файлов размещаются рисунки к задачам, файлы с методическими указаниями и т. д.
Методика подготовки комплектов заданий для независимого оценивания уровня освоения учебного материала с помощью дистанционных образовательных технологий. Обязательным условием для поведения независимого оценивания с помощью платформы электронного обучения является создание базы данных, сформированной из отдельных задач (вопросов), предназначенных для разной целевой аудитории. При составлении заданий было необходимо разработать и в дальнейшем применять при проектировании СОМ классификацию, которая, с одной стороны, позволила бы учесть мнение преподавателя, ведущего дисциплину «Физика» у студентов определенного направления подготовки, а с другой – мнение внутренних и внешних экспертов.
Для оценки результатов освоения рабочей программы дисциплины мы применяем тестовые задания закрытого и открытого типов, различающиеся по способу предоставления ответа. Задания закрытого типа с одним или несколькими правильными ответами предназначены для проверки знаний обучающегося на репродуктивном уровне, на котором проверяется усвоение терминологии, основных законов, численных данных, опытных фактов и т. п.
Вопросы открытого типа относятся к заданиям более высокого уровня сложности: конструктивного и творческого. Они не содержат готовых вариантов ответа, а обучающийся должен получить ответ самостоятельно. Вопросы открытого типа применяются для проверки усвоения физических законов и теорий, умения применять их в конкретных ситуациях, обнаруживать причинно-следственные связи. Примерами таких заданий являются вопросы, представленные в форме эссе; задач, числовые данные которых формируются случайным образом; творческих заданий, требующих развернутого ответа, оцениваемого по заранее сформулированным критериям, и т. д.
Мы предлагаем следующий порядок формирования контрольных заданий. На первом этапе создается комплект пулов (наборов отдельных вопросов). Названия включенных в СОМ пулов в зависимости от направления подготовки и института, на базе которого она осуществляется, соответствуют названиям разделов курса физики (механика, молекулярная физика, электричество и магнетизм и т. д.) или названиям учебной дисциплины (физика, медицинская физика, концепции современного естествознания и т. п.).
Классификация отдельных заданий пула формируется по следующим признакам:
- Заголовок вопроса. Заголовок соответствует названию дидактической единицы раздела дисциплины, предложенной при проведении проверки остаточных знаний по физике [2]. Например, для раздела «Механика» это: кинематика; динамика поступательного движения; динамика вращательного движения; работа и энергия; законы сохранения; колебания; волны; элементы специальной теории относительности. Заголовок сопровождается порядковым номером задания (например, кинематика_01). В случае однотипной серии вопросов, созданных на основе одного условия, в заголовок целесообразно включить еще один индекс, обозначающий номер вопроса данной серии (например, кинематика_01_1).
- Тип вопроса. Платформа Blackboard содержит более 20 различных типов вопросов. В рассматриваемом СОМ мы наиболее часто используем вопросы с вычисленной формулой, запрос вычисленного числового ответа, запрос выбора варианта ответа, запрос многократного ввода пропущенного текста, запрос нескольких ответов, запрос ранжирования, соответствие.
- Категория. Обозначения категорий вопросов связаны с направлением подготовки обучающихся и трудозатратами на освоение учебной дисциплины. Для одного вопроса можно указать несколько категорий. Вопросы для конкретной категории формируют преподаватели, непосредственно работающие с соответствующими группами студентов, часть вопросов заимствована из базы данных для централизованного тестирования [2], остальные вопросы составляются внутренними экспертами.
- Тема. Название темы вопроса соответствует названию дидактической единицы.
- Уровень сложности. В этом признаке классификации используется уровень сложности задания (например, а – простой, б – средней сложности; в – сложный), но дополнительно можно использовать обозначения, связанные с назначением задачи (например, т – вопрос для теста, р – расчетная задача, з – творческое задание).
- Ключевые слова. Предназначены для выбора вопросов по конкретной теме.
На втором этапе работы с фондом оценочных средств создаются контрольные задания для разных категорий обучающихся. Эти задания формируются из вопросов, содержащихся в пулах. Выбор вопросов из пула происходит следующим образом. Примерно треть вопросов выбирается из категории, составленной преподавателем, ведущим дисциплину «физика» у тестируемых студентов; другая треть вопросов – из категорий, сформированных коллегами по кафедре (институту), а оставшаяся часть – из категории, сформированной из вопросов экспертного сообщества. Эксперт по своему усмотрению может добавить в контрольное задание ряд вопросов, которые обязательно попадут в вариант выполняемого обучающимися задания. При этом остальные вопросы в каждом варианте будут формироваться случайным образом.
Оценивание в ходе проверки остаточных знаний могут проводить представители учебно-методического управления вуза или эксперт. В зависимости от целей контроля обучающиеся могут видеть результаты своих ответов на отдельные вопросы или на задание в целом. Процедура оценивания может проходить дистанционно. Результаты решения контрольных заданий в целом и ответы на отдельные вопросы можно анализировать с использованием инструментов платформы Blackboard [5].
Для проверки корректности предлагаемых заданий в платформе Blackboard предусмотрен инструмент «анализ элементов», с помощью которого формируется статистика общих результатов выполнения контрольного задания и ответов на его отдельные вопросы. С помощью этого инструмента можно выявить вопросы, которые могли искажать объективность выставляемой оценки, а также ответы, ошибочно указанные в качестве верных; вносить исправления в некорректно сформулированные вопросы; проводить учет сложности вопроса, необходимый для оценки результата выполнения задания в целом.
При интерпретации результатов необходимо учитывать, что на статистику влияют состав тестируемых и случайные ошибки. Итоговая статистика, предоставляемая инструментом «анализ элементов», включает следующие данные [5]:
- максимально возможное число баллов;
- общее число вопросов;
- количество студентов, выполняющих задание в данный момент;
- количество отправленных на проверку заданий;
- средний балл;
- стандартное отклонение полученных оценок;
- среднее время выполнения задания для всех отправленных попыток;
- дискриминацию, указывающую на то, насколько хорошо вопрос проводит разделение между студентами, хорошо и плохо знающими данную тему. Вопрос служит хорошим дискриминатором, когда студенты, правильно ответившие на вопрос, успешно справляются с контрольным заданием в целом. Значения вычисляются с использованием коэффициента корреляции Пирсона. Значение дискриминации менее 0,1 или отрицательное указывает на то, что данный вопрос, возможно, нуждается в пересмотре
- сложность вопроса, определяемая по доле студентов, которые ответили на него правильно.
Апробация сетевого образовательного модуля. Апробация созданного авторами статьи СОМ проходила в конце четвертого семестра для студентов, обучающихся по направлениям подготовки «Эксплуатация транспортно-технологических машин и комплексов» и «Технологические машины и оборудование». Проверка остаточных знаний проводилась по дисциплине «физика», которую студенты закончили изучать в предыдущем семестре. Тестирование, которое было организовано в компьютерном классе, проводили сотрудники учебно-методического управления ПетрГУ [6]. Преподаватели, занимавшиеся со студентами, во время проверки не присутствовали в аудитории.
Контрольные задания были сформированы из базы вопросов СОМ «Фонд оценочных средств по физике». Задания были индивидуальными для каждого тестируемого и выбирались случайным образом из электронной базы. Уровень сложности вопросов соответствовал требованиям рабочих программ по физике для обучающихся по инженерным направлениям подготовки бакалавриата Института лесных, горных и строительных наук ПетрГУ. Тест содержал 20 вопросов по всем разделам курса (механика – 6 вопросов; молекулярная физика и термодинамика – 4 вопроса; электричество и магнетизм – 6 вопросов; оптика, квантовая и ядерная физика – 4 вопроса) и был рассчитан на 45 минут.
В тестировании приняло участие 25 студентов. Обучающиеся продемонстрировали достаточно высокий уровень знаний. Все студенты прошли пороговый уровень в 60 % [6].
Заключение. С целью реализации концепции независимого оценивания авторами разработан сетевой образовательный модуль «Фонд оценочных средств по физике», содержащий базу заданий для проверки уровня освоения физики обучающихся на инженерных направлениях подготовки бакалавриата ПетрГУ.
Этот электронный образовательный ресурс прошел апробацию для бакалавров Института лесных, горных и строительных наук. В ходе апробации была протестирована методика и опробована процедура проведения независимого оценивания уровня усвоения физики, организованная с использованием технологий электронного обучения.
Анализ показал, что разработанный сетевой образовательный модуль целесообразно дополнить тренажером, предназначенным для подготовки обучающихся к проверке остаточных знаний по физике. Желательно также более полно использовать возможность проведения гибкой настройки базы заданий фонда оценочных средств. Для этого, например, можно приглашать к совместной работе экспертов из других вузов и осуществлять корректировку заданий по результатам мониторинга.
В целом разработанная методика оценивания уровня усвоения предметного содержания на этапе промежуточной аттестации или проверки остаточных знаний может быть рекомендована к внедрению для других дисциплин учебных планов бакалавриата и магистратуры ПетрГУ.
Список литературы
- Бухман, Л. М. О некоторых недостатках централизованного интернет-тестирования / Л. М. Бухман, Н. С. Бухман // Высшее образование в России. – 2013. − № 8, 9. – С. 95−101.
- Единый портал интернет тестирования в сфере образования: Оценка и мониторинг образовательных достижений студентов [Электронный ресурс]. – Электрон. дан. URL: http://www.i-exam.ru/. − (дата обращения 07.09.2018).
- Митюков, Н. В. Обеспечение качества тестирования по физике в рамках государственной акредитации вуза / Е. Л. Бусыгина, Н. В. Митюков // Международный журнал экспериментального образования – 2012. № 7. – С. 13−15.
- Мошкина, Е. В. Практика дистанционного обучения физике студентов заочного отделения [Электронный ресурс] / Е. В. Мошкина, Д. В. Елаховский, А. И. Назаров // Непрерывное образование: XXI век. − 2016. − Вып. 4 (16). – Электрон. дан. − URL: https://lll21.petrsu.ru/journal/article.php?id=3345. − (дата обращения 07.09.2018).
- Назаров, А. И. Опыт использования платформы электронного обучения Blackboard в бакалавриате / А. И. Назаров, О. В. Сергеева // Открытое образование. − № 5. − 2014. – С. 59−67.
- Независимая оценка знаний студентов [Электронный ресурс]. – Электрон. дан. – URL: https://petrsu.ru/news/2018/40646/nezavisimaya-otsenka. − (дата обращения 07.09.2018).
- Сакун, Г. В. Об итоговом тестировании в рамках ФЭПО по физике студентов Уральского федерального университета / Г. В. Сакун, А. Г. Андреева, Н. Б. Пушкарева, К. А. Шумихина // Знание. – 2016. − № 4−2 (33). − С. 22−26.
- Смык, А. Ф. Компьютерное тестирование как средство повышения качества образования по физике / А. Ф. Смык, Е. А. Гусева // Вестник Московского автомобильно-дорожного государственного технического университета (МАДИ). – 2015. − № 1 (40). − С. 3−8.
- Федеральная служба в сфере образования и науки: Новости [Электронный ресурс]. – Электрон. дан. − URL: http://obrnadzor.gov.ru/ru/press_center/news/index.php?id_4=5804. – (дата обращения 07.09.2018).
- Федеральная служба в сфере образования и науки: Новости [Электронный ресурс]. − Электрон. дан. – URL: http://obrnadzor.gov.ru/ru/press_center/news/index.php?id_4=6513&q_4. – (дата обращения 07.09.2018).
