Гвоздева, М. С. Оксюмороны и метафоры оценивания образовательных результатов в современной России // Непрерывное образование: XXI век. – 2014. – Вып. 4 (8). − DOI: 10.15393/j5.art.2014.2650

Выпуск № 4 (8)

Современный научный лексикон непрерывного образования

pdf-версия статьи

УДК 37.011

Оксюмороны и метафоры оценивания образовательных результатов в современной России

Oxymoron and metaphorical nature of modern assessment procedures in Russia

Проблема фиксации образовательных результатов в контексте непрерывного образования давно стоит на повестке дня. Образование определяется как процесс поддержки развития в цикле человеческой жизни от рождения до смерти. В таком понимании формальные институты образования занимают не более одной трети в начале жизни человека и включают в себя школу и вуз (с небольшими вариациями). Как раз в этой сфере все, что связано с контролем результата, создает впечатление бесперебойно работающего механизма: есть образовательные институции, присутствует персонал, наделенный полномочиями фиксировать образовательный результат, применяются выверенные временем процедуры, за которыми следуют административные решения. Система педагогического контроля отлажена и понятна. Но в контексте дискуссии о качестве современного образования возникает необходимость проводить мониторинг (А. С. Белкин, В. М. Гончаренко, В. Д. Жаворонков, В. А. Кальней, Д. Ш. Матрос, А. И. Севрук, С. Е. Шишов) и педагогическую диагностику (Б. П. Битинас, К. Ингекамп, Л. П. Катаева). Требование объективности заставляет развивать педагогические измерения (В. И. Звонников, Г. С. Ковалева, М. М. Поташник, А. И. Субетто, М. Б. Челышкова) и дидактическую тестологию как сервисную педагогическую науку (А. Анастази, Т. М. Балыхина, В. П. Беспалько, А. Н. Майоров, Е. А. Михайлычев, С. А. Сафонцев). Функция простого учета образовательных результатов уже не удовлетворяет всех стейкхолдеров¹ образовательного процесса, особенно она теряет смысл за пределами формального образования, в котором может и не быть жестких процедур и ответственных за их проведение лиц. Как подчеркивают социологи Д. Л. Константиновский, В. С. Вахштайн и Д. Ю. Куракин, в модели непрерывного образования как «образования на протяжении всей жизни» необходимо различить институционализированные и неинституционализированные формы непрерывного образования; формальную и неформальную образовательную деятельность и стандартизированные и нестандартизированные образовательные программы [1]. Возникает проблема фиксации образовательного результата и индивидуальных достижений в разных форматах. В условиях системного формального образования педагогический контроль имеет право на существование как особая дидактическая система учета при ведущей роли педагога. В традиционном подходе контроль логически следует за процессом обучения и устанавливает, что и в каком объеме было усвоено обучающимся. На представленном ниже рисунке в стиле китайской стратагемы представлена схема педагогического контроля, в которой главную позицию занимает учитель, директивно контролирующий позицию ученика.

 

 

 

Рис. 1. Педагогический контроль

 

Однако в условиях неформального или информального образования на протяжении всего цикла человеческой жизни, когда учащийся становится субъектом своей учебной и оценочной деятельности, вряд ли оправданно прибегать исключительно к процедуре контроля. Как измерить в количественных, нормативно предписанных показателях личностный образовательный результат, особенно если обучающийся выходит из статичных институций и возвращается в образовательную среду, время от времени проходя тренинговые программы, краткосрочные курсы, обучающие семинары или работая с открытым учебным контентом? Контроль как понятие из знаниевой парадигмы не может выступать всеобъемлющей системой для понятия из парадигмы личностно-ориентированного образования. Ему требуется оперативная и адекватная замена. В девяностые годы прошлого века открылась возможность взаимопроникновения и обмена идеями с представителями западной теории образования, началась апробация новых образовательных практик. Сегодня образование в значительной мере представляется как сфера услуг, формируется новая образовательная доктрина. На фоне активного поиска национальной образовательной идентичности, с одной стороны, и процессов глобализации – с другой, в качестве альтернативы контролю выступает оценивание (assessment).

Необходимо сразу оговориться, что в англоязычных источниках контроль, скорее всего, соответствует англоязычному термину «grading», а оценивание представлено двумя терминами: «evaluation» и «assessment». Но «evaluation» относится к оценке качества программы, проекта, продукта, профессиональной деятельности (project evaluation, program evaluation, product evaluation, teacher evaluation), а оценивание обучающихся и их образовательных результатов традиционно называется «assessment». Оценивание создает внешние по отношению к ученику условия и запускает процесс становления «самости» (В. А. Сластенин). Схема на рис. 2 отображает равные в оценивании субъектные позиции педагога и ученика, который, получив от педагога обратную связь, становится в рефлексивную позицию и в будущем продвигается по вектору индивидуального развития. В случае информативной обратной связи ученик в рефлексивной позиции актуализирует свой природный потенциал и осваивает многообразие культурных форм как средств реализации «самости». Возникает предпосылка для развития образования как нахождения аутентичности.

 

 

 

Рис. 2. Оценивание (обратная связь)

 

Основанные на разных философиях образования, отражающие разные парадигмы и зафиксированные в разных образовательных стандартах, оценивание и педагогический контроль существуют параллельно в нашей образовательной практике, заимствуют инструментарий и обоснования из разных концептуальных подходов, тем самым нарушая логику предъявления результата и его интерпретации, внося сумятицу в повседневную педагогическую практику. Нередко наблюдается некий перекос, своего рода профессиональный оксюморон, например, контроль субъекта образования, количественный показатель личностного новообразования, учет индивидуальных достижений. Термин «оксюморон» (греч. – острая глупость) заимствован нами из стилистики и означает нарочитое сочетание противоречивых понятий, сочетание несочетаемого [2]. Оксюморон – прием, когда одно понятие определяется через свою невозможность. В результате оба понятия отчасти теряют смысл, и образуется новое значение. Особенность оксюморона в том, что «он всегда провоцирует смыслопорождение: читатель, столкнувшись с вопиюще невозможной фразой, начнет «достраивать» смыслы» [3].

Главное, чтобы участники образовательного процесса не слишком расходились в своем смыслотворчестве. Для выработки понимания разных по своей природе процессов на единой смысловой основе представим различия между контролем и оцениванием в виде таблицы:

 

Педагогический контроль и оценивание

 

 

Б. Вортен и Д. Сандерс выделяют исследовательскую природу оценивания, когда выступающий в экспертной позиции субъект оценивания сначала определяет стандарты для оценки качества (относительные и абсолютные), собирает необходимую информацию, применяет стандарты для определения качества и выносит экспертное суждение [4]. Стандарт – это степень или уровень требований, уровень совершенства или уровень достижений. Стандартизация предполагает разработку унифицированного инструментария, определение процедуры сбора данных, их интерпретации и применения в сфере  управления и формирования образовательной политики (Б. П. Битинас, Л. И. Катаева, А. И. Севрук). Школьный общеобразовательный стандарт в отечественном образовании традиционно определялся как стандарт-минимум (Е. А. Ленская). Соответственно, он жестко предписывал все ожидаемые результаты образования в измеряемых показателях. Контроль позволял осуществлять измерения, «надзор, проверку и выявлять отклонения от заданной цели и их причины» (А. Ю. Коджаспиров) [5], отражая на самом деле не реальный потенциал каждого обучающегося, а лишь необходимую нижнюю планку. В настоящий момент старшие классы доучиваются по ГОС 2004 г., но экзамены сдают в формате стандартизированного теста. С первого по шестой класс включительно ребята обучаются по ФГОС начального и основного образования второго поколения с ориентацией на интегрированные образовательные результаты.

Стандартизированный тест в определенной степени нивелирует ведущую роль учителя, обладающего в традиционной системе неограниченной властью устанавливать правила контроля и интерпретировать полученные данные. Компетентное решение принимает экспертное сообщество по заранее установленным критериям. Архитектурно ЕГЭ выстраивается на фундаменте таксономии Б. Блума, что еще больше разводит во времени и пространстве педагогический контроль, опирающийся на отечественные теории (Ю. К. Бабанский, Н. Ф. Талызина, П. Я. Гальперин), и оценивание в рамках педагогического измерения. Педагогические измерения, дидактическая тестология тем не менее исходят из тех же посылов, что и традиционный контроль: тестирование происходит в конце периода обучения, измерения носят количественный характер, подкреплены психометрическими характеристиками, но излишне упрощают процесс подготовки. Вопросы надежности и валидности таких измерений нередко вызывают серьезные сомнения.

В вузах студенты завершают обучение по программам подготовки специалистов (ГОС второго поколения), по окончании которых они должны будут продемонстрировать готовность решать типовые задачи, для чего разработаны соответствующие контрольно-измерительные материалы. В то же самое время уже состоялись первые выпуски бакалавров по ФГОС третьего поколения, для которых вузы составляют банк оценочных средств, и планируется введение стандартизированного квалификационного бакалаврского экзамена. Введение стандартизированного теста как очевидного инструмента из репертуара оценивания, пересмотр программных документов и зафиксированных в них ожидаемых результатов требуют четкого разделения сфер влияния и формирования словаря практикующего преподавателя для осознанного планирования, реализации и оценки собственной педагогической деятельности.

Существует ли объективная связь между тем, что проверяет тест или другое средство оценивания, и тем, что обучающемуся придется реально выполнять на следующем этапе обучения или в профессиональной деятельности? В западной теории образования в настоящий момент развивается компетентностно ориентированное, или аутентичное, оценивание (П. Найт) [6]. Валидность (validity) образовательных результатов становится главенствующим принципом наряду с надежностью (reliability), практичностью (practicality) и влиянием (impact). Происходит постепенный сдвиг от нормативно ориентированного в сторону критериально ориентированного оценивания, и далее – к холистическому оцениванию. Оценивание устраняет сравнивание учащихся друг с другом, а, скорее, определяет уровень сформированности образовательного результата в соответствии с определенным стандартом.

Существует, как минимум, три вида образовательных стандартов: нормативный, критериальный и индивидуальный. Нормативный позволяет сравнивать результаты обучающегося с результатами других в его возрастной когорте, критериальный помогает принять решение об участии кандидата в образовательной (и не только) программе, проекте или о его дальнейшей занятости, а индивидуальный обеспечивает сравнение человека с ним самим вчерашним и оценку продвижения по индивидуальной образовательной траектории. В контексте непрерывного образования в разные периоды развития человека применяются разные образовательные стандарты. В рамках формального (систематического) образования доминирующим остается нормативный стандарт, в неформальном, скорее всего, лидирующие позиции переходят к критериальному стандарту, а индивидуальный стандарт сопровождает человека в течение всей жизни, по мере становления автономности обучающегося определяя множественные жизненные выборы.

Ключевое значение приобретает язык, на котором мы описывает оценочные процедуры и средства и интерпретируем полученные результаты. Немаловажно, как сами обучающиеся воспринимают эти же результаты и какие действия предпринимают впоследствии. Р. Ротри еще в 1989 г. предупреждал об опасности «окончательного приговора» (final vocabulary) [7], того набора обтекаемых профессиональных суждений, которые мы сообщаем обучающемуся для пояснения его результата, зачастую не представляя реального совета, какие изменения внести в стратегию, поведение и образовательную траекторию. Необходимо добиться максимальной адекватности и прозрачности применяемых терминов и понятий. Оценивание сравнительно недавно вошло в нормативные документы, в стратегию развития образования – 2020, в федеральные государственные образовательные стандарты всех уровней. Впервые на теоретическом уровне этот термин вводит в научный оборот в 1991 г. М. А. Туулик в своей докторской диссертации «Оценивание как социально-воспитательное явление» [8]. Исследователь рассматривает оценивание как сложное междисциплинарное явление на стыке философии, социологии, психологии и педагогики, как элемент внутренней и внешней систем регуляции. В работе предлагается разрешение противоречия между функцией учета и воспитательной функцией оценивания и серьезно изучается функция ценностификации.

Сегодня имеются словари по дидактической тестологии (Т. М. Балыхина) [9], проводятся исследования ведущих принципов оценивания: валидность, надежность, практичность, влияние. Однако практически не уделяется внимание такой важной характеристике оценивания, как «обратное влияние» (washback / backwash), да и словари не дают толкования этого явления. Мы используем понятие «обратное влияние» в значении, впервые предложенном в 2005 г. в кандидатской диссертации О. В. Поздняковой «Методика подготовки учащихся к тестовым испытаниям с учетом эффекта обратного влияния» [10]. В интервью автор исследования подтвердила, что она не встречала данный термин в русскоязычных источниках и перевела англоязычный термин backwash / washback. Позже мы нашли упоминание этого же термина в переводе пособия по подготовке авиационных диспетчеров ИКАО и в анализе международного экзамена на уровень владения английским языком IЕLTS.

Еще раз термин прозвучал на 43-й международной филологической конференции в Санкт-Петербурге в марте 2014 г., в сообщении на тему «Проблема обратного влияния тестирования “washback” в контексте социальных последствий». В тезисах конференции сказано, что рассматривается проблема обратного влияния тестирования, получившая в английском языке название washback. В данном утверждении нарушены причинно-следственные связи, поскольку термин исходно заимствован из английского языка и пока не получил внятного адекватного или эквивалентного наименования в отечественной педагогике. Вместе с тем исследовательская метафора backwash / washback представляется одной из наиболее привлекательных и загадочных метафор в теории оценивания. Прежде всего потому, что исследователи данного явления в западной теории не пришли к единству относительно того, какой вариант использовать. В западной литературе по прикладной лингвистике и по теории образования backwash и washback рассматриваются как взаимозаменяемые понятия. Д. Алдерсон и Д. Уолл, Л. Бахман, Э. Грин и другие исследователи используют washback [11] , но А. Хью настаивает на употреблении backwash, так как такой термин есть в толковых словарях английского языка [12].

При обращении к словарю и переводу данного термина мы сначала получаем определения, в большей степени отражающие физическую мощь явления, его внезапный и непредсказуемый характер: вода, отбрасываемая колесами или винтом парохода; обратный поток; возмущенный поток (воздуха за самолетом); отголосок (негативные) последствия [13]. Причем в значениях превалирует технический аспект. В общем употреблении данный термин относится к непреднамеренным и негативным эффектам, и вплоть до 80-х гг. такое же значение негативного влияния оценивания сохранялось и в прикладной лингвистике. Однако с тех пор по ряду причин в литературе washback постепенно вытеснил backwash и определяется более широко как влияние теста на преподавание (Д. Ричардс, Д. Платт и Х. Платт, 1992; А. Дэйвиз и др., 1999) [14] и на обучение (А. Хью, 2003) [12]. «Словарь языкового тестирования» в качестве основного термина вводит washback и определяет его как «эффект, который тестирование оказывает на процесс преподавания и обучения» [15]. Отдельные исследователи уделяли внимание влиянию оценивания на педагогов и обучающихся (С. Мессик, Э. Шохами), на родителей (И. Пирсон), администраторов и авторов учебных пособий (А. Хью), на организацию учебного процесса (Л. Бахман) и на учебный план (С. Уигли ) [16, 17]. В то же время А. Хью и К. Бейли в первую очередь придают значение тому эффекту, который оценивание оказывает на образовательные результаты.

На наш взгляд, данный концепт теории оценивания совсем не случайно столь метафоричен и требует, скорее, эквивалентного перевода (обеспечивающего решения тех же информационно-коммуникационных задач, что и оригинальный термин), чем просто адекватного (точного и без искажений передающего содержание оригинала). Появившийся в литературе перевод backwash / washback как «обратное влияние» не передает метафоричности оригинального термина. Обращение к метафоре позволяет объять все нюансы этого образовательного явления, когда одни запущенные процедуры оценивания могут вызвать лишь «незаметную рябь», а другие возмущенными потоками смывают существующую образовательную практику или на время обнажают самое дно. Нам представляется, что именно значение «обратной волны», «промывки», «очистки» фокусирует смысл данного явления в глобальной практике оценивания. Причем возникает оно, как и его природные аналоги, лишь в результате воздействия внешних сил, а именно процедур и инструментов оценивания. Кстати, график проведения единого государственного экзамена до недавнего времени предполагал организацию экзамена волнами: основной (для выпускников текущего года) и дополнительной (для выпускников прошлых лет), но уже с 2015 г. планируется отказаться от второй волны. Если само испытание проходит волной, то вполне оправданно предположить, что его влияние на участников и других заинтересованных лиц является «обратной волной». Например, необходимость снизить федеральный минимальный порог ЕГЭ по русскому языку уже после выполнения экзамена всей возрастной когортой выпускников – это вынужденная обратная волна в ситуации ужесточения процедуры проведения выпускного испытания. На рис. 3 схематично изображено влияние оценивания на основных участников, имеющее место после процедуры оценивания.

 

 

 

Рис. 3. Обратная волна оценивания (по результатам состоявшегося испытания)

 

В последнее время в западных исследованиях появляются эмпирические данные, подтверждающие влияние результатов тестирования в узком смысле и оценивания в широком смысле на всех заинтересованных участников образовательного процесса: обучающихся, педагогов, администраторов, родителей, разработчиков образовательных стандартов и стандартизированных тестов, приемные комиссии вузов и общество в целом. Э. Шохами утверждает, что «обратное влияние» не что иное, как демонстрация власти над образовательными организациями с целью контроля за поведением учителей и учеников (2001) [18]. Б. Спольски относит к обратному влиянию только непредвиденные и вредные эффекты, а Ф. Шен использует данный термин исключительно для описания намеренных изменений в учебных планах, вызванных инновациями в тестировании и оценивании. Чаще обратное влияние рассматривается как нейтральный термин (Д. Алдерсон и Д. Уолл), который может иметь как запланированный положительный благоприятный эффект (Л. Бахман и А. Палмер, А. Хью), так и непреднамеренный вредоносный или негативный эффект (Л. Бахман и А. Палмер, А. Хью).

Проблемное поле оценивания содержит ряд дефиниций, которые иногда представляются рядоположенными с обратным влиянием: влияние теста (test impact), воздействие теста (test influence), натаскивание на тест (teaching to the test), системная валидность (systemic validity). Чтобы сфокусировать значение обратного влияния, Л. Бахман и А. Палмер (1996), Т. МакНамара (2000) считают влияние объемлющей системой для обратного влияния. Влияние происходит на макроуровне, или на уровне социума или институции, а обратное влияние случается только на микроуровне индивидуального участника образовательного процесса (в первую очередь, на уровне отдельного преподавателя или обучающегося). К. Бейли (1999) конкретизирует такое представление и разводит обратное влияние на ученика и обратное влияние на образовательную программу (включая педагогов, администраторов и разработчиков учебных и методических материалов) [19].

 

 

 

Рис. 4. Обратная волна оценивания (подготовка к испытанию)

 

Данный эффект, или обратная волна тестирования, может быть как негативным, так и позитивным. К негативным последствиям тестирования, например, можно отнести соблазн натаскивания на тест или определенный саботаж новой формы оценивания со стороны педагогического корпуса, так как новые оценочные процедуры требуют серьезного пересмотра наработанной годами педагогической практики. В первые годы работы ЕГЭ в штатном режиме наблюдались случаи, когда учителя отговаривали обучающихся выбирать тот или иной предмет на ЕГЭ. Причин было много: не знали, как готовить к экзамену, не умели совмещать массовое преподавание обязательной программы по предмету и единичную подготовку к экзамену по выбору или просто не хотели портить показатели успешности образовательной организации. Примером положительного эффекта может служить более пристальное внимание с2008 г. к развитию умений письма на иностранном языке после того, как данные задания стали частью ЕГЭ по иностранным языкам. Но уже через три года мы наблюдаем негативный эффект по этому же самому параметру, когда ученики не демонстрируют развитые умения письма, а предъявляют домашние заготовки по шаблону. Например, заключительная фраза в письме у школьников одного из районов Карелии уже на протяжении пяти лет одна и та же: «Извини, должен помочь маме вымыть посуду». Ничего криминального в этом нет, просто тест перестает быть валидным, т. к. проверяется не то, на что направлен изначально: вместо умения писать личное письмо фиксирует универсальное учебное действие по шаблону/инструкции. Особое значение обратная волна приобретает в контексте непрерывного образования и выстраивания индивидуальной образовательной траектории, т. к. именно ее воздействие на микроуровне отдельного обучающегося порождает изменения в дальнейшем планировании ожидаемых образовательных результатов.       

Итак, формирование единого, адекватного и понятного всем участникам непрерывного образовательного процесса словаря оценивания становится актуальной теоретической и практической проблемой. Мы приглашаем к дискуссии всех заинтересованных лиц. Профессиональному сообществу имеет смысл, прежде всего, обосновать и принять допустимый русский вариант англоязычного термина backwash / washback, а затем приступить к исследованию данного педагогического явления в контексте непрерывного образования в современной России.

 

Список литературы

1. Константиновский Д. Л., Вахштайн В. С., Куракин Д. Ю. Реальность образования и исследовательские реальности, Государственный университет – Высшая школа экономики. М.: Изд. дом. Государственный университет – Высшей школы экономики, 2010. 320 с.
2. Литературная энциклопедия URL: http://feb-web.ru/feb/litenc/encyclop/le8/le8-2701.htm
3. Николаев А. И. Синтаксис художественной речи // Николаев А. И. Основы литературоведения: учебное пособие для студентов филологических специальностей. Иваново: ЛИСТОС, 2011. С. 140–147.
4. Worthen Blaine R., Sanders James R., Fitzpatrick Jody L. Program evaluation: Alternative Approaches and Practical Guidelines. New York: Addison Wesley Longman, 1997.
5. Коджаспирова Г. М., Коджаспиров А. Ю. Педагогический словарь. URL: http://didacts.ru/dictionary/1024/symbol/202/page/3 контроль.
6. Knight P. Assessment for Learning in Higher Education. London: Routledge, 1995.
7. Rotry R. Contingency, Irony and Solidarity. Cambridge: Cambridge Unviersity Press, 1989.
8. Туулик М. А. Оценивание как социально-воспитательное явление: Дис. … д-ра пед. наук. Таллинн, 1991. (Т. 1). 139 с.
9. Балыхина Т. М. Словарь терминов и понятий тестологии. М.: Изд-во РУДН, 2000.
10. Позднякова О. В. Методика подготовки учащихся к тестовым испытаниям с учетом эффекта обратного влияния: Автореф. дис. … канд. пед. наук. Тамбов, 2005.
11. Wall D. and Alderson J. C. Examining washback: the Sri Lankan impact study // Language Testing 10 (1), 1993. P. 41–69.
12. Hughes A. Testing for Language Teachers. Cambridge: Cambridge University Press, 2003.
13. Словарь ABBYY Lingvo. URL: http://www.lingvo-online.ru/ru/Translate/en-ru/backwash
14. Richards J. C., Platt J. and Platt H. Dictionary of Language Teaching and Applied Linguistics, Harlow: Longman, 1992.
15. Alan D., Brown A., Elder C., Hill K., Lumley T. and McNamara T. Dictionary of language testing, Cambridge: Cambridge University Press and UCLES, 2002.
16. Messick S. Validity and Washback in language testing // Language Testing 13 (3). 1996. P. 241–256.
17. Bachman L. F. and Palmer A. S. Language Testing in Practice, Oxford: Oxford University Press, 1996.
18. Shohamy E. The Power of Tests: A critical perspective of the uses of language tests, Harlow: Longman, 2001.
19. Bailey K. M. Washback in Language Testing. Princeton, New Jersey: Educational Testing Service, 1999.

1. Константиновский Д. Л., Вахштайн В. С., Куракин Д. Ю. Реальность образования и исследовательские реальности, Государственный университет – Высшая школа экономики. М.: Изд. дом. Государственный университет – Высшей школы экономики, 2010. 320 с.

2. Литературная энциклопедия URL: http://feb-web.ru/feb/litenc/encyclop/le8/le8-2701.htm

3. Николаев А. И. Синтаксис художественной речи // Николаев А. И. Основы литературоведения: учебное пособие для студентов филологических специальностей. Иваново: ЛИСТОС, 2011. С. 140–147.

4. Worthen Blaine R., Sanders James R., Fitzpatrick Jody L. Program evaluation: Alternative Approaches and Practical Guidelines. New York: Addison Wesley Longman, 1997.

5. Коджаспирова Г. М., Коджаспиров А. Ю. Педагогический словарь. URL: http://didacts.ru/dictionary/1024/symbol/202/page/3 контроль.

6. Knight P. Assessment for Learning in Higher Education. London: Routledge, 1995.

7. Rotry R. Contingency, Irony and Solidarity. Cambridge: Cambridge Unviersity Press, 1989.

8. Туулик М. А. Оценивание как социально-воспитательное явление: Дис. … д-ра пед. наук. Таллинн, 1991. (Т. 1). 139 с.

9. Балыхина Т. М. Словарь терминов и понятий тестологии. М.: Изд-во РУДН, 2000.

10. Позднякова О. В. Методика подготовки учащихся к тестовым испытаниям с учетом эффекта обратного влияния: Автореф. дис. … канд. пед. наук. Тамбов, 2005.

11. Wall D. and Alderson J. C. Examining washback: the Sri Lankan impact study // Language Testing 10 (1), 1993. P. 41–69.

12. Hughes A. Testing for Language Teachers. Cambridge: Cambridge University Press, 2003.

13. Словарь ABBYY Lingvo. URL: http://www.lingvo-online.ru/ru/Translate/en-ru/backwash

14. Richards J. C., Platt J. and Platt H. Dictionary of Language Teaching and Applied Linguistics, Harlow: Longman, 1992.

15. Alan D., Brown A., Elder C., Hill K., Lumley T. and McNamara T. Dictionary of language testing, Cambridge: Cambridge University Press and UCLES, 2002.

16. Messick S. Validity and Washback in language testing // Language Testing 13 (3). 1996. P. 241–256.

17. Bachman L. F. and Palmer A. S. Language Testing in Practice, Oxford: Oxford University Press, 1996.

18. Shohamy E. The Power of Tests: A critical perspective of the uses of language tests, Harlow: Longman, 2001.

19. Bailey K. M. Washback in Language Testing. Princeton, New Jersey: Educational Testing Service, 1999.

[1] Стейкхолдеры – физические лица, группа лиц или организации, которые могут влиять на систему или на которых может повлиять система.