Рекомендовано использовать систематизированные в ходе исследования классификационные признаки тестовых заданий в качестве основы формирования структуры и качества тестовых заданий, что обеспечивает многомерную оценку уровня освоения компетенции
компетенция, тестовое задание, многомерная оценка, структура, качество
В качестве инструментария для проведения оценочных процедур промежуточной аттестации по изучаемой дисциплине по программам высшего образования могут быть использованы тестовые задания. По мере перехода от ФГОС+ к ФГОС++ происходит совершенствование концептуального подхода к разработке оценочных материалов [1]. В частности, делается акцент на широкое использование заданий, содержащих деятельностный компонент на основе проецирования модельной ситуации, ориентированной на профессиональную деятельность и на необходимость расширения состава и структуры оценочных средств, в нашем случае – это состава и структуры тестовых заданий.
Вопросы разработки оценочных средств по ФГОС+ исследованы достаточно полно, процесс методического обеспечения разработки оценочных средств по ФГОС++ находится в стадии развития. Кроме того, каждое высшее учебное заведение имеет возможность этот процесс совершенствовать. В связи с этим уточнение методических основ и разработка практических рекомендаций по формированию оценочных средств – тестовых зданий – остается актуальным.
Все это определило актуальность исследования, его цели и задачи.
Цель исследования – исследовать основные тенденции формирования инструментария для проведения оценочных процедур промежуточной аттестации по изучаемой дисциплине по программам высшего образования.
Задачи исследования:
– систематизировать установленные требования к оценочным материалам – тестовым заданиям;
– систематизировать имеющиеся недостатки (недочеты) в формировании тестовых заданий, используемых в качестве оценочных средств;
– обобщить имеющиеся классификационные признаки систематизации тестовых заданий;
– обобщить, дополнить, адаптировать и апробировать имеющуюся практику формирования тестовых заданий к направлениям подготовки «Экономика» и «Менеджмент».
Объект исследования – тестовое задание, как один из элементов инструментария проведения оценочных процедур.
Предмет исследования – факторы, характеризующие формирование тестового задания в соответствии с рекомендациями Росаккредагентства и позволяющие обеспечить уникальность заданий в составе фонда оценочных средств (ФОС).
В нашем исследовании мы используем следующие понятия.
Под фондом оценочных средств образовательной организации понимается совокупность разработанных и утвержденных образовательной организацией оценочных средств, представляющих собой комплекс заданий различного типа с ключами правильных ответов, включая критерии оценки, и используемых при проведении оценочных процедур (текущего контроля, промежуточной аттестации, государственной итоговой аттестации) с целью оценивания достижения обучающимися результатов освоения образовательной программы и (или) результатов обучения по отдельным дисциплинам (модулям), практикам.
Тестовое задание (ТЗ) – это система стандартных заданий специфической формы, соответствующих требованиям однозначности, краткости и простоты, варьирующаяся по элементам содержания и по трудности единица контрольного материала, сформулированная в утвердительной форме предложения с неизвестным. Подстановка правильного ответа вместо неизвестного компонента превращает задание в истинное высказывание, подстановка неправильного ответа приводит к образованию ложного высказывания, что свидетельствует о незнании студентом данного учебного материала.
Компетенция – личностная (приобретенная) способность обучающегося успешно решать определенный круг задач (профессиональных, надпрофессиональных).
Систематизируем и обобщим установленные Росаккредагентством требования к оценочным материалам – тестовым заданиям.
В целом, тестовые задания должны быть ориентированы на проверку компетенций и содержать задания, имитирующие проблемы, относящиеся к определенной области, или иллюстрирующие модельную ситуацию, связанную с определенной сферой профессиональной деятельности.
Отсюда следует, что тестовые задания, разработанные образовательной организацией, должны отвечать следующим требованиям:
– соответствие целям и задачам образовательной программы, содержанию изучаемых дисциплин (модулей), научно-исследовательской работы, практик;
– соответствие тестовых заданий предмету оценки, направленной на определение уровня достижения планируемых результатов обучения и(или) освоения образовательной программы (ее части);
– обеспечение полного охвата тестовыми заданиями предметного поля проверяемой компетенции;
– обеспечение многомерной оценки уровня освоения компетенции через оптимальное сочетание типов и видов тестовых заданий и ориентацией на их качественное содержание, в первую очередь, на деятельностную составляющую компетенции (умение, владение: способен применять.., использовать.., определять.., осуществлять, решать задачи…);
– использование актуальных редакций понятий терминов, определений, соответствующих действующему законодательству в определенной сфере общественных отношений, отраслевым регламентам, ГОСТу(ам) и т.д.
Кратко систематизируем и обобщим выявленные Росаккредагентством недостатки (недочеты) в формировании тестовых заданий, используемых в качестве оценочных средств:
– нарушение преемственности образовательных программ;
– малочисленный состав репрезентативных оценочных средств (в нашем случае, это недостаточное сочетание типов и видов тестовых заданий);
– несогласованность с содержанием компетенции или индикатором проверяемой компетенции, что не соответствует цели оценочного мероприятия;
– возможность угадывания правильного ответа, что приводит к субъективному оцениванию результатов обучения и (или) освоения ООП;
– однотипность заданий, что не позволяет получить многомерную оценку уровня освоения компетенции;
– большое количество заданий воспроизводящего характера («Проверка памяти»);
– использование нерабочих дистракторов.
Полнота охвата тестовыми заданиями предметного поля проверяемой компетенции должна обеспечиваться уже на этапе формирования РПД дисциплины.
Тесты различаются качественным содержанием с позиции оцениваемых компетенций. Мы делаем акцент на преобладание количества заданий, отражающих деятельностную составляющую компетенции (умение, владение: способен применять.., использовать.., определять.., осуществлять, решать задачи…).
Качественное содержание тестов с позиции оцениваемых компетенций может быть:
1) на знание теоретических основ – применяются для проверки основополагающих знаний, на которых в дальнейшем будет базироваться работа аудитора. Тестами на знание проверяется точная информация, основные определения, принципы, формулы;
2) на понимание теоретических основ – применяются для проверки понимания основ, принципов или иных базовых знаний. Тесты на понимание могут содержать задание выбрать правильный пример (примеры) в подтверждение принципа или утверждения, обобщить или классифицировать информацию по определенному признаку; построить или интерпретировать взаимосвязь показателей и т.д.;
3) на применение базовых знаний – могут быть представлены в виде схематичного описания практической ситуации, требующей применения основополагающих знаний, например, расчета базовых финансовых показателей. Тесты на применение также могут представлять собой вопрос без описания практической ситуации, однако, требующий логических рассуждений и выводов для нахождения правильного ответа.
Рассмотрим подходы к оценке результатов освоения ОПОП ВО – компетенции (общекультурные/универсальные, общепрофессиональные, профессиональные) в соответствии с ФГОС с позиций их качественного содержания ТЗ, таблица 1.
Таблица 1
Сравнение подходов к оценке результатов освоения ОПОП ВО
|
ФГОС 3+ |
Связующие звенья (позиции) перехода |
ФГОС 3++ |
|
СПОСОБНОСТЬ к коммуникации..; к самоорганизации..; приобретать новые научные знания..; готовить статистические отчеты… |
Переход преимущественно к деятельностной составляющей компетенции |
СПОСОБЕН применять.., использовать.., определять.., осуществлять, решать задачи… |
|
ГОТОВНОСТЬ использовать фундаментальные знания… |
||
|
ВЛАДЕНИЕ базовыми знаниями в области… |
||
|
Модель «знать-уметь-владеть» |
Дополнение индикаторами достижения компетенций – деятельностный подход (дескрипторы) |
Индикаторы достижения компетенции/дескрипторы |
|
Знать: усвоить фактологический материал, относящийся к определенной предметной области |
Возможные формулировки в ТЗ деятельностной составляющей: понимать→ сопоставлять/сравнивать→ анализировать/синтезировать/осуществлять оценку |
Освоены базовые знания в определенной области… |
|
Уметь: освоить способ выполнения действия, обеспечиваемый совокупностью усвоенных знаний по заданному алгоритму, правилу, схеме и т.д. |
Решать типовые / стандартные задачи в типичной ситуации с нарастанием сложности выполняемых действий |
Использует НПА… / опирается на методики расчета, законы развития общества… при решении / выполнении задач |
|
Владеть: выполнять действия, доведенные до автоматизма |
Решать нестандартные задачи в нетипичной / экстремальной ситуации с изменениями условий внешней среды |
Демонстрирует способность… при решении задач профессиональной деятельности |
Проведем в таблице 2 сравнение подходов к формированию индикаторов компетенций по парадигме «ЗУВ» и деятельностного подхода. В качестве примера рассмотрим компетенцию УК-1. Способен осуществлять поиск, критический анализ, синтез информации, применять системный подход для решения поставленных задач.
Таблица 2
Сравнение подходов к формированию индикаторов компетенций по парадигме «ЗУВ» и
деятельностного подхода
|
Индикаторы компетенции (по парадигме «ЗУВ») |
Индикаторы компетенции (деятельностный подход) |
|
Знать методики поиска, сбора и обработки информации, в том числе с использованием информационных технологий |
Анализирует задачу, выделяет ее базовые составляющие, осуществляет декомпозицию задачи, находит и критически анализирует информацию, необходимую для решения поставленной задачи |
|
Знать актуальные российские и зарубежные источники информации для решения поставленных задач, принципы обобщения информации |
Находит и критически анализирует информацию, необходимую для решения поставленной задачи |
|
Знать методики системного подхода для решения поставленных задач |
Рассматривает возможные варианты решения задачи, оценивая их преимущества и недостатки |
|
Уметь применять методики поиска, сбора и обработки информации |
Определяет и оценивает последствия возможных решений задачи |
|
Уметь осуществлять критический анализ и синтез информации, полученной из разных источников |
|
|
Владеть навыками критического анализа и синтеза информации, в т.ч. с помощью цифровых технологий |
Для обеспечения многомерной оценки уровня освоения компетенции через оптимальное сочетание типов и видов тестовых заданий обобщим имеющиеся классификационные признаки систематизации тестовых заданий, отвечающие целям и задачам нашего исследования.
Рассмотрим типы и соответствующие им виды тестовых заданий, таблица 3.
Таблица 3
Типы и соответствующие им виды тестовых заданий и их характеристика
|
Типы ТЗ |
Виды ТЗ |
Характеристика ТЗ |
|
Закрытые – имеющие варианты ответа |
Альтернативных ответов (АО) |
Простой тест – содержит от 3 до 5 вариантов ответов, из которых только один вариант является правильным (разновидность – расчетный тест) |
|
Множественного выбора (ОВ, МО) |
Тест c вариативным количеством правильных ответов – содержит от 3 до 5 вариантов ответов, из которых правильной является комбинация из нескольких вариантов ответов (разновидность – расчетный тест) |
|
|
Составной тест содержит 3-4 вопроса-утверждения, относящихся к одной ситуации (тематической области), для каждого вопроса-утверждения даны несколько вариантов ответов: «верно»/ «не верно». |
||
|
Установления последовательности (УП) |
Тест-последовательность содержит от 3 до 5 вариантов ответов, которые необходимо расположить в правильной последовательности (порядок возрастания/убывания значимости, порядок действий и т.д.). |
|
|
Установления соответствия (УС) |
Тест на соответствие содержит от 3 до 5 позиций, которые должны быть сопоставлены с аналогичным количеством понятий (утверждений), при этом каждой позиции может соответствовать только одно понятие (утверждение). Для каждого высказывания необходимо определить, является ли оно верным или неверным. |
|
|
Открытые – предполагающие свободный ответ |
Дополнения (ДЗ) |
Ответы на вопросы даются самостоятельно, при этом есть ограничения. В заданиях-дополнениях заранее определяется, какой ответ считать однозначно правильным, и задается степень полноты его представления. Ответ должен быть кратким, не должен превышать 2-3 слов, чаще – одно слово, число, символ. |
|
Свободного изложения (СИ) |
Предполагают свободные ответы по сути задания. Самостоятельно записывается одно или несколько слов (цифр, букв, возможно словосочетаний, или предложений). Ограничения не накладываются. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа |
Основным преимуществом заданий открытого типа является невозможность угадать ответ, а основным недостатком является сложность формализации правильного ответа.
По нашему мнению, предпочтение нужно отдавать тестам закрытого типа. По возможности, практически в равной пропорции использовать все пять видов ТЗ, дополняя их такой разновидностью, как расчетный тест. При этом, также по возможности, в четырех из пяти тестов одного вида (исходим из того, что ТЗ содержат 20 вопросов) обеспечивая рекомендуемое качественное содержание – отражение деятельностной составляющей компетенции.
Различия между этими типами тестов можно увидеть на примерах формирования тестовых заданий по дисциплине «Финансовый менеджмент».
Пример теста на знание.
В тесте приводится характеристика (определение) одного из понятий финансового менеджмента, и варианты наименований, из которых необходимо выбрать один, соответствующий указанному определению.
Процесс приведения будущих денежных потоков к настоящему моменту времени, основанный на применении сложных процентов – это (выберите ОДИН правильный ответ):
1. Компаундирование.
2. Наращение.
3. Рефинансирование.
4. Дисконтирование.
5. Капитализация.
Правильный ответ №4
Пример теста на понимание.
В тесте приводятся виды активов, которые нужно оценить с точки зрения их ликвидности.
Выберите наименее ликвидный вид активов (выберите ОДИН правильный ответ):
1. Запасы готовой продукции.
2. Незавершенное строительство.
3. Запасы незавершенного производства.
4. Дебиторская задолженность покупателей.
5. Краткосрочные финансовые вложения.
Правильный ответ №2
Пример теста на применение.
В тесте приводятся числовые данные, на основе которых необходимо рассчитать заданный показатель, то есть применить свои знания формул расчета показателя в конкретной ситуации.
Прибыль от продаж организации составила 10 млн. руб.; выручка – 200 млн. руб.; среднегодовая стоимость активов – 100 млн. руб. Рассчитайте рентабельность продаж (выберите ОДИН правильный ответ):
1. 5%.
2. 10%.
3. 50%.
4. 25%.
5. 30%.
Правильный ответ №1.
Тесты по модулю «Финансовый менеджмент» в большей степени направлены на проверку понимания сущности управления финансами и процедур финансового анализа. Тесты на знание теоретических основ (базовых понятий и аналитических процедур), а также применение базовых знаний используются при проверке соответствующих компетенций, однако их объем в общем количестве тестов меньше, чем тестов на понимание.
Структурные различия по типам построения тестов.
По структуре тесты представляют собой вопросы с многовариантным ответом, то есть имеются альтернативы выбора. Однако правильным ответом будет являться только один, который может быть в зависимости от вида теста простым (один вариант, в том числе расчетное значение) или комбинированным (комбинация правильных ответов в виде простой совокупности либо правильно выбранной последовательности, либо правильно указанного соответствия).
В тестовом задании для промежуточного контроля по дисциплине «Финансовый менеджмент» могут быть представлены следующие виды тестов:
– простой тест;
– тест c вариативным количеством правильных ответов;
– составной тест;
– тест-последовательность;
– тест на соответствие;
– расчетный тест.
Разные виды тестов различаются формулировками вопросов (в тексте вопроса указывается, в каком виде требуется дать ответ), а также визуально.
1. Простой тест содержит от 3 до 5 вариантов ответов, из которых только один вариант является правильным.
Например,
Укажите инструмент прямого финансирования организации через финансовый рынок (выберите ОДИН правильный ответ):
1. Банковский кредит.
2. Нераспределенная прибыль.
3. Эмиссия облигаций.
4. Займы партнеров.
5. Финансовая помощь учредителей.
Правильный ответ №3.
В тексте вопроса акцентируется внимание на том, что необходимо выбрать именно ОДИН ПРАВИЛЬНЫЙ ОТВЕТ, т.е. речь идет о простом тесте.
2. Тест c вариативным количеством правильных ответов содержит от 3 до 5 вариантов ответов, из которых правильной является комбинация из нескольких вариантов ответов.
Например,
Укажите ДВА фактора, которые приведут к повышению коэффициентов ликвидности организации:
1. Сокращение кредиторской задолженности.
2. Увеличение краткосрочных финансовых вложений.
3. Уменьшение дебиторской задолженности.
4. Увеличение краткосрочных обязательств.
5. Увеличение краткосрочных заемных средств.
Правильный ответ: ответы №1 и №2.
В тексте вопроса акцентируется внимание на том, КАКОЕ КОЛИЧЕСТВО ПРАВИЛЬНЫХ ОТВЕТОВ нужно выбрать, т.е. речь идет о тесте с вариативным количеством правильных ответов.
Если студент выбрал НЕ ВСЕ ответы, которые относятся к правильному варианту ответа (например, выбрал ответ № 1 и ответ № 4, т.е. ответ НЕ является ПОЛНОСТЬЮ правильным), то он НЕ получает баллы за такие частично правильные ответы (тест считается невыполненным и за него студент получает 0 баллов).
3. Составной тест содержит 3-4 вопроса-утверждения, относящихся к одной ситуации (тематической области), для каждого вопроса-утверждения даны несколько вариантов ответов: «верно»/ «не верно».
Например,
Определите, верны или неверны приведенные высказывания в отношении коэффициентов оборачиваемости:
|
Показатели |
Варианты ответов |
|
|
верно |
не верно |
|
|
Увеличение выручки приводит к сокращению периода оборота активов |
|
|
|
Коэффициент оборачиваемости активов вырастет при увеличении стоимости активов |
|
|
|
Увеличение периода оборота активов связано с увеличением прибыли |
|
|
Правильный ответ:
Первое утверждение – верно;
Второе утверждение – не верно;
Третье утверждение – не верно.
Тест отличается от других видов тестов визуально, в тексте вопроса акцентируется внимание на том, что для каждого высказывания необходимо определить, является ли оно верным или неверным.
При решении теста данного вида необходимо учитывать, что НЕ могут являться верными или неверными ВСЕ утверждения одновременно.
Если студент выбрал НЕ ВСЕ ответы, которые относятся к правильному варианту ответа (например, отметил, что утверждения № 1 и 2 – верны, а утверждение № 3 – не верно, т.е. ответ НЕ является ПОЛНОСТЬЮ правильным), то он НЕ получает баллы за такие частично правильные ответы (тест считается невыполненным и за него студент получает 0 баллов).
4. Тест-последовательность содержит от 3 до 5 вариантов ответов, которые необходимо расположить в правильной последовательности (порядок возрастания/убывания значимости, порядок действий и т.д.).
Например,
Расположите пассивы в порядке возрастания срочности (от наименьшей к наибольшей) (правильную последовательность укажите цифрами рядом с соответствующими позициями):
1. Кредиторская задолженность перед поставщиками.
2. Собственный капитал.
3. Банковский кредит.
Правильный ответ: 3, 1, 2.
Если студент выбрал НЕ ВСЕ ответы, которые относятся к правильной последовательности (например, перепутал начало последовательности (3; 2; 1), т.е. ответ НЕ является ПОЛНОСТЬЮ правильным), то он НЕ получает баллы за такой частично правильный ответ (тест считается невыполненным и за него студент получает 0 баллов).
5. Тест на соответствие содержит от 3 до 5 позиций, которые должны быть сопоставлены с АНАЛОГИЧНЫМ количеством понятий (утверждений), при этом каждой позиции может соответствовать только одно понятие (утверждение).
Например,
Выберите, какой источник капитала характеризует каждое из следующих высказываний.
|
1 Обыкновенные акции |
А. Долговое финансирование |
|
2 Привилегированные акции |
Б. Долевое финансирование |
|
3 Банковский кредит |
В. Гибридное финансирование |
Правильные ответы:
1 – Б;
2 – В;
3 – А.
Тест отличается от других видов тестов визуально, в тексте вопроса указывается, каким образом нужно отметить правильный вариант соответствия.
Для каждой из позиций возможно ТОЛЬКО ОДНО правильное соответствие.
Если студент выбрал НЕ ВСЕ ответы, которые относятся к правильному соответствию (например, перепутал соответствие для 2 и 3 позиции, т.е. ответ НЕ является ПОЛНОСТЬЮ правильным), то он НЕ получает баллы за такой частично правильный ответ (тест считается выполненным неправильно и за него студент получает 0 баллов).
6. Расчетный тест предполагает вычисления для определения правильного ответа и является разновидностью предыдущих видов тестов. Для ответа требуется выбрать правильное числовое значение из 3-5 предложенных.
Например,
Денежные средства и их эквиваленты равны на конец года 40 млн. руб.; краткосрочные обязательства – 400 млн. руб.; оборотные активы – 600 млн. руб. Рассчитайте коэффициент текущей ликвидности (выберите ОДИН правильный ответ):
1. 0,2;
2. 0,1;
3. 0,07;
4. 1,5;
5. 2,0.
Правильный ответ: №4.
В тексте вопроса акцентируется внимание на том, что необходимо РАССЧИТАТЬ соответствующий показатель и выбрать ОДИН ПРАВИЛЬНЫЙ ОТВЕТ из предложенных.
Цель исследования достигнута – исследованы основные тенденции формирования тестового задания в качестве инструментария для проведения оценочных процедур промежуточной аттестации по изучаемой дисциплине по программам высшего образования.
Задачи исследования выполнены. Систематизированы установленные требования и имеющиеся недостатки формирования тестовых заданий. Для обеспечения многомерной оценки уровня освоения компетенции предложено использовать классификационные признаки тестовых заданий. Они приняты в основу формирования структуры и качества тестовых заданий. Имеющаяся практика формирования тестовых заданий адаптирована и апробирована к направлениям подготовки «Экономика» и «Менеджмент» на примере дисциплины «Финансовый менеджмент».
Разработаны мероприятия по совершенствованию методического обеспечения формирования тестового задания в качестве инструментария для проведения оценочных процедур. Рекомендовано использовать систематизированные в ходе исследования классификационные признаки тестовых заданий в качестве основы формирования структуры и качества тестовых заданий, обеспечивающих многомерную оценку уровня освоения компетенции через оптимальное сочетание типов и видов тестовых заданий и преимущественную ориентацию их на качественное содержание – на деятельностную составляющую компетенции.
1. Российская Федерация. Законы. Об образовании в Российской Федерации: федеральный закон: тест с изменениями и дополнениями на 4 августа 2023 года: [принят Государственной думой 21 декабря 2012 года № 273-ФЗ: одобрен Советом Федерации 26 декабря 2012 года]. - Текст: электронный. - URL: https://www.consultant.ru/document/cons_doc_LAW_140174 (дата обращения: 24.10.23).
