Стратегии оценивания в Workshop

Проще говоря, выбранная стратегия оценивания определяет, как может выглядеть форма оценки и как вычисляется оценка за представленную работу на основе определённой формы оценки. Workshop поставляется с четырьмя стандартными стратегиями оценивания. Дополнительные стратегии могут быть разработаны в виде подключаемых расширений.

Стратегия совокупного оценивания

{width="200"}

В этом случае форма оценки состоит из набора критериев. Каждый критерий оценивается отдельно, используя либо числовую оценку (например, из 100), либо шкалу (используя либо общую для сайта шкалу, либо шкалу, определённую в курсе). Каждому критерию может быть назначено своё весовое значение. Рецензенты могут оставлять комментарии ко всем оценённым критериям.

При вычислении общей оценки за представление работы оценки по отдельным критериям сначала нормализуются в диапазоне от 0% до 100%. Затем общая оценка по данной оценке вычисляется как средневзвешенное значение нормализованных оценок. Шкалы рассматриваются как оценки от 0 до M-1, где M — количество элементов шкалы.

$G_s = \frac{\sum_{i=1}^N \frac{g_i}{max_i} w_i }{\sum_{i=1}^N w_i}$

где $g_i \in \mathbb{N}$ — оценка, выставленная i-му критерию, $max_i \in \mathbb{N}$ — максимально возможная оценка i-го критерия, $w_i \in \mathbb{N}$ — вес i-го критерия, и $N \in \mathbb{N}$ — количество критериев в форме оценки.

Важно понимать, что влияние конкретного критерия определяется только его весом, а не типом оценки или используемым диапазоном. Допустим, в форме есть три критерия: первый использует оценку от 0 до 100, второй — от 0 до 20, а третий — шкалу из трёх элементов. Если все они имеют одинаковый вес, то выставление оценки 50 по первому критерию будет иметь такое же влияние, как выставление оценки 10 по второму критерию.

Возьмём пример выше. Предположим, что третий критерий использует шкалу: 6 уровней. Оценщик выставляет оценку 90 по первому критерию (или аспекту 1), оценку 16 по второму критерию и оценку 9 очень хорошо по последнему критерию. Веса трёх критериев равны 1, 2 и 3 соответственно. Поскольку для третьего критерия шкала содержит 6 элементов, а оценка 9 очень хорошо является второй в последовательности оценок, упорядоченной от наивысшей к наименьшей, оценка 9 будет сопоставлена с 4. То есть в формуле выше g3 = 4 и max3 = 5. Тогда итоговая оценка, выставленная по этой оценке, будет:

Комментарии

{width="200"}

Форма оценки аналогична той, что используется в стратегии совокупного оценивания, но оценки выставить нельзя, только комментарии. Общая оценка за оценённую работу всегда устанавливается на 100%. Эта стратегия может быть эффективной в повторяющихся рабочих процессах, когда представления сначала просто комментируются рецензентами для предоставления первоначального отзыва авторам. Затем Workshop переключается обратно в фазу представления, и авторы могут улучшить свою работу в соответствии с комментариями. Затем стратегия оценивания может быть изменена на другую, использующую надлежащую оценку, и представления оцениваются снова с использованием другой формы оценки.

Количество ошибок

{width="200"}

В Moodle 1.x это называлось стратегией с диапазоном ошибок. Форма оценки состоит из нескольких утверждений, каждое из которых рецензент может отметить как выполненное или не выполненное. Для выражения состояния выполнения или неудачи можно задать различные слова — например, Да/Нет, Присутствует/Отсутствует, Хорошо/Плохо и т. д.

Оценка, выставленная по конкретной оценке, вычисляется на основе взвешенного подсчёта отрицательных ответов на оценку (невыполненных утверждений). Здесь взвешенный подсчёт означает, что ответ с весом $w_i$ учитывается $w_i$-раз. Фасилитаторы курса определяют таблицу сопоставления, которая преобразует количество невыполненных утверждений в процентную оценку за данное представление. Нулевое количество невыполненных утверждений всегда сопоставляется с оценкой 100%.

Эта стратегия может использоваться для проверки того, что определённые критерии были учтены в представлении. Примеры таких оценочных утверждений: Имеет менее 3 орфографических ошибок, Не имеет проблем с форматированием, Содержит творческие идеи, Соответствует требованиям к объёму и т. д. Этот метод оценки считается более простым для понимания и обработки рецензентами. Следовательно, он подходит даже для более молодых участников или тех, кто только начинает заниматься взаимной оценкой, при этом обеспечивая достаточно объективные результаты.

Вы можете отредактировать исходную форму оценки, выполнив следующие действия:

1. Запишите соответствующее описание для каждого утверждения в пустое поле. Затем заполните поля слово для ошибки и слово для успеха. Установите вес для каждого утверждения. Как вы можете видеть, таблица сопоставления оценок пока пуста.
2. Нажмите кнопку сохранить и закрыть в конце текущей страницы.
3. Нажмите ссылку Редактировать форму оценки в затенённой области с заголовком фаза настройки в верхней части текущей страницы и снова просмотрите форму оценки. На этот раз вы увидите, что таблица сопоставления оценок уже заполнена. (Примечание: изначально все поля пустые. Вам нужно выбрать правильное значение из каждого списка, чтобы эта стратегия оценивания работала правильно.)

{width="300"}

Например, если форма оценки содержит три утверждения:

Утверждение №	Содержание	Состояние выполнения или неудачи	Вес
1	Имеет подходящее название	Да/Нет	1
2	Содержит творческие идеи	Присутствует/Отсутствует	2
3	Аннотация хорошо написана	Да/Нет	3

В примере выше предположим, что рецензент выставляет одной определённой работе Да/Отсутствует/Да в качестве оценки. Поскольку представление не соответствует только второму критерию, а вес второго критерия равен 2, общее количество ошибок будет равно 2. Таким образом, оценка за представление, выставленная по этой оценке, составит 66%. Предположим, что максимальная оценка за представление, установленная в настройках оценивания, равна 100, следовательно, итоговая оценка за это представление, выставленная по этой оценке, составит 66 баллов.

Критерии

{width="200"}

См. описание этого инструмента оценивания в Википедии. Форма оценки по критериям состоит из набора критериев. Для каждого критерия предусмотрено несколько упорядоченных описательных уровней. Каждому из этих уровней присваивается числовая оценка. Рецензент выбирает, какой уровень лучше всего отвечает/описывает данный критерий.

Итоговая оценка агрегируется как

$G_s = \frac{\sum_{i=1}^N (g_i - min_i) }{\sum_{i=1}^N (max_i - min_i)}$

где $g_i \in \mathbb{N}$ — оценка, выставленная i-му критерию, $min_i \in \mathbb{N}$ — минимально возможная оценка i-го критерия, $max_i \in \mathbb{N}$ — максимально возможная оценка i-го критерия и $N \in \mathbb{N}$ — количество критериев в критериях.

{width="200"}

Пример одного критерия может быть таким: Общее качество работы с уровнями 5 — отличная работа, 3 — посредственная работа, 0 — слабая работа (число представляет оценку).

Есть два способа отображения формы оценки — либо в обычной табличной форме, либо в виде списка. Можно безопасно переключать представление критериев в любое время.

Пример вычисления: пусть у нас есть критерии с двумя критериями, которые оба имеют четыре уровня: 1, 2, 3, 4. Рецензент выбирает уровень с оценкой 2 для первого критерия