Индикаторы аналитики обучения

Обзор

Модели могут содержать несколько индикаторов (предсказателей). Концептуально индикаторы собирают и агрегируют значения из набора данных и объединяются с целевыми показателями для прогнозирования с использованием выбранных алгоритмов машинного обучения. Индикаторы могут быть повторно использованы между моделями или созданы специально для новой модели. Однако лучше понять, какой целевой показатель вы пытаетесь предсказать, прежде чем выбирать индикаторы.

Чтобы использоваться в модели, индикаторы должны быть центрированы и масштабированы. В аналитике обучения Moodle индикаторы должны возвращать значения, преобразованные в диапазон от -1 до 1. Не обязательно использовать весь диапазон — некоторые индикаторы будут иметь больше смысла, если масштабированы от 0 до 1, где 0 указывает на отсутствие значения.

Обработка точек данных включает в себя важные предположения, которые влияют на индикаторы. В частности, индикаторы могут быть абсолютными, что означает, что значение индикатора остаётся неизменным независимо от того, какие другие выборки есть в контексте, или относительными, что означает, что индикатор сравнивает выборку с другими в контексте.

В настоящее время Moodle не фильтрует доступные индикаторы для модели в соответствии с анализатором (управляемым целевым показателем модели). Однако не все индикаторы предназначены для работы со всеми целевыми показателями. Например, индикатор, относящийся к пользователю, не будет хорошо работать в модели, посвящённой дизайну курса. В будущем Moodle может предложить более подробные рекомендации о том, как выбирать индикаторы, соответствующие целевому показателю.

Общие индикаторы

• Доступ к курсу после даты окончания — этот бинарный индикатор установлен в 1, если пользователь получил доступ к курсу после даты окончания.
• Доступ к курсу до даты начала — этот бинарный индикатор установлен в 1, если пользователь получил доступ к курсу до даты начала.
• Любое действие записи — этот бинарный индикатор установлен в 1, если пользователь выполнил действие «записи» (сохранение содержимого) где-либо на сайте.
• Любое действие записи в курсе — этот бинарный индикатор установлен в 1, если пользователь выполнил действие «записи» (сохранение содержимого) в зачисленном курсе.
• Количество действий чтения — этот индикатор оценивает количество содержимого, к которому пользователь получил доступ (прочитал) по шкале от -1 до 1.
• Предстоящие элементы курса — этот бинарный индикатор установлен в 1, если у пользователя есть предстоящие элементы курса, которые ещё не сданы.
• Отслеживание завершения включено — этот бинарный индикатор установлен в 1, если в курсе включено отслеживание завершения.
• Нет студентов — этот бинарный индикатор установлен в 1, если в курсе нет зачисленных студентов.
• Нет преподавателей — этот бинарный индикатор установлен в 1, если в курсе нет зачисленных преподавателей.
• Профиль пользователя завершён — этот индикатор возвращает значение в диапазоне от -1 до 1 в зависимости от того, насколько пользователь заполнил свой профиль.
• Пользователь отслеживает форумы — этот бинарный индикатор установлен в 1, если у пользователя включено отслеживание форумов.

Индикаторы сообщества исследования

Предоставлен набор индикаторов, основанных на модели вовлечённости студентов Сообщество исследования. Эти индикаторы разделены на два типа: когнитивная глубина и социальная широта. Для каждого элемента в Moodle core реализован один индикатор каждого типа. Также есть два индикатора уровня курса, оценивающие потенциальную когнитивную глубину и социальную широту курса в целом.

Для сторонних плагинов элементов курса требуется поддержка их разработчиков для добавления индикаторов любого типа.

Уровни потенциальных индикаторов для выбранных модулей элементов курса

Потенциал взаимодействия через когнитивное присутствие и социальное присутствие составляет структуру обучения, которая является одним из ключевых элементов педагогического присутствия. Эта диаграмма показывает потенциальную когнитивную глубину и социальную широту всех основных и некоторых неосновных элементов:

coi_model_indicators.png

Категоризируя каждый элемент по потенциальной когнитивной глубине и социальной широте, мы можем предвидеть, какой уровень вовлечённости поддерживается (и, возможно, ожидается) от обучающегося, даже без истории множества действий обучающихся в этом экземпляре элемента. Обратите внимание, что более высокие уровни по каждой оси включают все нижние уровни, т. е. элемент, который включает студента и всех сверстников (социальная широта 3), автоматически включает уровни 1 (только студент) и 2 (студент +1). Во многих случаях конкретный уровень можно определить только путём анализа настроек параметров для элемента.

Когнитивная глубина

Когнитивная глубина — это мера конструкта «когнитивное присутствие» в рамках теоретической структуры сообщества исследования. Когнитивное присутствие определяется как «Степень, в которой участники любой конкретной конфигурации сообщества исследования способны конструировать смысл посредством устойчивого общения» (Гаррисон, Андерсон и Арчер, 2000, стр. 89). Когнитивное присутствие обычно определялось в исследованиях путём ручного анализа содержания. В этих индикаторах мы определяем этот конструкт на основе типа деятельности, предлагаемой студенту, и степени, в которой студент демонстрирует когнитивную вовлечённость в этой деятельности. Уровень глубины варьируется от 0 до 5, где 0 указывает на то, что обучающийся даже не просматривал элемент. Уровни потенциальной когнитивной глубины:

1. Обучающийся просмотрел сведения об элементе.
2. Обучающийся отправил содержимое в элемент.
3. Обучающийся просмотрел обратную связь от преподавателя или сверстника по элементу (включая автоматическую обратную связь).
4. Обучающийся предоставил обратную связь преподавателю или сверстнику в рамках элемента.
5. Обучающийся переработал и/или повторно отправил содержимое в элемент.

Эта модель начинается с присвоения максимального потенциального значения когнитивной глубины каждому модулю элемента. Например, модуль «Задание» допускает когнитивную глубину до 5.

После назначения потенциальных уровней каждый студент, зачисленный на курс, оценивается на основе доли достигнутой потенциальной глубины. Например, если элемент поддерживает только уровень 3 (просмотр обратной связи) и студент достиг уровня 3, студент участвует на 100% от возможного уровня когнитивной глубины, и значение индикатора равно 1. Если студент не просматривает элемент, он находится на когнитивной глубине 0, и значение индикатора равно -1. Если студент просмотрел элемент и отправил ответ, но не просмотрел обратную связь, он находится на уровне когнитивной глубины 2 (из потенциальной глубины в этом элементе 3), поэтому индикатор рассчитывается как 0,33.

Индикаторы когнитивной глубины на уровне курса

• Потенциальная когнитивная глубина курса — вычисляется из всех элементов курса как мера потенциальной вовлечённости.

Индикаторы когнитивной глубины на уровне зачисления на курс

Следующие индикаторы когнитивной глубины имеют 1 уровень и сообщают 0% (не просмотрено) или 100% (просмотрено).

• Когнитивный элемент книги
• Когнитивный элемент папки
• Когнитивный элемент IMS pkg
• Когнитивный элемент метки (считается просмотренным, если эта часть курса просмотрена)
• Когнитивный элемент страницы
• Когнитивный элемент файла
• Когнитивный элемент URL

Следующие индикаторы когнитивной глубины имеют 2 уровня и сообщают 0% (не просмотрено), 50% (просмотрено) или 100% (взаимодействовал как минимум с одним другим участником).

• Когнитивный элемент выбора (если результаты не доступны для просмотра)
• Когнитивный элемент базы данных
• Когнитивный элемент обратной связи
• Когнитивный элемент глоссария
• Когнитивный элемент опроса
• Когнитивный элемент вики

Следующие индикаторы когнитивной глубины имеют 3 уровня и сообщают 0% (не просмотрено), 33% (просмотрено), 67% (отправлено) или 100% (отправлено и просмотрена обратная связь).

• Когнитивный элемент выбора (если результаты доступны для просмотра)
• Когнитивный элемент LTI
• Когнитивный элемент SCORM

Следующие индикаторы когнитивной глубины имеют 4 уровня и сообщают 0% (не просмотрено), 25% (просмотрено), 50% (отправлено), 75% (отправлено и просмотрена обратная связь) или 100% (предоставлена обратная связь преподавателю или сверстнику).

• Когнитивный элемент чата
• Когнитивный элемент форума

Следующие индикаторы когнитивной глубины имеют 4 уровня и сообщают 0% (не просмотрено), 20% (просмотрено), 40% (отправлено), 60% (отправлено и просмотрена обратная