На научно-проектной образовательной программе «Большие вызовы» одна из проектных команд изучала метрики сложности онлайн-курсов на примере онлайн-школы Сириус.Курсы и разработала приложение, которое поможет авторам курсов анализировать и дорабатывать учебные материалы.
Сириус.Курсы и их проект
Сириус.Курсы – это образовательный проект с аудиторией более 240 тысяч человек. Ежедневно школьники, учителя и студенты со всей страны смотрят лекции, решают задачи и выполняют задания на курсах по шести направлениям: математика, программирование, физика, химия, биология и лингвистика.
Все курсы онлайн-школы состоят из учебных модулей. В каждом из них есть видеолекции с краткими конспектами и задачи разных форматов.
Чтобы лучше понимать, какие задачи и модули вызывают у учеников сложности и мешают успешному освоению курсов, Сириус.Курсы предложили участникам «Больших вызовов» разработать метрики сложности образовательных материалов и проанализировать их на примере курсов.
.jpg)
Гипотезы и выбор метрик
Целью команды стала разработка набора метрик и создание отчета, с помощью которого можно находить «сложные места» в курсах. Сложные места – это задачи, для решения которых не хватает теоретического материала, где непонятна формулировка задания или есть большое количество подзадач.
«Задача может быть сложной по разным причинам. Иногда она трудная сама по себе, и это здорово – значит, задача бросает вызов и дает почву для размышлений. Такую сложность мы называем “концептуальной”, и решение концептуально сложных задач является неотъемлемой частью обучения. Но бывают ситуации, когда трудности в решении задачи вызваны чем-то другим: например, текст задания может быть понят неоднозначно, и в итоге часть учеников посчитает не то, что на самом деле требовалось в условии. Бывают сложности второго типа – или, как мы их называем, “сложности по форме изложения”, мы с ребятами их и ищем с помощью разрабатываемых в рамках проекта метрик», – пояснил Александр Садовников, руководитель отдела аналитики Сириус.Курсов, руководитель проекта на «Больших вызовах».
За три недели работы над проектом команда проанализировала курсы по математике и информатике, изучая как отдельные задачи, так и модули целиком. Участники выдвинули одиннадцать гипотез относительно того, что может вызывать сложность у учеников платформы, каждую из которых отразили в виде метрики.
В ходе анализа материалов курсов особенно полезными оказались метрики «время затраченное на решение задачи», а также «доля решивших задачу учеников среди тех, кто изучил необходимый теоретический материал».
Проверка качества метрик
После этого команда оценила качество разработанных метрик. Для этого ребята проанализировали более 500 задач из курсов по математике и информатике на уровень сложности.
«Анализ качества работы наших метрик показывает, что мы находим примерно половину действительно сложных задач. Однако не все задания, которые мы нашли, могут оказаться реально сложными. Это происходит потому, что наши метрики выявляют не только сложность по форме изложения, но и концептуальную сложность. Тем не менее с помощью наших метрик уже сейчас можно находить сложные материалы курсов. При этом одна из важных перспектив проекта – повышение точности за счет создания метрик, которые более качественно определяли бы сложность по форме изложения», – отметила Арина Муравлева, аналитик-исследователь проекта.
Отчет и результаты
Для того чтобы анализировать курсы платформы было удобнее, ребята разработали специальное приложение. С его помощью эксперт может построить для любого курса отчет о сложности материалов и быстро определить, какие задачи заслуживают дополнительного внимания. Основу отчета составляют разработанные командой метрики сложности.
«Мы считаем, что задача сложная, если она выделяется из общей выборки хотя бы по одной метрике. Удобство нашего отчета в том, что экспертам не нужно отсматривать все метрики по отдельности. Если задача подсвечена красным цветом, значит, хотя бы одна метрика определила ее как сложную, нужно обратить на нее внимание, а если нет, скорее всего, все в порядке», – сказал Илья Бычков, аналитик-исследователь проекта.
Приложение также поддерживает удобное внедрение новых метрик, что позволит легко расширять отчет в будущем. Результаты исследований и программные наработки участники «Больших вызовов» передали команде Сириус.Курсов для внедрения в работу.
