Абстракт:  С 2018 года в Российской Федерации действует Национальная программа “Цифровая экономика Российской Федерации”, нацеленная на широкое использование сквозных технологий, в числе которых нейротехнологии, искусственный интеллект, а также технологии VR/AR.

 

С увеличением количества цифровых сервисов, с которыми обучающиеся взаимодействуют в рамках образовательной среды, усиливается и когнитивная нагрузка, что препятствует результативному освоению материала. Обеспечение всестороннего оценивания функционального состояния обучающегося, снижение напряжения, анализ уровня его навыков являются одними из основных факторов, которые в полной мере должны быть учтены при построении обучающей иммерсивной виртуальной среды.

 

Рассматривая количественную систему оценивания, принятую в современной российской школе, мы должны констатировать, что она не всегда выполняет свои основные функции: информационную, контролирующую, регулирующую. Иммерсионная образовательная среда, в свою очередь, обладает потенциально высокими возможностями для реализации информационно-контролирующе-регулирующей функции при минимальном отвлечении внимания обучающегося на оценочные проциседуры, обеспечивая комплексный подход к оценке результатов освоения программы и формированию образовательного маршрута с учетом динамики индивидуальных достижений и биологических сигналов обучающихся.

 

Анализ данных биологических сигналов обучающихся позволит получить всю необходимую информацию, создать комфортную среду для обучающегося и сформировать траекторию обучения, адаптированную под его текущее функциональное состояние. Уникальность сигнала траектории взгляда заключается в том, что в нем одновременно содержится три вида информации об обучающемся: информация о его личности, навыках и функциональном состоянии. Для этого потребуется разработка новых моделей, методов и алгоритмов для идентификации функционального состояния, фиксации достигнутых навыков в иммерсивной виртуальной среде на основе анализа движений глаз.

 

Таким образом, предлагаемый проект направлен на решение научной проблемы разработки и научного обоснования механизма управления процессом обучения в виртуальной иммерсивной образовательной среде с учетом индивидуальных особенностей и достижений обучающихся для реализации внутренней потребности личности в получении адекватной ее возможностям информации.

 

Научная новизна исследований обусловлена тем фактом, что в рамках выполнения проекта будут:
— созданы новые подходы к оцениванию, когда оценка достижения планируемых результатов выполняет функцию обратной связи и регулирующего (управляющего) элемента системы;
— разработаны новые модели, методы и алгоритмы идентификации функционального состояния обучающегося и его навыков в виртуальной иммерсивной образовательной среде, что потребует расширения существующих результатов в области анализа движений глаз для случая трехмерного пространства;
— впервые с достижением синергетического эффекта одновременно использованы технологии VR и айтрекинга для построения и научно обоснованной оценки результативности виртуальных иммерсивных образовательных сред.

 

Актуальность решения указанной проблемы заключается в следующем:
Ожидаемый рост эффективности цифровых образовательных технологий и уровня мотивации обучающихся, социотехнический характер разрабатываемой технологии, направленный на индивидуализацию образовательного процесса, возможность удаленного обучения будут способствовать росту конкурентоспособности образовательных учреждений, как внутри страны, так и за ее пределами.

 

Непосредственно для работы с айтрекингом в проект был установлен SDK SRanipal, так как в исходной версии проекта реализация работы айтрекинга отсутствовала. Таким образом был получен программный модуль Narupa и SDK SRanipal для взаимодействия с молекулами с отслеживанием и интегрированием движения глаз. Главная функция, которая была использована — это функция получения луча по направлению взгляда человека. С помощью этой функции появлялась возможность сформировать понимание о взаимодействии взгляда человека с объектами виртуальной среды, путем наблюдения пересечения луча взгляда с объектами. При взаимодействии взгляда с объектами сцены Unity происходило логирование в текстовый файл.

 

Для реализации исследования с целью регистрации движений глаз в VR были разработаны задания различной сложности. Созданные прототипы заданий были написаны в виде кода (скриптов) молекул в формате PDB, для того, чтобы воспроизвести симуляцию на сервере Narupa iMD. В созданных заданиях были выбраны следующие параметры молекул: цвет, молекулярная динамика, размер. Каждый химический элемент в созданных заданиях имел свой уникальный цвет в соответствии с цветовым шифром. Список химических элементов, наиболее часто встречающихся в заданиях, и их цветовой шифр в симуляции VR был таким: O — красный, H — белый, C — черный, Cl — зеленый, S — желтый, P — розовый, N — синий, Ca — оранжевый, F — серый, K — голубой.

 

2. Результаты экспериментов в виртуальной иммерсивной образовательной среде 

После проведения экспериментов в виртуальной реальности были составлены зависимости различных показателей. В качестве первого показателя была оценена «популярность» (химические элементы с повышенным показателем внимания) химических элементов среди волонтёров 

 

Лидерами стали элементы: «Н», «О», «С». Вероятно, что такие результаты обусловлены следующими утверждениями:
     1) с этими элементы обучающиеся знакомы с самого начала обучения химии;
     2) эти элементы чаще всего упоминаются в школьной программе по таким предметам как «География», «Биология», «Физика», «Окружающий мир»;
     3) с этими элементами проще всего составить разнообразные молекулы, поэтому они чаще встречаются.
     Также удалось выявить зависимость «популярных» элементов от частоты правильных ответов. Волонтеры, которые в среднем давали больше правильных ответов, чаще всего смотрели на элемент «Н». Это можно объяснить тем, что «Н» является наиболее часто встречаемым элементом. В заданиях присутствовало много похожих органических соединений, которые содержат разное количество таких элементов как «С» и «Н». Например, винилхлорид, этиловый спирт, фенантрен и многие другие. Для идентификации элемента волонтеры подсчитывали количество «Н».

 

Следующей выявленной зависимостью стало количество перемещений взгляда с молекулы на молекулу (на протяжении всего выполнения задания) в зависимости от количества молекул. Опытным путем было доказано, что чем больше молекул в виртуальной реальности, тем чаще волонтер переводит взгляд с объекта на объект. Это связано с тем, что для правильной идентификации объекта, волонтерам необходимо было рассмотреть все возможные варианты, именно поэтому взгляд перемещался чаще. Отсюда следует — чем меньше молекул нужно распознать, тем спокойнее чувствует себя обучающийся, тем меньше рассеивается его внимание. Также была выявлена зависимость среднего количества перемещения взгляда не по целевым объектам, т.е. не по молекулам, от количества молекул. 
   

Важным элементом для выполнения задания при погружении в VR является цветовая кодировка (цветовой шифр) атомов. В заданиях было использовано 16 различных индивидуальных цветов для каждого химического элемента. По результатам исследования было получено следующее: чем меньше цветов наблюдает волонтер, тем большее число раз он перемещает взгляд в пространстве. Вероятно это обусловлено тем, что задания, в которых присутствуют только два химических элемента, затрудняют идентификацию молекул по цветовому шифру, а значит затрудняют выбор правильного ответа, в том числе исключая возможность интуитивного выбора основанного только на цветовом шифре .

 

Количество правильных ответов связано с частотой перемещения взгляда. Чем больше получено правильных ответов, тем меньше среднее перемещение взгляда. Проведенные эксперименты в виртуальной реальности, впервые объединили уже существующие программные обеспечения и технологии с целью создания адаптивного теста с использованием технологии айтрекинга в VR.

 

Адаптивное тестирование — это технология тестирования слушателей, при которой каждый следующий вопрос подбирается автоматически, исходя из ответов данных на предыдущие вопросы при определенном заранее уровне сложности.

 

Главным отличием адаптивного тестирования от классических тестов является динамическое (в реальном времени), а не статическое определение списка вопросов, которые будут заданы тестируемому. При этом выбор очередного вопроса определяется персональными особенностями каждого отдельного слушателя, а не общими правилами «для всех». Для дальнейшего развития методики необходимо сочетать языки программирования высокого уровня с окулографией и управлением базами данных. На основе полученных данных в области когнитивных исследований сделаны выводы о том, что для быстрой и эффективной оценки знаний в VR важно учитывать следующие параметры: частота перемещения взгляда; количество цветов, используемых при шифровке химических элементов, в задании; сложность и количество молекул.

 

Для того, чтобы процесс адаптивного тестирования проходил автоматически, для программы необходимы изначально заданные ориентиры. Чтобы избежать интуитивного правильного ответа, будет происходить ориентация на частоту перемещения взгляда. Программное обеспечение на основе технологии айтрекинга также должно ориентироваться на этот показатель. Если волонтер часто перемещает взгляд, то скорее всего  это задание является сложным для него, и после двух-трех пройденных заданий программа принимает решение о снижении уровня сложности. Снижение уровня сложности происходит за счет уменьшение количества атомов и молекул (на одну удельную единицу), снижение уровня сложности (на один уровень), увеличение уникальных цветов (на одну удельную единицу). Если в последующем задании, после уменьшения уровня сложности частота перемещения взгляда остается такой же, а количество правильных ответов уменьшается, программа автоматически снижает сложность заданий ещё на одну удельную единицу. В том случае, если частота перемещения взгляда маленькая, то через два-три задания программа автоматически увеличивает количество атомов и молекул (на одну удельную единицу), увеличивает уровень сложности (на один уровень), уменьшает количество уникальных цветов (на одну удельную единицу).