В рамках проекта осуществляется работа с виртуальной реальностью, внутри которой происходит симуляция молекулярных объектов. Для взаимодействия с виртуальной средой используются шлемы виртуальной реальности HTC Vive Pro (имеющие функцию ай-трекинга) и контроллеры управления.
В настоящее время успешно решена задача по внедрению и активации внутри симуляций Нарупы технологии Ай-Трекинга (Окулографии). В исходной версии Нарупы такой возможности предусмотрено не было. Теперь после сессии в Нарупа с Ай-трекингом мы получаем log о перемещениях взгляда, содержащий информацию в формате [HH:MM:SS.SSS]: (x, y, z) index (время, координаты, индекс химического атома). Этот log является сырым файлом — данные айтрекинга никак не структурированы, не имеют презентабельного вида, содержат мусор и артефакты. Однако это уже весомое достижение для дальнейшей реализации проекта.
Все химические объекты внутри сцены имеют свои скрипты, они прописаны вплоть до типа атома, расстояния между атомами и химической связи, что в целом не ограничивает в выборе молекулярных структур и предоставляет возможность создавать определенного вида молекулярные задачи/задания, которые необходимо решить внутри Нарупы.
Для решения таких типовых задач внутри Нарупы будут приглашены эксперты из области молекулярной биологии. Во время решения задачи экспертом будет производиться запись log айтрекинга.
При дальнейшей работе с полученным массивом данных будет использована технология машинного обучения для решения задач:
— обработки и анализа данных Ай-трекинга, в т.ч. очистке от артефактов и некорректных даных ай-трекинга (частота перемещения взгляда, скорость перемещения взгляда, время задержки на объектах);
— анализа молекулярных структур при генерации заданий (поиск паттернов и участков молекул для предсказания, например, активных центров и пр.).
Технология может быть успешно интегрирована в образовательный процесс, например, при решение задач студенты могут получать умные подсказки сформированные на основе машинного обучения и опыта решения аналогичных заданий экспертами.
Сравнивая «паттерны» решений экспертов и студентов, возможно выделить наиболее эффективный путь для решения поставленных задач, что позволит «научить» студентов обращать на ключевые элементы, например на те участки молекул, на которых фокусировались эксперты при выполнение аналогичных заданий.