1. Айтрекинг как метод анализа когнитивных феноменов

Прибор айтрекер или окулограф состоит из устройства трекинга, которое отслеживает движения глаз и распознает направление взгляда и программного приложения, обрабатывающего поступающие с трекера данные. Последний оборудован системой камер и ЛЭД-излучателей, определяющих координаты положения зрачка и точку, на которую в данный момент времени нацелен взгляд.

Современный айтрекер может быть внешним, установленным, например, на экран компьютерного монитора, или интегрированным в оправу, напоминающую обычные очки, либо в виртуальный шлем. Все варианты окулографии можно разделить по разным признакам: по принципу взаимодействия с глазом: контактные и бесконтактные; по принципу фиксации траектории: использующие фотофиксацию, непосредственную запись, запоминание траектории; по особенностям и целям изучения: изучающие фиксации или скачкообразные движения и т. д.; по частоте дискретизации камеры: чем она выше, тем больше информации мы можем собрать о движении глаза, в том числе различные микродвижения. В отличие от самоотчета или внешнего наблюдения за движениями, глаз, окулография — регистрация окуломоторной активности — дает не только непрерывную, достоверную, детализированную, но и качественно иную информацию об изучаемых явлениях. Это один из наиболее чувствительных индикаторов динамики познавательных процессов, функциональных состояний и форм взаимодействия человека с окружающим миром.

2. Анализ исследований с применением фиксации движения глаз

С помощью айтрекинга возможно проведение разных типов исследования: 1) происходит анализ зон интереса (длительность фиксации, подсчет статистики «пребывания» в зоне интереса и др.), 2) либо анализ величины раскрытия диаметра зрачка («энергетический» аспект когнитивного процесса), 3) используется также метод воздействия на окуломоторную активность, изучение результатов этого воздействия на когнитивные процессы. Айтрекер позволяет работать как в фиксированном режиме, так и в движении, рассматривая феноменологию движения глаз реальных испытуемых. В качестве примера можно разобрать применение айтрекера в музеях [1].

В данной статье [1] рассматривается использование айтрекера в оправе очков в процессе прохождения респондентом экспозиции в музее. Последующий анализ движения глаз позволит определить типовую и индивидуальную стратегию осмотра экспозиции. Этот подход помогает выявить проблемные зоны, связанные с неправильным расположением экспонатов, читаемостью этикеток, а также определить, насколько привлекательным или незаметным является музейный объект для посетителей.

С помощью айтрекинга выясняются межкультурные различия. В антропологических исследованиях расовых признаков [2] используют метод изучения глазодвигательной активности людей, принадлежащих к разным расам в процессе оценки индивидуально-психологических характеристик людей других рас по фотографиям лиц.

Отдельной широкой областью применения айтрекинга является психология. Программа подготовки психологов традиционно включает в себя дисциплины естественного профиля: нейробиологию, психофизиологию, антропологию и другие. Интеграция современной науки предполагает вхождение психологии в область, все чаще называемую когнитивной нейронаукой и предполагает активное использование естественнонаучных методов исследования психологических явлений. 

В настоящее время отслеживание взгляда может дифференцировать детей с расстройствами аутистического спектра (РАС) [3]. Обычно РАС выявляют с помощью субъективных методов, таких как отчет родителей, интервью и наблюдения врачей.

Исследования, проведенные с помощью айтрекинга, повышают эффективность исследования следующих нейробиологических феноменов: функциональная межполушарная асимметрия мозга, психофизиология эмоций, психофизиология сознания, психофизиология восприятия, психофизиология функциональных состояний. Более детальный разбор применения рассмотрен в статье [4].

В антропологических исследованиях расовых признаков используют метод изучения глазодвигательной активности людей, принадлежащих к разным расам в процессе оценки индивидуально-психологических характеристик людей других рас по фотографиям лиц.

В психологии индивидуальных различий и социальной психологии метод регистрации движения глаз используется для выявления типологических различий при решении различных когнитивных задач, а также для изучения разных стилей коммуникации, конфликтных ситуаций, ситуаций разной степени эмоциональной насыщенности и т.д. [5, 6, 7].

Анализируя полученные данные о глазодвигательной активности, исследователи восприятия произведений искусства могут понять, на что публика смотрит чаще и какие области заставляют зацепиться взгляд дольше [8]. Благодаря фиксации таких параметров как движение глаз, энцефалограмма, ЭАК (электрическая активность кожи), КГР (кожно-гальваническая реакция) можно получить большой массив полезных данных. Исследовательский подход в искусствознании может расширить представления о восприятии произведений искусства человеком.

Учитывая пользу, которую может привнести айтрекинг в область искусства, можно выделить следующие области применения данной технологии.

  1. Исследование восприятия и взаимодействия.

Айтекинг стал мощным инструментом для исследования восприятия и взаимодействия с произведениями искусства. Он позволяет изучать, как люди смотрят на картину, скульптуру или другие формы искусства, и анализировать, какие элементы привлекают наибольшее внимание. Эта информация помогает художникам создавать более эффективные и привлекательные произведения искусства [8, 9], которые гармонично взаимодействуют со зрителем.

  1. Интерактивные искусственные инсталляции.

Айтрекинг также находит применение в создании интерактивных искусственных инсталляций. С помощью этой технологии художники могут создавать уникальные проекты, которые реагируют на движения и взгляд зрителей. Например, проекты, где проекции или иллюстрации меняются в зависимости от того, куда смотрит зритель, создают удивительные эффекты и взаимодействие между произведением и зрителем.

  1. Развитие виртуальной и дополненной реальности.

Айтрекинг играет важную роль в развитии виртуальной и дополненной реальности. С помощью этой технологии создаются более реалистичные и увлекательные виртуальные миры, и интерактивные сцены. Отслеживание взгляда пользователя позволяет адаптировать содержимое виртуальной среды в реальном времени [10], чтобы предоставить более погружающий опыт и создать ощущение присутствия в виртуальном мире.

Таким образом, айтрекинг — это технология, которая играет важную роль в различных аспектах искусства, обогащая творческий процесс и улучшая взаимодействие художника с публикой.

3. Исследование опыта взаимодействия с технологией айтрекинга

Для того, чтобы технология айтрекинга была доступна широкому кругу лиц, занимающихся исследованиями восприятия визуальных художественных произведений (в том числе дизайнерам и исследователям произведений искусства), необходимо, чтобы опыт взаимодействия с данной технологией соответствовал критериям доступности и удобства использования. С этой целью было проведено эмпирическое исследование удобства взаимодействия с программой для регистрации движения взгляда Gazepoint (рис. 1) и прототипом, разработанным на основании обратной связи от экспертов, занимающихся исследованиями с применением айтрекинга в области психологии и юзабилити (рис. 2).

Рис. 1. Интерфейс программы Gazepoint
Рис. 2. Интерфейс прототипа собственной разработки

С учетом основных принципов проектирования пользовательских интерфейсов было переработано основное меню и перенесено на боковую часть. Данное решение было принято для удобного использования панелей инструментов, так как панели инструментов должны быть интуитивно понятными и комфортными для пользователя. Область расположения стимулов также была изменена для лучшей фокусировки внимания. В Gazepoint пользователь должен загрузить свой стимул и помнить его название, чтобы оперативно найти его среди других стимулов, если их больше одного. В разработанном прототипе каждый стимул имеет свою миниатюру. Было сделано предположение, что крупные модели загруженных изображений упростят взаимодействие пользователя с интерфейсом. Перед подготовкой прототипа был проведен анализ программ-конкурентов, а именно Neurobureau и Tobii, и на основе синтеза лучших правки был разработан интерфейс прототип.

В ходе выполнения исследования по выявлению основных принципов разработки интерфейсов программ для проведения исследований с применением айтрекера был проведен эксперимент, участниками которого выступили 12 студентов-дизайнеров без опыта взаимодействия с аналогичными программами. Исследование было построено по принципу А/Б тестирования, в ходе которого анализировались две версии интерфейса программы для сбора данных о глазодвигательной активности с помощью айтрекинга. Первой версией выступил оригинальный интерфейс программы Gazepoint, второй версией являлся прототип, основанный на экспертной оценке, полученной от 10 исследователей из области когнитивных исследований и исследований человеко-компьютерного взаимодействия

В ходе эксперимента респондентам было предложено создать эксперимент с пятью стимулами, провести настройки показа стимулов, а также провести калибровку взгляда и сохранить результаты эксперимента. Перед проведением эксперимента респондентам был дан краткий инструктаж о возможном функционале программы.

Сценарий эксперимента включал следующие этапы:

  • Создание и настройка проекта;
  • Калибровка и проведение эксперимента;
  • Анализ и вывод данных.

По мере выполнения задания были замерены целевые показатели: общее и среднее время прохождения всех задач, количество допущенных ошибок. После выполнения заданий был проведен опрос субъективной удовлетворенности от взаимодействия с программным интерфейсом.

Для балансировки эффекта последовательности был сгенерирован случайный порядок тестирования приложений для каждого респондента.

Опираясь на полученные результаты, авторы построили диаграммы размаха. На рисунке 3 показана диаграмма размаха по показателям общего затраченного времени на выполнение заданий, на рисунке 4 изображена диаграмма размаха по показателям общего количества ошибок, допущенных при выполнении заданий.

Рис. 3. Общее время выполнения всех заданий в программах
Рис. 4. Общее количество ошибок, допущенных при выполнении заданий

Как можно заметить, общее количество ошибок и затраченное время выше в программе Gazepoint, чем в разработанном прототипе. Пользователи тратили много времени, чтобы понять, как работать с интерфейсом программы Gazepoint.

На рисунке 5 продемонстрирована диаграмма размаха для обоих приложений, построенная по результатам опросника субъективной удовлетворенности. На графиках видно, что субъективная удовлетворенность от использования разработанного прототипа значительно выше, чем от интерфейса программы Gazepoint. 

Рис. 5. Субъективная удовлетворенность программами

Для каждой из проверяемых гипотез были рассчитаны статистическая значимость и фактическая мощность. Также были построены доверительные интервалы (таблица 1).

Таблица 1. Рассчитанная статистическая значимость для экспериментальных гипотез

№ Гипотезы p-value α
1 Количество ошибок в ходе выполнения поставленной задачи в прототипе собственной программы, для проведения психологических исследований с регистрацией направления взгляда, будет меньше в сравнении с программой Gazepoint. 0,00002 0,05 /3 = 0,0167
2 Время, затраченное в ходе выполнения поставленной задачи в прототипе собственной программы, для проведения психологических исследований с регистрацией направления взгляда, будет меньше в сравнении с программой Gazepoint. 0,000046 0,05 / 2 = 0,025

Уровень α для каждой из гипотез был выбран с учетом поправки Холма-Бонферрони при заданной вероятности групповой ошибки FWER = 0,05. Проверка предположения о корреляции данных оказалась незначимой.

4. Заключение

Айтрекинг становится все более важным инструментом в мире искусства, открывая новые горизонты для художников, дизайнеров и исследователей. С его помощью можно улучшить взаимодействие зрителей с произведениями искусства, создавать уникальные и интерактивные инсталляции, оптимизировать пользовательский опыт в дизайне интерфейсов и виртуальной реальности, а также расширить понимание когнитивных процессов. С развитием технологий айтрекинг будет продолжать эволюционировать и вносить новые впечатляющие инновации в область искусства. Искусство и технологии идут рука об руку, и айтрекинг является прекрасным примером того, как современные инструменты могут вдохнуть новую жизнь в творческие процессы. С его помощью художники получают возможность создавать удивительные произведения, а зрители — погрузиться в захватывающий и адаптивный виртуальный мир.

Проведенный эксперимент показывает важность доступности использования айтрекера для исследователей, занимающихся анализом восприятия визуальных произведений (художников и дизайнеров). В рамках исследования было подтверждено 2 гипотезы о количестве ошибок и о затраченном времени на прохождения заданий. Разработанный прототип оказался более эффективным инструментом для выполнения задач в сравнении с программным интерфейсом Gazepoint. Сделан вывод о том, что интерфейс прототипа имеет более логичный вид компоновки элементов. Была добавлена возможность видеть стимул в реальном времени, во время проведения его редактирования. Гипотеза о корреляции данных не получила подтверждения.

Bibreference

International

Arlakov, E.A., Belimova, P.A., Djumagulova, A.F. (2023) Eye Tracking as a Tool for Art Perception Research: a Usability Approach. Culture and technologies studies. Vol. 8, № 1. P. 17-24. Available at:  http://cat.itmo.ru/en/2023/v8-i1/398, DOI: 10.17586/2587-800X-2023-8-1-17-24

Russian

Arlakov, E.A., Belimova, P.A., Djumagulova, A.F. Eye Tracking as a Tool for Art Perception Research: a Usability Approach // Culture and technologies studies. 2023. Vol.  8. № 1. P. 17-24. DOI: 10.17586/2587-800X-2023-8-1-17-24

DOI
10.17586/2587-800X-2023-8-1-17-24
References
  1. Mokatren, M., Kuflik, T., Shimshoni ,I. (2018). Exploring the potential of a mobile eye tracker as an intuitive indoor pointing device: A case study in cultural heritage. Future Generation Computer Systems. Vol. 81. 528-541. DOI: 10.1016/j.future.2017.07.007.
  2. Khrisanfova, L.A., Ananyeva, K.I., Demidov, A.A. (2015). Peculiarities of oculomotor activity of people of the Caucasian race in the process of assessing the individual psychological characteristics of people of the Mongoloid race from photographs of their faces. In Eyetracking in Psychological Science and Practice. Moscow: Kogito-Centr, pp. 304-315.
  3. Rice, K., Moriuchi, J.M., Jones, W., Klin, A. (2012). Parsing Heterogeneity in Autism Spectrum Disorders: Visual Scanning of Dynamic Social Scenes in School-Aged Children. Journal of the American Academy of Child & Adolescent Psychiatry. Vol. 51. No. 3. 238-248. DOI: 10.1016/j.jaac.2011.12.017.
  4. Baiano, C, Barone, P, Trojano, L, Santangelo, G. (2020). Prevalence and clinical aspects of mild cognitive impairment in Parkinson’s disease: A meta-analysis. Movement Disorders Journal. Vol. 35. No. 1. 45–54. DOI: 10.1002/mds.27902.
  5. Bačić, D., Henry, R. (2022). Advancing our understanding and assessment of cognitive effort in the cognitive fit theory and data visualization context: Eye tracking-based approach. Decision Support, Systems. Vol. 163. 113862. DOI: 10.1016/j.dss.2022.113862.
  6. Ktistakis, E., Skaramagkas, V., Manousos, D., Tachos, N.S., Tripoliti, E., Fotiadis, D.I., Tsiknakis M. (2022). COLET: A dataset for COgnitive workLoad estimation based on eye-tracking. Computer Methods and Programs in Biomedicine. Vol. 224. 10698. DOI: 10.1016/j.cmpb.2022.106989.
  7. Pe,i H., Huang, X., Man D. (2022). Image visualization: Dynamic and static images generate users’ visual cognitive experience using eye-tracking technology. Displays. Vol. 73. 102175. DOI: 10.1016/j.displa.2022.102175.
  8. Kesner, L., Grygarová, D., Fajnerová, I., Lukavský, J., Nekovářová, T., Tintěra, J., Zaytseva, Yu., Horáček, J. (2018). Perception of direct vs. averted gaze in portrait paintings: An fMRI and eye-tracking study. Brain and Cognition. Vol. 125. 88-99. DOI: 10.1016/j.bandc.2018.06.004.
  9. Kang, T., Luo, S., Wang, P., Tang, T. (2023). Influence of figure information on attention distribution in Chinese landscape painting. Heliyon. Vol. 9. No. 1. e15036. DOI: 10.1016/j.heliyon.2023.e15036.
  10. Shadiev, R., Li, D. (2012). A review study on eye-tracking technology usage in immersive virtual reality learning environments. Computers & Education. Vol. 196. 104681. DOI: 10.1016/j.compedu.2022.104681.
English