Comparison of the Human Recognition Accuracy of Haptic Feedback with Different Sharpness and Intensity Values

Введение

Большинство воспринимаемой информации человек получает через органы зрения. Взаимодействие с мобильными устройствами не является исключением — для получения той или иной информации мы смотрим, например, на дисплей смартфона или часов. Но чтобы повысить эффективность взаимодействия с техникой, используются также другие способы восприятия информации, например, осязание. Для этого во многих устройствах используются вибрационные модули для создания тактильной обратной связи. С точки зрения пользовательского опыта и проектирования интерфейсов сфера тактильных ощущений является одной из самых быстрорастущих, но при этом малоизученных по сравнению с другими способами реализации обратной связи. Поскольку в нашу повседневную жизнь все больше входит взаимодействие с мобильными устройствами, то, какую обратную связь мы получаем, становится все более важным для изучения.

Целью работы является исследование влияния параметров вибрационных сигналов в мобильных устройствах на эффективность человеко-компьютерного взаимодействия и выявление тех из них, изменение которых наиболее точно распознаёт пользователь. В рамках работы подробно рассматривается структура сигналов, которая включает в себя интенсивность, резкость, количество и продолжительность отдельных импульсов, в совокупности образующих единый вибрационный шаблон.

Актуальность исследования обуславливается том, что большинство людей с ОВЗ (ограниченными возможностями здоровья) в повседневной жизни пользуется смартфонами и другими мобильными устройства. Вибротактильная обратная связь позволяет лучше адаптировать мобильные устройства для людей с нарушениями слуха, зрения и передвижения. Существует значительное число исследований, посвященных тактильному отклику, вибрационным сигналам и влиянию их присутствия на пользовательский опыт [1–5].

Среди поставленных нами задач основными стали ознакомление с существующими технологическими решениями и возможностями вибромоторов мобильных устройств, проектирование приложения для мобильной операционной системы iOS на языке программирования Swift, создание собственных наборов вибрационных сигналов, проведение ряда экспериментов на выборке респондентов достаточного объема с учетом эффекта последовательности, формулировка двух основных гипотез, а также их проверка при помощи теста знаков с применением поправки на множественную проверку гипотез с помощью метода Холма-Бонферрони.

1. Общие положения и определения

Технология тактильной обратной связи (англоязычный термин haptics) может быть описана множеством определений. Обобщая наиболее распространенные из них, можно сформулировать следующее краткое определение: тактильная обратная связь — это передача своевременной и полезной информации, получаемой с помощью чувств осязания. В рамках работы исследуется передача тактильных сигналов в форме вибрационного отклика, реализуемого в мобильных устройствах с помощью вибромоторов.

1.1. Типы вибромоторов

Вибромотор в технических устройствах является тем компонентом, который создает вибрационный отклик. На сегодняшний день основными являются два типа вибромоторов — вращающийся с эксцентриком (ERM) и линейный (LRA) [6].

Вибромотор с эксцентриком может быть представлен в виде вала и насаженного на него эксцентрика со смещенной массой (диска или сектора диска), либо вращающегося внутри круглого корпуса эксцентрика. Примеры таких вибромоторов приведены на рисунке 1.

Вибрация создается за счет возникающего от вращения эксцентрика дисбаланса и передается на корпус устройства, в котором установлен компонент. Преимуществами такого вибромотора являются низкая цена, легкость управления и высокая сила вибрации. Также для его работы необходим постоянный ток, что позволяет питать моторчик от аккумулятфора без необходимости преобразования его в переменный ток. Главные недостатки такого вида вибромоторов — бесконтрольное «дребезжание» устройства и невозможность создания сложных эффектов вибрации (например, имитации прокручивания механического барабана или переключения тумблера). Также эксцентрик не может раскрутиться моментально, из-за чего для набора ощутимой силы вибрации уходит до 200 миллисекунд [7], что в некоторых случаях может оказаться слишком большим. Вследствие этого, также невозможно имитировать короткий, но сильный «толчок».

В корпусе линейных вибромоторов в одной плоскости движется некоторая масса (в виде тяжелой пластинки или цилиндра). С каждой стороны движущегося элемента находятся пружинки, а движение вызывается катушкой, при подаче тока на которую она выступает в роли магнита и перемещает элемент. В качестве пример такого вибромотора на рисунке 2 приведен модуль от компании Apple — Taptic Engine [8].

Линейные вибромоторы также могут быть разных типов. В упомянутом ранее Taptic Engine используется технология X-axis [7]. В этом случае вибромотор расположен по всей ширине корпуса устройства, а движущийся элемент передвигается влево-вправо, что позволяет ощутить одинаковую вибрацию вне зависимости от способа удерживания устройства. В вибромоторах с технологией Z-axis (Y-axis) [7] движение происходит не вдоль экрана, а в его сторону и обратно, из-за чего вибрация в разных частях устройства и при разных способах его удержания может ощущаться по-разному. Они также обладают меньшим размером, а, следовательно, и меньшей мощностью вибрации, в сравнении с компонентами X-axis типа.

Из преимуществ линейных вибромоторов стоит выделить моментальную реакцию — время достижения максимальной силы вибрации составляет менее 50 миллисекунд [7], а также они позволяют контролировать время работы и силы, что, в свою очередь, дает возможность реализовывать разнообразные тактильные эффекты.

1.2. Структура вибрационных сигналов

В мобильной операционной системе iOS версии 13 и выше для создания тактильных шаблонов используется специальный фреймворк — Core Haptics [9]. Он дает возможность добавлять в приложение собственные индивидуальные тактильные отклики, позволяя расширить функциональность и, путем комбинации и совмещения различных сигналов, выйти за пределы системных шаблонов.

Так, имеется два основных строительных блока — два типа сигналов. Это краткосрочный — короткий, почти мгновенный импульс, ощущаемый как касание или постукивание, а также непрерывный, который может продолжаться длительное время и ощущается как устойчивое воздействие [10].

Вибрационный шаблон представляет из себя последовательность сигналов с определенными значениями параметров. Основные из них — резкость и интенсивность, каждая из которых может принимать значение от 0 до 1, а также продолжительность сигнала в секундах, которая может быть установлена только для непрерывного сигнала. Соответствующее значение резкости помогает передать пользователю ощущение мягкости, округлости и органичности или же четкости, точности и механичности. Интенсивность позволяет управлять силой тактильного сигнала. Визуализация этих параметров приведена на рисунке 3.

Возможность изменения перечисленных параметров и составления сигналов в определенном порядке для создания цельного вибрационного шаблона является ключевой для проведения исследования.

2. Планирование дизайна эксперимента и проектирование приложения

Для проведения исследования было принято решение спроектировать приложение для мобильной операционной системы iOS, в котором была бы осуществлена возможность воспроизведения самостоятельно созданных вибрационных сигналов. Таким образом, было разработано четыре набора по десять шаблонов в каждом, отличающиеся между собой значением одной из изучаемых характеристик. Параметры полученных наборов приведены в таблице 1.

Таблица 1. Параметры наборов вибрационных шаблонов

Визуализации шаблонов из каждого набора представлены на рисунках 4–7 (для примера взят четвертый шаблон). Верхний график отображает значение интенсивности, нижний — значение резкости по оси ординат. Ось абсцисс на обоих графиках — время в секундах.

Интерфейс главного экрана разработанного приложения приведен на рисунке 8. При запуске приложения активируется ознакомительный режим, в котором пользователю предлагается протестировать основные методы взаимодействия — воспроизведение и перетаскивание вибрационных шаблонов. Имеется возможность выбора одного из четырех наборов для отображения, перемешивания шаблонов, а также отображения текущего их расположения в формате последовательности чисел от 1 до 10 (где корректное расположение по возрастанию представляет собой строку «1 2 3 4 5 6 7 8 9 10»).

По нажатию кнопки «Начать» шаблоны выбранного набора перемешиваются и в текстовый файл фиксируется время начала эксперимента. Респонденту предлагается расположить шаблоны в порядке возрастания изменяемой в текущем эксперименте характеристики (резкости или интенсивности). По нажатию кнопки «Готово», фиксируется время окончания эксперимента и отображается результат респондента. Эксперимент повторяется для каждого из наборов. Таким образом, по каждому из респондентов записываются его пол и возраст, а также приложением фиксируется время выполнения экспериментов и полученный результат, что дает возможность определить как точность выполнения задания в целом, так и степень корректности определения каждого шаблона по отдельности.

3. Результаты экспериментов и проверки гипотез

В рамках данной работы было принято решение сформулировать и проверить две основные гипотезы:

• гипотеза 1: «точность определения пользователем кратковременных сигналов различной интенсивности отлична от точности определения кратковременных сигналов различной резкости»;
• гипотеза 2: «точность определения пользователем непрерывных сигналов различной интенсивности отлична от точности определения непрерывных сигналов различной резкости».

3.1. Пилотный эксперимент

В пилотном эксперименте приняло участие 10 респондентов. Так как согласно эффекту последовательности порядок испытаний может влиять на значения измерений, у респондентов был разный порядок наборов шаблонов. Пример выходных данных для одного из них приведен в листинге 1.

Листинг 1. Пример выходных данных

Эксперимент: “Резкость (кратковременный)”
Старт эксперимента: 2022-03-07,12:01:42
Конец эксперимента: 2022-03-07,12:03:26
Результат: 2,1,3,4,5,6,9,10,7,8

Эксперимент: “Резкость (непрерывный)”
Старт эксперимента: 2022-03-07,11:58:31
Конец эксперимента: 2022-03-07,11:59:45
Результат: 1,2,4,3,5,6,7,8,9,10

Эксперимент: “Интенсивность (кратковременный)”
Старт эксперимента: 2022-03-07,12:00:22
Конец эксперимента: 2022-03-07,12:01:26
Результат: 1,4,2,5,3,6,8,7,9,10

Эксперимент: “Интенсивность (непрерывный)”
Старт эксперимента: 2022-03-07,11:56:55
Конец эксперимента: 2022-03-07,11:58:06
Результат: 1,2,3,4,5,6,7,8,9,10

Для приведения данных к удобному для обработки виду, был проведен ряд расчётов. Каждый результат был рассмотрен как массив из десяти элементов, индекс которых отображал их фактическое положение, а значения — их положение при правильном расположении шаблонов в порядке возрастания. Так, для каждого элемента был рассчитан квадрат отклонения по формуле (1), а для каждого полученного массива среднеквадратическое значение ошибки по формуле (2).

Пример рассчитанных данных для одного респондента представлен в таблице 2. Значения ошибок для каждого набора шаблонов по результатам пилотного эксперимента приведены в таблице 3.

Таблица 2. Результаты пилотного эксперимента для одного респондента

Набор шаблонов	Результат	Квадрат ошибки ( )										Среднеквадратическая ошибка
		1	2	3	4	5	6	7	8	9	10
Резкость (кратковременный)	1 2 4 3 8 5 9 7 10 6	0	0	1	1	9	1	4	1	1	16	1,84
Резкость (непрерывный)	1 3 2 4 5 7 10 6 8 9	0	1	1	0	0	1	9	4	1	1	1,34
Интенсивность (кратковременный)	1 2 3 4 5 6 7 10 8 9	0	0	0	0	0	0	0	4	1	1	0,77
Интенсивность (непрерывный)	1 2 3 4 5 6 7 8 9 10	0	0	0	0	0	0	0	0	0	0	0,00

Таблица 3. Значения среднеквадратических ошибок по результатам пилотного эксперимента

Для расчета размеров выборок для проведения основного эксперимента воспользуемся сравнением парных выборок при помощи теста знаков. Так, для первой гипотезы будем сравнивать полученные значения ошибок для наборов «Резкость (кратковременный)» и «Интенсивность (кратковременный)», а для второй — «Резкость (непрерывный)» и «Интенсивность (непрерывный)». Направление проверки обеих гипотез — двухстороннее.

Используемые для расчетов функции в программе Google Таблицы и формулы:

Так как по полученным данным для обеих гипотез количество ненулевых разностей вышло равным количеству типичных, вероятность  оказалась равна 1, поэтому было принято, что хотя бы одна разность является нетипичной и значение  составит 0,9. Таким образом, для достижения уровня значимости 1% и желаемой мощности 98% потребуется 34 респондента при сохранении тенденции получения ненулевых разностей. Результаты расчёта приведены в таблице 4.

Таблица 4. Результаты расчета размера выборки

	Уровень знач-ти	Желаемая мощность				Ненулевых разностей	Нетипичных разностей	Вер-ть успеха	Размер выборки
Гипотеза 1	1%	98%	-2,58	-2,05	-4,63	10	0	1 (0,9)	34
Гипотеза 2	1%	98%	-2,58	-2,05	-4,63	8	0	1 (0,9)	34

3.2. Основной эксперимент

Для основного эксперимента было набрано необходимое количество данных — 34 респондента приняло участие в исследовании. Для полученных данных, подобно данным из пилотного эксперимента, по формулам (1) и (2) соответственно, были посчитаны ошибки квадрата отклонения для каждого шаблона и средняя ошибка по каждому из наборов. Обработанные данные, а также результаты расчёта статистической значимости приведены в таблице 5.

Таблица 5. Результаты расчета статистической значимости для обеих гипотез

	Уровень значимости	Вероятность успеха	Ненулевых разностей	Нетипичных разностей	Статистическая значимость p­-value
Гипотеза 1	1% (0,5%)	50%	34	2	0,000007%
Гипотеза 2	1%	50%	31	2	0,000046%

Расчет статистической значимости был осуществлен с помощью теста знаков с двухсторонней проверкой. Для этого требовалось рассчитать весовые функции биномиального распределения по формуле (8), а также интегральное биномиальное распределение по формуле (9) или же воспользоваться функцией (10) в программе Google Таблицы.

Учитываем поправку на множественную проверку гипотез и, применяя метод Холма-Бонферрони, сравниваем наименьшее значение p­-value с желаемым уровнем значимости : 0,000007% < 0,5%, следовательно, для второй гипотезы (о сравнении непрерывных сигналов) получаем статистически значимый результат. Для первой гипотезы получаем 0,000046%< 1%, следовательно, результат также статистически значим и обе гипотезы считаем подтвержденными.

Заключение

В ходе исследования была проведена комплексная работа для проверки гипотез, включающая в себя ознакомление с наиболее широко распространенными сегодня типами вибромоторов, анализ структуры и параметров вибрационных сигналов, составляющих единый шаблон, создание четырёх наборов вибрационных шаблонов, отличающихся типом сигналов, а также значениями резкости и интенсивности, проектирование приложения для мобильной операционной системы iOS на языке программирования Swift с возможностью выбора наборов сигналов, их воспроизведением и перемещением, а также вывода результата на экран и в текстовый файл на устройстве.

Используя полученное приложение, была осуществлена проверка двух основных гипотез. В пилотном эксперименте приняло участие 10 респондентов, в основном — 34, сколько и требовалось в расчете размера выборки по пилотным данным. При проведении экспериментов был учтён эффект последовательности — респондентам предлагался различный порядок наборов вибрационных шаблонов. Расчет, так же, как и проверка гипотез, был осуществлен с помощью теста знаков, направление проверки — двухстороннее, была учтена поправка на множественную проверку гипотез путем применения метода Холма-Бонферрони. Так, была подтверждена гипотеза «точность определения пользователем кратковременных сигналов различной интенсивности отлична от точности определения кратковременных сигналов различной резкости» с полученным значением статистической значимости 0,000007%, а гипотеза «точность определения пользователем непрерывных сигналов различной интенсивности отлична от точности определения непрерывных сигналов различной резкости» подтвердилась со значением статистической значимости 0,000046%.

Таким образом, результаты исследования показали, что пользователи мобильных устройств точнее распознают вибрационные сигналы с различными значениями интенсивности, чем с различными значениями резкости. Это утверждение оказалось справедливым для обоих типов сигналов — как для кратковременных, так и для непрерывных. Поэтому в сценариях, где важно отразить различие между некоторыми событиями, сопровождающимися вибрационным откликом, для достижения наибольшей эффективности человеко-компьютерного взаимодействия разработчикам следует отдать предпочтение регулировке значений интенсивности сигналов, а не их резкости.