Neurotafl

1. Введение

Комплекс «Нейротафл» является авторской разработкой команды лаборатории «Нейрокультура», включающей в себя авторов данной статьи.

Созданный аппаратно-компьютерный комплекс «Нейротафл» является инструментом нового поколения, позволяющий пользователям выразить себя через индивидуальный художественный опыт. Мотивирование музыкой и различными звуками движения благотворно влияет на физиологические процессы в организме. Это улучшает самовосприятие, повышает способность координировать и разрабатывать двигательные навыки.

Инновационность данного проекта заключается в комбинации технических средств и методик работы, сочетающих в себе тактильно-кинестетический интерфейс, систему анализа и интерпретации данных алгоритмами физиологических и эмоциональных вычислений, получаемых в ходе аудио-моторных ассоциаций пользователей.

Цель такого взаимодействия — постепенное, контролируемое и целенаправленное развитие стимулируемых модальностей, при врожденной или рано приобретенной слепоте, проблемах с сенсорной и эмоциональной депривацией, или же исправление разнообразных сдвигов в поведении, соматическом состоянии, и отдельных нервно-психических нарушениях [1]. Программное обеспечение позволяет осуществлять индивидуальную настройку целей, контроль и анализ результатов взаимодействия в наглядной графической форме компьютерного интерфейса, а также целенаправленно осуществлять мероприятия силами волонтеров под общем контролем специалистов, педагогов и психологов, фиксировать полученные результаты программными инструментами системы. 

2. Аппаратно-программный комплекс «Нейротафл»

2.1. Концепция создания

Авторы проекта рассматривают тело с его перцептивными и моторными способностями как единое целое в рамках теории «воплощенного познания», или embodied cognition. Суть этого совершенно нового подхода, заключается в том, что между чувственно-моторным опытом, поведением, эмоциями и принятием решений существует сложная связь. Конструктором наших эмоций является мозг, который работает во взаимосвязи с физическими факторами, а ощущения связаны как с бессознательным, так и с сознательным мышлением, то есть наша моторика и наша перцепция включены в работу сознания.

Наше восприятие по своей природе является мультимодальным. Все наши чувства и модальности (как представлено в таблице 1) работают при восприятии мира, и они взаимно влияют друг на друга.

Таблица 1. Таблица модальностей

Мультимодальное восприятие и кросс-модальное поведение являются фундаментальными возможностями когнитивной системы человека, например, игра на музыкальном инструменте очень сильно зависит не только от слуха, но также от тактильной и визуальной обратной связи с инструментом.

2.2. Технологическая структура комплекса «Нейротафл»

Аппаратно-компьютерный комплекс «Нейротафл» представляет собой интерактивную систему реального времени, регистрирующую и анализирующую действия пользователя в момент взаимодействия. Комплекс распознает и преобразует движения на поверхности тактильно-кинестетического интерфейса, а также действия с интерактивными физическими объектами, в музыку или звук.

Основная цель такого взаимодействия, стимулирование моторики через провоцирование аудиальных и тактильных модусов сенсорного восприятия, поскольку через поощрение двигательной активности стимулируются и развиваются когнитивные способности.

Процесс взаимодействия происходит в игровой форме, с использованием аудиомоторных реакций переноса ощущений — когда стимул из одной модальности, например моторика, тактильные ощущения, текстура и форма ассоциируется со стимулом из другой модальности — звуком и музыкой. Такой тип взаимодействия способен развивать мыслительные процессы и функции у вовлекаемых во взаимодействие участников.

Основой̆ аппаратно-компьютерного комплекса «Нейротафл» является использование искусственных нейронных сетей̆. Нейронные сети используются для решения сложных задач, которые требуют аналитических вычислений подобных тем, которые производит человеческий̆ мозг.

Часть функций управления и адаптации осуществляются с помощью данных статистического анализа, получаемых в ходе взаимодействия, с помощью системы машинного обучения, позволяющей при взаимодействии выявлять скрытые и проблемные закономерности поведения пользователя, например, недостаточную быстроту реакции на различные типы звуковых и тактильных стимулов.

Программное обеспечение «Нейротафл» позволяет контролировать статистические и качественные показатели взаимодействия и включает в себя следующие функциональные программные модули:

• модуль компьютерного зрения, который обеспечивает физическое взаимодействие с системой с помощью физических объектов;
• модуль акустической рефлектометрии, который обеспечивает тактильное взаимодействие с поверхностью;
• классификатор распознаваемых действий и элементов взаимодействия на основе машинного обучения;
• систему наррации, содержащую фиксированные наборы звуковых и музыкальных последовательностей и преобразующую поступающие данные в звуковые, музыкальные и тактильные последовательности;
• статистический модуль анализа действий пользователя;
• графический интерфейс управления, контроля и настройки программы;
• графический интерфейс статистического анализа.

Программное обеспечение, за исключением интерфейсов контроля и статистического анализа, использует быстрые преобразования Фурье, цифровую обработку сигналов (англ. digital signal processing), анализ и синтез звука в реальном времени, машинное зрение, системы распознавания образов на основе машинного обучения (англ. machine learning) и глубокого обучения (англ. deep learning).

На рис. 1 представлен внешний вид комплекса «Нейротафл».

Основание комплекса выполнено из стальных труб. Конструкция основания позволяет регулировать высоту стола от 600 до 900 мм. В стойках каркаса предусмотрены отверстия для фиксации стола на необходимой высоте посредством специальных зажимов.

Столешница представляет собой конструкцию из березовой фанеры. Верхняя съемная часть изделия выполнена из наборного деревянного щита, панели из полупрозрачного монолитного поликарбоната и осветительного фильтра. В конструкции столешницы предусмотрены необходимые технические отверстия под установку оборудования, а также фиксации изделия на каркасе.

Корпус изготовлен из алюминиевых композитных панелей толщиной 4 мм. На изделии предусмотрены необходимые технические отверстия для установки оборудования, а также защитных и декоративных элементов изделия.

Защитная панель из монолитного поликарбоната установлена на корпус из композитных панелей через дистанционные держатели. Она служит для защиты оборудования, элементов коммутации от механических повреждений при эксплуатации изделия.

Важно, что все элементы конструкции изготовлены из гипоаллергенных и пожаробезопасных материалов и надежно закреплены между собой. На столешнице предусмотрены пояснительные тексты, нанесенные рельефно-точечным тактильным шрифтом Брайля.

Для системы компьютерного зрения применена универсальная камера JVC TK-C9300E компании JVC. Камера работает в инфракрасном режиме в диапазоне 850 нм. Для этого применен соответствующий инфракрасный фильтр, надетый на объектив камеры через переходник.

Для осуществления засветки внутренней поверхности стола и для стабильной работы камеры был изготовлен инфракрасный прожектор, работающий в диапазоне 850 нм.

2.3. Интерактивные элементы физического взаимодействия

В качестве интерактивных элементов были изготовлены 8 кубиков (70х70х70мм), выполненные из дубовых ламелей (рис. 2).

Каждый элемент оснащен следующими узлами и модулями:

• модуль цифрового датчика гироскопа mpu9250;
• акселерометр mpu-6500;
• трехосный компас ak8963.

За обработку данных отвечает интегрированный Digital Motion Processor (DMP).

Плата модуля обработки, приема и передачи сигнала оснащена встроенным Wi-Fi модулем. Плата оснащена micro Usb разъемом, а также одиннадцатью цифровыми GPIO, с аналоговым входом / выходом (максимум 3.2 В). Преимуществами данной платы являются миниатюрный размер и наличие модуля Wi-Fi.

2.4. Технические возможности системы

Система машинного анализа действий пользователя отслеживает действия, совершаемые пользователем на поверхности «стола» и с объектами физической манипуляции «кубики».

Базовые параметры анализа:

1. кинестетическое (тактильное) взаимодействие:

• распознавание объектов на поверхности;
• распознавание траекторий;
• автоматическая нумерация объектов;
• координаты объекта;
• размеры объекта;
• скорость объекта;
• ускорение объекта;
• скорость и амплитуда удара по поверхности.

2. объекты физического взаимодействия:

• распознавание граней объекта (6 граней куба);
• скорость и ускорение объекта;
• вращение объекта относительно любой из граней.

3. параметрический анализ связанных с взаимодействием звуковых событий в ходе каждой сессии:

• Auditory model spectrum;
• Loudness (Spectral Energy);
• Brightness (Spectral Centroid);
• Noisiness (Spectral Flatness);
• Pitch (F0) Estimation;
• Beats per minute.

Для управления звуковыми, музыкальными и тактильными элементами используется алгоритмическое преобразование полученных данных от системы машинного анализа действий пользователя. В непосредственной работе предполагается использовать три момента обучения: геометрические фигуры, сложные элементы и систему координат. Для слабовидящих применяются специально разработанные методы и формы работы, рассчитанные на слуховое и осязательное восприятие.

Особое внимание уделяется развитию:

1. мышечного чувства;
2. остаточного зрения;
3. конкретизации представления о видах и формах предметов;
4. представления об окружающих объектах;
5. представления о типах орудий труда;
6. развитию наглядно-практического мышления;
7. формированию навыков пространственной ориентировки.

3. Обзор аналогов

Прямых аналогов «Нейротафла» не существует, однако удалось обнаружить разработки в области интерфейсов для незрячих, слабовидящих и слепоглухих, которые затрагивают не только проблемы реабилитации и умственного развития, но также интересны в контексте мультимодального взаимодействия. Рассмотрим некоторые разработки.

1. «Hello, Tacilia!». Tacilia это тактильный пользовательский интерфейс с голосовым управлением основанный на новой технологии материалов, изменяющих форму и продвинутом распознавании речи с помощью искусственного интеллекта [17]. Он предназначен для незрячих и слабовидящих и сочетает в себе голосовой ввод и тактильный ввод с помощью азбуки Брайля, реализованной с помощью материала с эффектом памяти.
2. Веб-приложение для развития слабовидящих детей. Приложение для iOS и Android, а также web-приложение, предоставляющее различные аудио-визуальные стимулы для развития слабовидящих детей. Упор делается на соотнесение визуального стимула и его звуковой расшифровки [18].
3. Разработка для обучения слабовидящих детей математике. Данная разработка использовала музыку и звук для обучения слабовидящих детей математике [19]. Авторы отмечают, что математика оперирует визуальными образами как основным средством, совершенно недоступным незрячим детям. Авторы ставят задачу заменить визуальные образы на звуковые. Решение представлено, как и описанная выше разработка, в виде приложения для iPad. Несмотря на относительную давность разработки и крайне малую выборку для эксперимента, приложение представляет интерес, так как решает задачи обучения детей, что близко к задачам «Нейротафла».
4. Программно-аппаратный комплекс, состоящий из виброкостюма и планшета на базе ОС Android. Комплекс с помощью разработанного авторами ПО преобразует введённый текст или распознанную речь зрячего и говорящего собеседника в последовательность вибросигналов (рисунок из вибраций, несущий определенный вербальный смысл), передаваемых на костюм, надетый на слепоглухого собеседника [20]. Слепоглухой собеседник, в свою очередь, рисует на планшете последовательность вибраций (наподобие того, как мы вводим графический ключ для разблокировки смартфона), которая преобразуется в текст или автоматически озвученный текст. Для того, чтобы слепоглухой собеседник не мог ошибиться при вводе рисунка на планшете, авторы исследования разработали прозрачный чехол, рельеф которого при наложении на экран в точности повторяет расположение опорных для рисунка точек. Зрячий собеседник также может воспользоваться вводом с помощью «графического ключа», если владеет азбукой слепоглухих.

4. Исследование эффективности занятий, проводимых с помощью аппаратно-компьютерного комплекса «НЕЙРОТАФЛ» в школе-интернате №1 им. К.К. Грота для слепых и слабовидящих детей

В мероприятиях проекта «Нейрокультура» проводимых в школе-интернате №1 им. К.К. Грота для слепых и слабовидящих детей приняло участие 12 учащихся в возрасте от 7 до 12 лет.

Выборка. Выборку составили слепые, слабовидящие дети, а также слабовидящие дети с ментальными нарушениями от 7 до 12 лет.

Процедура исследования. Количество занятий на одного человека: 2 занятия в неделю по 1 часу. Всего 16 часов на одного человека за 3 месяца (март-май). Общее количество часов: 192. Основной формой деятельности в ходе проводимых занятий является учебно-игровая деятельность учащихся.

Для ее проведения были созданы интерактивные звуко-музыкальные программы с применением аппаратно-компьютерного комплекса «Нейротафл». Приоритетными видами деятельности при проведении занятий являются: индивидуальная работа, работа в парах с применением аппаратно-компьютерного комплекса «Нейротафл»; участие в беседе, дискуссии; участие в упражнениях и играх, творческая работа на аппаратно-компьютерном комплексе «Нейротафл»; рефлексия и обратная связь.

Во время занятий дети проявляли интерес к интерактивным сказкам, проводимым с использованием аппаратно-компьютерного комплекса «Нейротафл». Детям было интересно воспринимать сказки аудиально и тактильно, используя интерактивные возможности системы: слушать звуки при составлении сказок и прослушивать полученный результат, некоторым было интересно тактильное взаимодействие: ощущать фактуру интерактивных элементов (кубики), трогать поверхность стола и чувствовать вибрацию. С каждым занятием у детей изменялся эмоциональный фон.

Цель проводимых занятий. Целью проводимых занятий является социокультурное развитие, развитие эмоционального интеллекта и раскрытие творческого потенциала слепых и слабовидящих детей с ОВЗ (ограниченными возможностями здоровья).

Поставленные задачи:

1. Улучшение психоэмоционального состояния обучающихся.
2. Снижение уровня школьной, самооценочной, межличностной тревожности.
3. Развитие творческого потенциала обучающихся.
4. Развитие коммуникативных навыков и навыков самоконтроля.
5. Развитие мыслительных процессов и способности к рефлексии и эмпатии.
6. Улучшение у обучающихся качества взаимодействия с окружающей средой.

Формирующий эксперимент. В качестве упражнений использовалась элементы сказкотерапии [2]. Сказкотерапия — психотерапевтических метод, использующий сочинение сказок и историй для реализации коррекционных воздействий. Сказкотерапия используется как одна из техник изменения дисфункциональных установок и формирования альтернативных поведенческих сценариев. Сказкотерапия используется психологами в работе с детьми с эмоциональными нарушениями — в первую очередь со страхами, тревожностью, гиперсенситивностью (сверхчувствителностью).

Были разработаны и проведены занятия с использованием интерактивных звуко-музыкальных сказок с применением аппаратно-компьютерного комплекса «Нейротафл» (таблица 2). Аппаратными средствами контролировались выраженность эмоций и динамика их переживаний в ходе проведения занятий. Также, с помощью комплекса «Нейротафл» при взаимодействии со звуко-музыкальными и смысловыми нарративами интерактивных сказок, школьники учились общаться, а также осуществлять самоконтроль и саморегуляцию поведения. В дополнение к вышеперечисленному, занятия проводились для развития творческого потенциала обучающихся, формирования мыслительных процессов и способности к эмпатии.

Таблица 2. Программа социокультурного развития, развития эмоционального интеллекта и творческого потенциала слепых и слабовидящих детей с ОВЗ (ограниченными возможностями здоровья) с помощью программно-аппаратного комплекса «Нейротафл»

Методика изучения социально-ситуативной тревожности. Для изучения тревожности была использована методика «Шкалы социально-ситуативной тревожности» Д. Кондаша. С помощью данной методики можно выявить уровень тревожности по трем основным параметрам: школьная тревожность, которая проявляется непосредственно в учебной деятельности, межличностная тревожность, возникающая в процессе взаимоотношений со сверстниками и значимыми взрослыми, а также самооценочная тревожность, выражающаяся в имеющихся представлениях о самом себе.

Результаты тестирования. Начальное тестирование выявило у детей повышенную тревожность. Результаты отражены в таблице изменений по показателям после повторного тестирования (таблица 3).

Таблица 3. Показатели социально-ситуативной тревожности и слепых и слабовидящих детей без интеллектуальных нарушений.

Статистический анализ с использованием U-критерия Манна-Уитни показал значимые различия по показателю общей и школьной тревожности. Использование опросников затруднено у слабовидящих детей с интеллектуальными нарушениями, поэтому был использован метод наблюдения. Показатели у слабовидящих детей с ментальными нарушениями при использовании метода наблюдения следующие: 9 (Лл.) средний / низкий,10 (Дн.) высокий / повышенный, 11 (Ол.) высокий / средний, 12 (Ас.) повышенный / средний уровни.

Результаты формирующего эксперимента:

• рост параметров взаимодействия: выраженность положительных эмоций, снижение уровня школьной, самооценочной и межличностной тревожности.
• положительная динамика мыслительных способностей и способностей к эмпатии.
• коррекция и компенсация вторичных отклонений в развитии слепых и слабовидящих детей.

5. Выводы

Таким образом, использование аппаратно-компьютерного комплекса «Нейротафл» позволяет достичь ряд психолого-педагогических и коррекционно-развивающих целей для слепых и слабовидящих детей, а именно:

1. Рост параметров взаимодействия: выраженность положительных эмоций снижение уровня школьной, самооценочной и межличностной тревожности.
2. Положительная динамика мыслительных способностей и способностей к эмпатии.
3. Коррекции и компенсации вторичных отклонений в развитии слепых и слабовидящих детей.
4. В результате снижения тревожности улучшилось качество взаимодействия с другими субъектами образования и со средой.

Преимуществами метода являются неинвазивность, немедикаментозность, отсутствие возрастных ограничений, отсутствие побочных эффектов. Это способствует нормализации психофизиологического состояния ребенка. В ходе занятий также наблюдается улучшение настроения, снижение гиперактивности, эмоциональной напряженности, утомляемости и агрессивности.

Коррекционно-развивающие занятия с применением аппаратно-компьютерного комплекса «Нейротафл» обладают стимулирующим эффектом, способствующим результативному восстановлению речевых и когнитивных функций у детей с задержками психоречевого развития. У детей отмечается уменьшение выраженности стереотипий, постепенно улучшаются навыки коммуникации, понимание обращенной речи. Неоднократные наблюдения показали улучшение моторных функций.

Высоко значение применения предложенной коррекции у детей в период привыкания к школьно-дошкольным учреждениям с целью поддержки оптимального уровня адаптационных возможностей ребенка. Нейрофизиологические механизмы, заложенные в предложенной методике работы с применением современных высокотехнологичных средств, заключаются в активации процессов нейропластичности за счет синхронизации эндогенной нейронной активности с афферентной нейродинамикой, спровоцированной сенсорным воздействием. Активация нейропластичности способствует восстановлению процессов созревания структур мозга, а также включению морфофункциональных компенсаторных механизмов.

Таким образом, это высокоэффективная методика, позволяющая результативно корректировать отклонения в развитии и служащая целям адаптации и реабилитации детей с ограниченными возможностями здоровья, испытывающих трудности в обучении и в социальной адаптации.