Применение интерфейсов «мозг-компьютер» в ассистивных технологиях
Ключевые слова:
ассистивные технологии, роботизированные устройства, интерфейсы мозг-компьютер, электроэнцефалография, воображаемые движения, методы классификации, нейронные сети, метод опорных векторов, риманова геометрияАннотация
Рассматриваются вопросы применения интерфейсов мозг-компьютер в ассистивных технологиях, в частности для управления роботизированными устройствами. Неинвазивные интерфейсы мозг-компьютер строятся на основе обработки и классификации электроэнцефалографических сигналов, показывающих биоэлектрическую активность в различных зонах мозга. Системы на основе неинвазивных интерфейов мозг-компьютер после обучения способны декодировать электроэнцефалографические паттерны, соответствующие разным воображаемым движениям человека, а также паттерны, соответствующие различным аудиовизуальным стимулам. Сформулированы и приведены требования, которым должны отвечать интерфейсы мозг-компьютер, работающие в режиме реального времени, чтобы биологическая обратная связь была эффективна и мозг пользователя смог правильно ассоциировать ответы с событиями. Рассматривается процесс обработки электроэнцефалографических сигналов в неинвазивных интерфейсах мозг-компьютер, включающий пространственную и временную фильтрацию, удаление двигательных артефактов, выделение признаков и классификацию. Описываются и сравниваются классификаторы, основанные на методе опорных векторов, искусственных нейронных сетях и римановой геометрии. Показано, что такие классификаторы могут обеспечить точность 60-80% при распознавании от двух до четырех классов воображаемых движений в режиме реального времени по одной пробе. Приведены примеры использования таких классификаторов для управления роботизированными устройствами, помогающими здоровым людям лучше выполнять повседневные функции и улучшающими качество жизни людей с ограниченными возможностями. Проведены эксперименты по управлению роботизированной рукой с пятипалой кистью, мобильной сенсорной платформой и антропоморфным роботом. На основе полученных результатов исследования сформулированы задачи, которые нужно решить, чтобы применение технологии стало более эффективным.
Литература
2. Karpov A., Ronzhin A. A Universal Assistive Technology with Multimodal Input and Multimedia Output Interfaces // International Conference on Universal Access in Hu-man-Computer Interaction. 2014. pp. 369–378.
3. Карпов А.А., Юсупов Р.М. Многомодальные интерфейсы человеко-машинного взаимодействия // Вестник Российской академии наук. 2018. Т. 88. № 2. С. 146–155.
4. Аналитический обзор мирового рынка робототехники. URL: https://www.sberbank.ru/common/img/uploaded/analytics/2018/analiticeskij-obzor-mirovogo-rynka-robototehniki.pdf (дата обращения: 03.01.2020).
5. Кагиров И.А. и др. Интеллектуальный интерфейс для управления роботизиро-ванным медицинским экзоскелетом нижних конечностей Remotion // Авиакос-мическая и экологическая медицина. 2019. Т. 53. № 5. С. 92–98.
6. Diez P. Smart Wheelchairs and Brain-computer Interfaces: Mobile Assistive Technol-ogies // Academic Press. 2018. 492 p.
7. Wolpaw J., Wolpaw E.W. Brain-computer interfaces: principles and practice // Oxford University Press. 2012. 400 p.
8. Daly I. et al. On the control of brain-computer interfaces by users with cerebral pal-sy // Clinical Neurophysiology. 2013. vol. 124. no. 9. pp. 1787–1797.
9. Banville H., Falk T.H. Recent advances and open challenges in hybrid brain-computer interfacing: a technological review of non-invasive human research // Brain-Computer Interfaces. 2016. vol. 3(1). pp. 9–46.
10. Choi I. et al. A systematic review of hybrid brain-computer interfaces: taxonomy and usability perspectives // PloS One. 2017. vol. 12(4). pp. e0176674.
11. Yin E. et al. A hybrid BCI based on EEG and fNIRS signals improves the perfor-mance of decoding motor imagery of both force and speed of hand clenching // Jour-nal of Neural Engineering. 2015. vol. 12(3). pp. 036004.
12. Yin E. et al. A hybrid BCI based on fusion of P300 and SSVEP scores // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2015. vol. 23(4). pp. 693–701.
13. Chang M.H. et al. Eliciting dual-frequency SSVEP using a hybrid SSVEP-P300 BCI // Journal of Neuroscience Methods. 2016. vol. 258. pp. 104–113.
14. Obeidat Q.T., Campbell T.A., Kong J. Spelling with small mobile brain-computer interface in a moving wheelchair // IEEE Transactions on Neural Systems and Reha-bilitation. 2017. vol. 25(11). pp. 2169–2179.
15. Mishra S. et al. Soft, conformal bioelectronics for a wireless human-wheelchair inter-face // Biosensors and Bioelectronics. 2017. vol. 91 pp. 796–803.
16. Фролов А.А., Рощин В.Ю. Интерфейс «мозг-компьютер». Реальность и перспек-тивы // Научная конференция по нейроинформатике МИФИ. 2008. p. 2008.
17. Каплан А.Я. и др. Экспериментально-теоретические основы и практические реализации технологии «Интерфейсы мозг-компьютер» // Бюллетень сибирской медицины. 2013. Т. 12. № 2. С. 21.
18. Sonkin K.M. et al. Development of electroencephalographic pattern classifiers for real and imaginary thumb and index finger movements of one hand // Artificial Intelli-gence in Medicine. 2015. vol. 63(2). pp. 107–117.
19. Станкевич Л.А. и др. Классификация электроэнцефалографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер // Труды СПИИРАН. 2015. Вып. 3(40). С. 163–182.
20. Stankevich L.A. et al. EEG Pattern Decoding of Rhythmic Individual Finger Imagi-nary Movements of one Hand // Human Physiology. 2016. vol. 42(1). pp. 32–42.
21. Stankevich L., Sonkin K. Human-Robot Interaction Using Brain-Computer Interface Based on EEG Signal Decoding // International Conference on Interactive Collabora-tive Robotics. 2016. pp. 99–106.
22. Станкевич Л.А., Гунделах Ф.В. Управление роботом с использованием интерфейса «мозг-компьютер» // Робототехника и техническая кибернетика. 2017. № 2. C. 52–56.
23. Lawhern V.J. et al. EEGNet: a compact convolutional network for EEG-based brain-computer interfaces // Journal of neural engineering. 2018. vol. 15. no. 5. pp. 056013.
24. Schirrmeister R.T. et al. Deep learning with convolutional neural networks for brain mapping and decoding of movement-related information from the human EEG // arXiv preprint arXiv:1703.05051.
25. Lotte F. et al. A Review of classification algorithms for EEG-based brain-computer interfaces: a 10-year Update // Journal of Neural Engineering. 2018. vol. 15. no. 3. pp. 55.
26. Li Y., Wong K.M., de Bruin H. EEG Signal Classification Based on a Riemannian Distance Measure // IEEE Toronto International Conference Science and Technology for Humanity (TIC-STH). 2009. pp. 268–273.
27. Congedo M., Barachant A., Bhatia R. Riemannian geometry for EEG-based brain-computer interfaces; a primer and review // Brain-Computer Interfaces. 2017. vol. 4(3). pp. 155–174.
28. Рука-робот InMoov. Проекты с Aurdino. 2012. URL: http://arduino-projects.ru/projects/ruka-robot-inmoov/ (дата обращения: 05.01.2020).
29. Антропоморфный робот NAO. URL: http://aldebaran-robotics.com/en (дата обра-щения: 05.01.2020).
30. Полонников Р.И. Основные концепции общей теории информации // СПб.: Наука. 2006. 204 с.
Опубликован
Как цитировать
Раздел
Copyright (c) Филипп Викторович Гунделах, Лев Александрович Станкевич, Константин Михайлович Сонькин, Жанна Владимировна Нагорнова, Наталья Вячеславовна Шемякина
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).