Многомодальные интерфейсы: основные принципы и когнитивные аспекты
Аннотация
При проектировании многомодальных систем за основу берутся способы естественной коммуникации между людьми, а также моделируется поведение человека в аналогичной ситуации. Многодомодальность позволяет вести более эффективный диалог за счет дублирования передаваемой информации по разным информационным каналам и выбирать (замещать) доступные для пользователя модальности. Выделяются два типа модальностей: входные и выходные. Входные отвечают за восприятие информационных потоков, идущих от человека (речь, звуки, движения тела, рукописный текст и др.). Выходные модальности обеспечивают пользователя необходимой информацией о событиях, происходящих внутри системы, и поступающих сигналах. Знания о механизмах восприятия и обработки информации человеком, моделировании когнитивных и поведенческих процессов позволяют разработать многомодальные интерфейсы, обеспечивающие привычные и естественные для пользователя способы взаимодействия.Литература
Карпов А. А., Ронжин А. Л. Многомодальные интерфейсы в автоматизированных системах управления // Известия вузов. Приборостроение. 2005. Вып. 48. С. 9–14.
Bellik Y. MEDITOR: a Multimodal Text Editor for Blind Users // Proc. of ACM UIST’96, Ninth Annual Symposium on User Interface Software, Seattle, Washington, USA, 1996.
Benoit C.., Martin J. C., Pelachaud C., Schomaker L., and Suhm B. Audiovisual and Multimodal Speech Systems // Handbook of Standards and Resources for Spoken Language Systems / D. Gibbon (Ed.). Dordrecht: Kluwer Academic Publishers, 2000. 544 p.
Bernsen N. O., Dybkjær H. and Dybkjær L. Designing Interactive Speech Systems. From First Ideas to User Testing. New York: Springer Verlag, 1998. 276 p.
Bolt R. A. Put-That-There: Voice and Gesture at the Graphics Interface // Computer Graphics. 1980. Vol. 14, no. 3. P. 262–270.
Cohen P. R., Johnston M., McGee D., Oviatt S. Quickset: Multimodal Interaction for Distributed Applications // Proc. of the Fifth ACM International Multimedia Conference. New York: ACM Press, 1997. P. 31–40.
Liddel S. K. Structures for Representing Handshape and Local Movement at the Phonemic Level // Theoretical Issues in Sign Language Research / Fischer S. D. (Ed.). University of Chicago Press. 1990. P. 37–65.
Oviatt S L. Mutual Disambiguation of Recognition Errors in a Multimodal Architecture // Proceedings of the Conference on Human Factors in Computing Systems (CHI’99). New York: ACM Press, 1999. P. 576–583.
Oviatt S. L. Multimodal Interfaces // The Human-Computer Interaction Handbook: Fundamentals, Evolving Technologies and Emerging Applications, Jacko J. and Sears A. (Eds.). Mahwah, NJ: Lawrence Erlbaum Assoc. 2003. P. 286–304.
Oviatt S. L. Multimodal Interactive Maps: Designing for Human Performance // Human- Computer Interaction. Special Issue on Multimodal Interfaces. 1997. Vol. 12. P. 93–129.
Oviatt S. L. Ten Myths of Multimodal Interaction // Communications of the ACM. 1999. Vol. 42. P. 74–81.
Ronzhin A. L., Karpov A. A., Timofeev A. V., Litvinov M.V. Multimodal Human-Computer Interface for Assisting Neurosurgical System // Proc. of 11-th International Conference on Human- Computer Interaction HCII-2005, Las Vegas, Nevada, USA, Mira Digital Publishing, Las Vegas, 2005.
Ronzhin A., Karpov A. Assistive Multimodal System Based on Speech Recognition and Head Tracking // Proc. of 13-th European Signal Processing Conference (EUSIPCO-2005), Antalya, Turkey, 2005.
Salber D., Coutaz J. Applying the Wizard of Oz Technique to the Study of Multimodal Systems // Proc. of East/West Human Computer Interaction, Moscow, 1993. P. 219–230
Železný M., Císar P., Krnoul Z., Ronzhin A., Li I., Karpov A. Design of Russian Audio-Visual Speech Corpus for Bimodal Speech Recognition // Proc. of 10-th International Conference SPECOM’2005, Patras, Greece, 2005. P. 397–400.
Bellik Y. MEDITOR: a Multimodal Text Editor for Blind Users // Proc. of ACM UIST’96, Ninth Annual Symposium on User Interface Software, Seattle, Washington, USA, 1996.
Benoit C.., Martin J. C., Pelachaud C., Schomaker L., and Suhm B. Audiovisual and Multimodal Speech Systems // Handbook of Standards and Resources for Spoken Language Systems / D. Gibbon (Ed.). Dordrecht: Kluwer Academic Publishers, 2000. 544 p.
Bernsen N. O., Dybkjær H. and Dybkjær L. Designing Interactive Speech Systems. From First Ideas to User Testing. New York: Springer Verlag, 1998. 276 p.
Bolt R. A. Put-That-There: Voice and Gesture at the Graphics Interface // Computer Graphics. 1980. Vol. 14, no. 3. P. 262–270.
Cohen P. R., Johnston M., McGee D., Oviatt S. Quickset: Multimodal Interaction for Distributed Applications // Proc. of the Fifth ACM International Multimedia Conference. New York: ACM Press, 1997. P. 31–40.
Liddel S. K. Structures for Representing Handshape and Local Movement at the Phonemic Level // Theoretical Issues in Sign Language Research / Fischer S. D. (Ed.). University of Chicago Press. 1990. P. 37–65.
Oviatt S L. Mutual Disambiguation of Recognition Errors in a Multimodal Architecture // Proceedings of the Conference on Human Factors in Computing Systems (CHI’99). New York: ACM Press, 1999. P. 576–583.
Oviatt S. L. Multimodal Interfaces // The Human-Computer Interaction Handbook: Fundamentals, Evolving Technologies and Emerging Applications, Jacko J. and Sears A. (Eds.). Mahwah, NJ: Lawrence Erlbaum Assoc. 2003. P. 286–304.
Oviatt S. L. Multimodal Interactive Maps: Designing for Human Performance // Human- Computer Interaction. Special Issue on Multimodal Interfaces. 1997. Vol. 12. P. 93–129.
Oviatt S. L. Ten Myths of Multimodal Interaction // Communications of the ACM. 1999. Vol. 42. P. 74–81.
Ronzhin A. L., Karpov A. A., Timofeev A. V., Litvinov M.V. Multimodal Human-Computer Interface for Assisting Neurosurgical System // Proc. of 11-th International Conference on Human- Computer Interaction HCII-2005, Las Vegas, Nevada, USA, Mira Digital Publishing, Las Vegas, 2005.
Ronzhin A., Karpov A. Assistive Multimodal System Based on Speech Recognition and Head Tracking // Proc. of 13-th European Signal Processing Conference (EUSIPCO-2005), Antalya, Turkey, 2005.
Salber D., Coutaz J. Applying the Wizard of Oz Technique to the Study of Multimodal Systems // Proc. of East/West Human Computer Interaction, Moscow, 1993. P. 219–230
Železný M., Císar P., Krnoul Z., Ronzhin A., Li I., Karpov A. Design of Russian Audio-Visual Speech Corpus for Bimodal Speech Recognition // Proc. of 10-th International Conference SPECOM’2005, Patras, Greece, 2005. P. 397–400.
Multimodal Interfaces: Main Principles and Cognitive Aspects
Abstract
The development of multimodal systems is based on natural forms of inter-human communication and modeling of human’s behavior at the same situation. Multimodality provides more effective dialogue by duplication of the transmitted information via different channels and possibility of choosing the modalities accessible for a user. Two types of the modalities are discussed: input and output. The input modalities response for perception of information streams going from a human (speech, sounds, body motions, handwriting, etc.). The output modalities inform a user about the events taking place in the system and coming signals. Knowledge about mechanisms of human perception and information processing, modeling of cognitive and behavior processes allow to develop the multimodal interfaces, which provide usual and natural ways of the human-computer interaction.Опубликован
2006-02-01
Как цитировать
Ронжин, & Карпов,. (2006). Многомодальные интерфейсы: основные принципы и когнитивные аспекты. Труды СПИИРАН, 1(3), 300-319. https://doi.org/10.15622/sp.3.18
Раздел
Статьи
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
