Методы и алгоритмы коллективного распознавания: обзор
Аннотация
Под коллективным распознаванием понимается задача использования множества классификаторов, каждый из которых принимает решение о классе одной и той же сущности, ситуации, образа и т.п., с последующим объединением и согласованием решений отдельных классификаторов с помощью того или иного алгоритма. В настоящее время это направление в области распознавания образов и классификации, которое, с одной стороны, зарекомендовало себя как новый шаг в данной области, и которое, с другой стороны, находит все более и более широкое применение в решении сложных крупномасштабных прикладных задач, является предметом активных теоретических и прикладных исследований. Данная работа посвящена обзору состояния исследований в упомянутой области начиная с первых работ, которые относятся еще к 1950-м годам, и заканчивая самыми новыми результатами.Литература
Бешелев С. Д., Гурвич Ф. Г. Экспертные оценки. М.: Наука, 1973. 159 с.
Бонгард М. М. Проблема узнавания. М.: Наука, 1967. 320 с.
Воробьев Н. Н. Вопросы математизации принятия решений на основе экспертных оценок // Материалы IV симпозиума по кибернетике. 1972. Ч. 3. C. 47–51.
Глушков В. М. О прогнозировании на основе экспертных оценок // Кибернетика. 1969. № 2. С. 2–4.
Математические методы в социальных науках / Под ред. П. Лазарфельда. и Н. М. Генри: Прогресс, 1973. 352 с.
Льюс Р., Райфа Х. Игры и решения. М.: Изд-во иностранной литературы, 1961. 642 с.
Миркин Б. Г. Проблема группового выбора. М.: Наука, 1974. 342 с.
Растригин Л. А., Эренштейн Р. Х. Метод коллективного распознавания. Библиотека по автоматике. Вып. 615. М.: Энергоиздат, 1981. 78 с.
Растригин Л. А., Эренштейн Р. Х. Коллектив алгоритмов для обобщения алгоритмов решения задач // Известия АН СССР. Техническая кибернетика. 1978. № 2. С. 116–126.
Растригин Л. А., Эренштейн Р. Х. Принятие решений коллективом решающих правил в задачах распознавания образов // Изв. АН СССР. Автоматика и телемеханика. 1975. № 9. С. 134–144.
Растригин Л. А., Эренштейн Р. Х. Коллектив алгоритмов // Материалы Международной объединенной конференции по искусственному интеллекту. Том 3. М., 1975. С. 138–144.
Растригин Л. А., Эренштейн Р. Х. Обучение коллектива решающих правил // Адаптивные системы. 1974. Вып. 4. 1974. С. 8–20.
Розенблат Ф. Принципы нейродинамики. М.: Мир, 1965. 196 с.
Комарцова Л. Г., Максимов А. В. Нейрокомпьютеры. М.: Изд-во МГТУ имени Баумана, 2002. С. 115–117.
Ali K., Pazzani M. Error Reduction through Learning Multiple Descriptions // Machine Learning. 1996. No. 24(3). P. 173–202.
Sharkey A. J. C. Combining Artificial Neural Nets: Ensembles and Modular Multi–net Systems. Berlin: Springer-Verlag, 1999. P. 1–30.
Bay S. D., Pazzani M. J. Characterizing Model Error and Differences // Proceedings of 17th International Conference on machine learning (ICML-2000). San Francisco: Morgan Kaufmann, 2000. P. 49–56.
Blin J., Fu K., Whinston A. Application of Pattern Recpognition to some Problems in Economics // Techniques of Optimization / Ed. A. Balakrishnan. 1972. No. 416. P. 1–18.
Breiman L. Bagging Predictors // Machine Learning. 1996. No. 24 (2). P. 123–140.
Breiman L. Stacked Regression // Machine Learning. 1996. No. 24(1). P. 49–64.
Buntine W. L. A Theory of Learning Classification Rules: Ph.D thesis, 1990. P. 172. (University of Technology, School of Computing Science, Sydney, Australia)
Clark P., Niblett T. The CN2 Induction Algorithm // Machine Learning Journal. 1989. No. 3. P. 261–283.
Clemen R. Combining Forecasts: A Review and Annotated Bibliography // International Journal of Forecasting. 1989. No. 5. P. 559–583.
Cost S., Salzberg S. A Weighted Nearest Neighbor Algorithm for Learning with Symbolic Features // Machine Learning. 1993. No. 10(1). P. 57–78.
Condorcet N. C. Essai sur l'application de l’analyse à la Probabilité des Décisions rendues a la Pluralité des voix. Paris : L’Imprimerie Royale, 1785.
Dietterich T. Machine Learning Research: Four Current Directions // AI Magazine. 1997. No. 18(4). P. 97–136.
Fix E., Hodges J. Nonparametric Discrimination // Technical Report No. 11. USAF School of Aviation Medicine, Rendolph Field, Texas, 1952.
Freund Y., Shapire R. Experiments with a New Boosting Algorithm // Machine Learning. Proceedings of the 13th International Conference. San Francisco: Morgan Kaufmann, 1996. P. 148-156.
Gama J., Brazdil P. Cascade Generalization // Machine Learning. 2000. No. 41(3). P. 315–342.
Gorodetski V., Karsayev O. Algorithm of Rule Extraction from Learning Data // Proceedings of the 8th International Conference Expert Systems & Artificial Intelligence (EXPERSYS- 96).1996. P. 133–138.
Hashem S. Optimal linear combination of neural networks: Ph.D. thesis, 1997. (Purdue University, School of Industrial Engineering, Lafaette)
Ho T. K., Hull J. J., Shirari S. N. Decision Combination in Multiple Classifier Systems // IEEE Transaction on Pattern Analysis and Machine Intelligence. 1994. No. 16(1). P. 66–75.
Ho T. K. Multiple Classifier Combination: Lessons and Next Step // Hybrid Methods in Pattern Recognition, World Scientific, 2002. P. 17.
Huang T., Hess C., Pan H., Liang Zhi-Pei. A Neuronet Approach to Information Fusion [Электронный ресурс] // (по состоянию на 21.04.06).
Jacobs R., Jordan M., Nowlan S., Hinton G. Adaptive Mixtures of Local Experts [Электронный ресурс] // (по состоянию на 21.04.06).
Jordan M., Jacobs R. Hierarchical mixtures of experts and the EM algorithm // Neural Computations. 1994. No. 6(2). P. 181–214.
Kanal L. Interactive Pattern Analysis and Classification. Survey and Commentary // Proceedings of IEEE. 1972. Vol. 60, no.10. P. 1200–1215.
Kittler J., Hatef M., Duin R. P. W., Matas J. On combining classifiers // IEEE Transactions on pattern Analysis and Machine Intelligence. 1998. No. 20(3). P. 226–239.
Kittler J., Roli F. (Eds.). Multiple Classifier Systems // Lecture Notes in Computer Science. 2000. No. 1857.
Kittler J., Roli F. (Eds.). Multiple Classifier Systems // Lecture Notes in Computer Science. 2001. No. 2096.
Kleinberg E. M. Stochastic Discrimination // Annals of Mathematics and Artificial Intelligence. 1990. No. 1. P 207–239.
Kleinberg E. M. A Mathematically Rigorous Foundation for Supervised Learning // Lecture Notes in Computer Science. 2000. No. 1857. P. 67–78.
Kuncheva L., Bezdec J., Duin R. P. W. Decision Templates for Multiple Classifier Fusion // Pattern Recognition. 2001. No. 34(2). P 299–314.
Kuncheva L. Switching between Selection and Fusion in Combining Classifiers: An Experiment // IEEE Transactions On Systems Man And Cybernetics, Part B-cybernetics. 2002. Vol. 32, no. 2. P. 146–156.
Kuncheva L., Whitaker C. Measures of diversity in Classifier Ensembles // Machine Learning. 2003. No. 51. P 181–207.
Lee D. S. A Theory of classifier combination: the neural network approach: Ph.D. thesis, 1995. (Dept. of Computer Science, State University of New York at Buffalo)
Lipnickas A., Korbicz J. Adaptive selection of neural networks for a committee decision // Proceedings of the IEEE International Workshop on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Application. 2003. P. 109–114.
McKay С. Classifier Ensembles: A Practical Overview [Электронный ресурс] // (по состоянию на 21.04.06).
Merz C. Combining classifiers using correspondence analysis // Advances in Neural Information Processing. 1997. No. 10.
Merz C., Murphy P. UCI Repository on Machine Learning Databases. [Электронный ресурс] // (по состоянию на 21.04.06).
Michalski R. A. Theory and Methodology of Inductive Learning // Machine Learning, 1983. № 1. P. 83–134.
Murthy S. K., Kasif S., Salzberg S., Beigel R. OC1: Randomized Induction of oblique decision trees // Proceedings of the Eleventh National Conference on Artificial Intelligence (AAAI-93). 1993. P. 322–327.
Moerland P. Mixtures of experts estimate a posteriori probabilities // Proceedings of The International Conference on Artificial Neural Networks (ICANN’97). 1997. P 499–504.
Niyogi P., Pierrot J–B., Siohan O. Multiple Classifiers by constrained minimization // Proceedings of International Conference on Acoustics, Speech, and Signal Processing. 2000.
Ortega J., Coppel M., Argamon S. Arbitraining Among Competing Classifiers Using Learned Referees // Knowledge and Information Systems. 2001. No. 3. P 470–490.
Perrone M., Cooper L. When networks disagree: Ensemble methods for hybrid neural networks // Artificial Neural Networks for Speech and Vision. New York: Chapman & Hall, 1993. P. 126-142.
Prodromidis A., Chan P., Stolfo S. Meta-learning in distributed data mining systems: Issues and approaches // Advances in Distributed Data Mining. AAAI Press, 1999.
Quinlan R. C4.5 Programs for Machine Learning. San Francisco: Morgan Kaufmann, 1993. P. 302.
Rumelhart D. E, Hinton G. E., Williams R. J. Learning internal representation by error propagation // Parallel Distributed Processing: Exploration of the microstructure of cognitions. MIT Press. 1986. No. 1. P. 318–362.
Seewald A., Fuernkranz J. An evaluation of grading classifiers // Proceedings of 4th International Conference Intelligent data Analysis, LNCS 2189. 2001. P 115–124.
Stolfo S., Chan P. A comparative evaluation of voting and meta-learning on partitioned data // Proceedings of Twelfth 4th International Conference on Machine Learning. 1995. P 90–98.
Ting K. The characterization of predictive accuracy and decision combination // Proceedings of 13th International Conference on Machine Learning. 1996. P 498–506.
Ting K., Witten I. Issues in stacked generalization // Journal of Artificial Intelligence Research. 1999. No. 10. P 271–289.
Todorovski L., Dzeroski S. Combining classifiers with meta decision trees // Proceedings of 4th European Conference on Principles of Data Mining and Knowledge Discovery (PKDD-2000). 2000. P 54–64.
Todorovski L., Dzeroski S. Combining multiple models classifiers with meta decision trees // Machine Learning Journal. 2003. Vol. 50(3). P. 223–249.
Vilalta R., Drissi Y. perspective view and survey of meta-learning // Journal of Artificial Intelligence Review [Электронный ресурс] / (по состоянию на 21.04.06).
Waterhouse S., Robinson A. Classification using hierarchical mixtures of experts // Proceedings of IEEE Workshop on Neural Networks for Signal Processing. 1994. P 177–36.
Woods K., Kegelmyer W. P., Bowyer K. Combination of multiple classifier using local accuracy estimates // IEEE Transactions on Pattern Analysis and Machine Intelligenceю 1997. No. 19. P 405–410.
Dietterich T. Ensemble Methods in Machine Learning // Multiple Classifier Systems. 2001 Vol. 1857. P 1–15.
Wolpert D. Stacked generalization // Neural Network. 1992. No. 5(2). P 241–260.
Бонгард М. М. Проблема узнавания. М.: Наука, 1967. 320 с.
Воробьев Н. Н. Вопросы математизации принятия решений на основе экспертных оценок // Материалы IV симпозиума по кибернетике. 1972. Ч. 3. C. 47–51.
Глушков В. М. О прогнозировании на основе экспертных оценок // Кибернетика. 1969. № 2. С. 2–4.
Математические методы в социальных науках / Под ред. П. Лазарфельда. и Н. М. Генри: Прогресс, 1973. 352 с.
Льюс Р., Райфа Х. Игры и решения. М.: Изд-во иностранной литературы, 1961. 642 с.
Миркин Б. Г. Проблема группового выбора. М.: Наука, 1974. 342 с.
Растригин Л. А., Эренштейн Р. Х. Метод коллективного распознавания. Библиотека по автоматике. Вып. 615. М.: Энергоиздат, 1981. 78 с.
Растригин Л. А., Эренштейн Р. Х. Коллектив алгоритмов для обобщения алгоритмов решения задач // Известия АН СССР. Техническая кибернетика. 1978. № 2. С. 116–126.
Растригин Л. А., Эренштейн Р. Х. Принятие решений коллективом решающих правил в задачах распознавания образов // Изв. АН СССР. Автоматика и телемеханика. 1975. № 9. С. 134–144.
Растригин Л. А., Эренштейн Р. Х. Коллектив алгоритмов // Материалы Международной объединенной конференции по искусственному интеллекту. Том 3. М., 1975. С. 138–144.
Растригин Л. А., Эренштейн Р. Х. Обучение коллектива решающих правил // Адаптивные системы. 1974. Вып. 4. 1974. С. 8–20.
Розенблат Ф. Принципы нейродинамики. М.: Мир, 1965. 196 с.
Комарцова Л. Г., Максимов А. В. Нейрокомпьютеры. М.: Изд-во МГТУ имени Баумана, 2002. С. 115–117.
Ali K., Pazzani M. Error Reduction through Learning Multiple Descriptions // Machine Learning. 1996. No. 24(3). P. 173–202.
Sharkey A. J. C. Combining Artificial Neural Nets: Ensembles and Modular Multi–net Systems. Berlin: Springer-Verlag, 1999. P. 1–30.
Bay S. D., Pazzani M. J. Characterizing Model Error and Differences // Proceedings of 17th International Conference on machine learning (ICML-2000). San Francisco: Morgan Kaufmann, 2000. P. 49–56.
Blin J., Fu K., Whinston A. Application of Pattern Recpognition to some Problems in Economics // Techniques of Optimization / Ed. A. Balakrishnan. 1972. No. 416. P. 1–18.
Breiman L. Bagging Predictors // Machine Learning. 1996. No. 24 (2). P. 123–140.
Breiman L. Stacked Regression // Machine Learning. 1996. No. 24(1). P. 49–64.
Buntine W. L. A Theory of Learning Classification Rules: Ph.D thesis, 1990. P. 172. (University of Technology, School of Computing Science, Sydney, Australia)
Clark P., Niblett T. The CN2 Induction Algorithm // Machine Learning Journal. 1989. No. 3. P. 261–283.
Clemen R. Combining Forecasts: A Review and Annotated Bibliography // International Journal of Forecasting. 1989. No. 5. P. 559–583.
Cost S., Salzberg S. A Weighted Nearest Neighbor Algorithm for Learning with Symbolic Features // Machine Learning. 1993. No. 10(1). P. 57–78.
Condorcet N. C. Essai sur l'application de l’analyse à la Probabilité des Décisions rendues a la Pluralité des voix. Paris : L’Imprimerie Royale, 1785.
Dietterich T. Machine Learning Research: Four Current Directions // AI Magazine. 1997. No. 18(4). P. 97–136.
Fix E., Hodges J. Nonparametric Discrimination // Technical Report No. 11. USAF School of Aviation Medicine, Rendolph Field, Texas, 1952.
Freund Y., Shapire R. Experiments with a New Boosting Algorithm // Machine Learning. Proceedings of the 13th International Conference. San Francisco: Morgan Kaufmann, 1996. P. 148-156.
Gama J., Brazdil P. Cascade Generalization // Machine Learning. 2000. No. 41(3). P. 315–342.
Gorodetski V., Karsayev O. Algorithm of Rule Extraction from Learning Data // Proceedings of the 8th International Conference Expert Systems & Artificial Intelligence (EXPERSYS- 96).1996. P. 133–138.
Hashem S. Optimal linear combination of neural networks: Ph.D. thesis, 1997. (Purdue University, School of Industrial Engineering, Lafaette)
Ho T. K., Hull J. J., Shirari S. N. Decision Combination in Multiple Classifier Systems // IEEE Transaction on Pattern Analysis and Machine Intelligence. 1994. No. 16(1). P. 66–75.
Ho T. K. Multiple Classifier Combination: Lessons and Next Step // Hybrid Methods in Pattern Recognition, World Scientific, 2002. P. 17.
Huang T., Hess C., Pan H., Liang Zhi-Pei. A Neuronet Approach to Information Fusion [Электронный ресурс] //
Jacobs R., Jordan M., Nowlan S., Hinton G. Adaptive Mixtures of Local Experts [Электронный ресурс] //
Jordan M., Jacobs R. Hierarchical mixtures of experts and the EM algorithm // Neural Computations. 1994. No. 6(2). P. 181–214.
Kanal L. Interactive Pattern Analysis and Classification. Survey and Commentary // Proceedings of IEEE. 1972. Vol. 60, no.10. P. 1200–1215.
Kittler J., Hatef M., Duin R. P. W., Matas J. On combining classifiers // IEEE Transactions on pattern Analysis and Machine Intelligence. 1998. No. 20(3). P. 226–239.
Kittler J., Roli F. (Eds.). Multiple Classifier Systems // Lecture Notes in Computer Science. 2000. No. 1857.
Kittler J., Roli F. (Eds.). Multiple Classifier Systems // Lecture Notes in Computer Science. 2001. No. 2096.
Kleinberg E. M. Stochastic Discrimination // Annals of Mathematics and Artificial Intelligence. 1990. No. 1. P 207–239.
Kleinberg E. M. A Mathematically Rigorous Foundation for Supervised Learning // Lecture Notes in Computer Science. 2000. No. 1857. P. 67–78.
Kuncheva L., Bezdec J., Duin R. P. W. Decision Templates for Multiple Classifier Fusion // Pattern Recognition. 2001. No. 34(2). P 299–314.
Kuncheva L. Switching between Selection and Fusion in Combining Classifiers: An Experiment // IEEE Transactions On Systems Man And Cybernetics, Part B-cybernetics. 2002. Vol. 32, no. 2. P. 146–156.
Kuncheva L., Whitaker C. Measures of diversity in Classifier Ensembles // Machine Learning. 2003. No. 51. P 181–207.
Lee D. S. A Theory of classifier combination: the neural network approach: Ph.D. thesis, 1995. (Dept. of Computer Science, State University of New York at Buffalo)
Lipnickas A., Korbicz J. Adaptive selection of neural networks for a committee decision // Proceedings of the IEEE International Workshop on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Application. 2003. P. 109–114.
McKay С. Classifier Ensembles: A Practical Overview [Электронный ресурс] //
Merz C. Combining classifiers using correspondence analysis // Advances in Neural Information Processing. 1997. No. 10.
Merz C., Murphy P. UCI Repository on Machine Learning Databases. [Электронный ресурс] //
Michalski R. A. Theory and Methodology of Inductive Learning // Machine Learning, 1983. № 1. P. 83–134.
Murthy S. K., Kasif S., Salzberg S., Beigel R. OC1: Randomized Induction of oblique decision trees // Proceedings of the Eleventh National Conference on Artificial Intelligence (AAAI-93). 1993. P. 322–327.
Moerland P. Mixtures of experts estimate a posteriori probabilities // Proceedings of The International Conference on Artificial Neural Networks (ICANN’97). 1997. P 499–504.
Niyogi P., Pierrot J–B., Siohan O. Multiple Classifiers by constrained minimization // Proceedings of International Conference on Acoustics, Speech, and Signal Processing. 2000.
Ortega J., Coppel M., Argamon S. Arbitraining Among Competing Classifiers Using Learned Referees // Knowledge and Information Systems. 2001. No. 3. P 470–490.
Perrone M., Cooper L. When networks disagree: Ensemble methods for hybrid neural networks // Artificial Neural Networks for Speech and Vision. New York: Chapman & Hall, 1993. P. 126-142.
Prodromidis A., Chan P., Stolfo S. Meta-learning in distributed data mining systems: Issues and approaches // Advances in Distributed Data Mining. AAAI Press, 1999.
Quinlan R. C4.5 Programs for Machine Learning. San Francisco: Morgan Kaufmann, 1993. P. 302.
Rumelhart D. E, Hinton G. E., Williams R. J. Learning internal representation by error propagation // Parallel Distributed Processing: Exploration of the microstructure of cognitions. MIT Press. 1986. No. 1. P. 318–362.
Seewald A., Fuernkranz J. An evaluation of grading classifiers // Proceedings of 4th International Conference Intelligent data Analysis, LNCS 2189. 2001. P 115–124.
Stolfo S., Chan P. A comparative evaluation of voting and meta-learning on partitioned data // Proceedings of Twelfth 4th International Conference on Machine Learning. 1995. P 90–98.
Ting K. The characterization of predictive accuracy and decision combination // Proceedings of 13th International Conference on Machine Learning. 1996. P 498–506.
Ting K., Witten I. Issues in stacked generalization // Journal of Artificial Intelligence Research. 1999. No. 10. P 271–289.
Todorovski L., Dzeroski S. Combining classifiers with meta decision trees // Proceedings of 4th European Conference on Principles of Data Mining and Knowledge Discovery (PKDD-2000). 2000. P 54–64.
Todorovski L., Dzeroski S. Combining multiple models classifiers with meta decision trees // Machine Learning Journal. 2003. Vol. 50(3). P. 223–249.
Vilalta R., Drissi Y. perspective view and survey of meta-learning // Journal of Artificial Intelligence Review [Электронный ресурс] /
Waterhouse S., Robinson A. Classification using hierarchical mixtures of experts // Proceedings of IEEE Workshop on Neural Networks for Signal Processing. 1994. P 177–36.
Woods K., Kegelmyer W. P., Bowyer K. Combination of multiple classifier using local accuracy estimates // IEEE Transactions on Pattern Analysis and Machine Intelligenceю 1997. No. 19. P 405–410.
Dietterich T. Ensemble Methods in Machine Learning // Multiple Classifier Systems. 2001 Vol. 1857. P 1–15.
Wolpert D. Stacked generalization // Neural Network. 1992. No. 5(2). P 241–260.
Methods and algorithms of the collective recognition: a survey
Abstract
Collective recognition is a task in which multiple classifiers are used for making decisions concerning the class of the same entity (object, situation, etc.) with the subsequent combining and agreement of individual decisions based on some special algorithm. Currently this research direction in the pattern recognition and classification scope is of topmost interest within information technology community. The reason of this fact is that methods and techniques of collective recognition demonstrate new capabilities in regard to pattern recognition and classification accuracy, on the one hand, and they are increasingly used in complex large scale applications. This paper surveys state of the art of the research on the scope in question covering the period from 1950-th and till now. — Bibl. 70 items.Опубликован
2006-02-01
Как цитировать
Городецкий, & Серебряков,. (2006). Методы и алгоритмы коллективного распознавания: обзор. Труды СПИИРАН, 1(3), 139-171. https://doi.org/10.15622/sp.3.8
Раздел
Статьи
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
