Математическая модель классификатора объектов на основе байесовского подхода
Ключевые слова:
нерандомизированный классификатор признаков, верхняя граница числа классов, минимакс, условная экстремальная задача, целочисленная задача нелинейного программированияАннотация
Утверждается, что первостепенное значение в решении задачи классификации занимают: нахождение условий разбиения генеральной совокупности на классы, определение качества такого расслоения и верификация модели классификатора. Рассмотрена математическая модель нерандомизированного классификатора признаков, полученных без учителя, когда априори не задается число классов, а лишь устанавливается его верхняя граница. Математическая модель приведена в виде постановки минимаксной условной экстремальной задачи и представляет собой задачу поиска матрицы принадлежности объектов к какому-либо классу. В основе разработки классификатора признаков находится синтез двумерной плотности вероятностей в пространстве координат: классы – объекты. С помощью обобщенных функций вероятностная задача поиска минимума Байесовского риска сведена к детерминированной задаче на множестве нерандомизированных классификаторов. Вместе с тем использование специально введенных ограничений фиксирует нерандомизированные правила принятия решений и погружает целочисленную задачу нелинейного программирования в общую непрерывную нелинейную задачу. Для корректного синтеза классификатора необходимы дисперсионная кривая изотропной выборки и характеристики качества классификации в зависимости от суммарной внутриклассовой и межклассовой дисперсии. Задача классификации может быть интерпретирована как частная задача теории катастроф. В условиях ограниченных исходных данных найден минимаксный функционал, отражающий качество классификации при квадратичной функции потерь. Математическая модель представлена в виде задачи целочисленного нелинейного программирования и приведена с помощью полиномиальных ограничений к виду общей задачи нелинейного непрерывного программирования. Найдены необходимые условия расслоения на классы. Эти условия могут быть использованы как достаточные при проверке гипотезы о существовании классов.
Литература
2. He H. A Deep Research in Classic Classification Network // IOP Conf. Series: Materials Science and Engineering. 2020. 740 p.
3. Wehrmann J., Cerri R., Barros R.C. Hierarchical Multi-Label Classification Networks // Proceedings of the 35th International Conference on Machine Learning, Stockholm (PMLR 80). 2018. pp. 5075–5084.
4. Li P., Wang D., Wang L., Lu H. Visual Tracking by Dynamic Matching-Classification Network Switching // Pattern Recognition. 2020. pp. 107419.
5. Айвазян С.А. Прикладная статистика. Классификация и снижение размерности // М.: Финансы и статистика. 1989. 606 с.
6. Pontone S., Grimaldi G. What is the Technique without a Proper Classification? // Int J Gastroenterol Disord Ther. 2015. pp.113.
7. Nwafor G., Onwukwe C. On Proper Classification and Placement of Students in Nigerian University Systems Using Discriminant Analysis // American Journal of Applied Mathematics and Statistics. 2014. pp. 394–397.
8. Мандель И.Д. Кластерный анализ // М.: Финансы и статистика. 1988. 176 с.
9. Галлагер Р.Дж. Теория информации и надежная связь // М.: Сов. Радио. 1974. 719 с.
10. Xiaotong L. et al. Learning a Deep Vector Quantization Network for Image Compression // IEEE WESCANEX 93 Communications, Computers and Power in the Modern Environment – Conference Proceedings. 1993. pp. 299–312.
11. Janabi Samaher A.-J., Abed S.M. Digital Video Scenes Recognition using Mijn-EA and Learning Vector Quantization Network // Journal of Babylon University. vol. 9. no. 24. 2016. pp. 2362–2373.
12. Ван Трис Г.Л. Теория обнаружения, оценок и модуляции // М.: Сов. радио. 1972. 744 с.
13. Батенков К.А. Синтез детерминированных нелинейных дискретных отображений непрерывных каналов связи // Труды СПИИРАН. 2016. № 2(45). С. 75–101.
14. Kipping D. A Bayesian Approach to the Simulation Argument // Universe. 2020. vol. 6. no. 8. pp. 109.
15. Mihnea A., John H. A Bayesian Approach for Asset Allocation // International Journal of Statistics and Probability. 2020. vol. 4. pp. 1–14.
16. Тихонов В.И. Марковские процессы // М.: Сов. радио. 1977. 488 с.
17. Schlegel M., White A., Patterson A., White M. General Value Function Networks. 2018. URL: arxiv.org/pdf/1807.06763v1.pdf (дата обращения: 21.10.2020).
18. Батенков К.А. Точные и граничные оценки вероятностей связности сетей связи на основе метода полного перебора типовых состояний // Труды СПИИРАН. 2019. Т. 18. № 5. С. 1093–1118.
19. Taketoshi Y., Masahiro I. Extended responsibility assignment matrix (ERAM) suitable for a cross functional project // EDULEARN17 Proceedings.2017. pp. 4825–4834.
20. Qingge J., Haoqiang Y. Online Multiple Object Tracking with Reid Feature Extraction Network and Similarity Matrix Network // Journal of Physics: Conference Series, Volume 1544, 2020 5th International Conference on Intelligent Computing and Signal Processing (ICSP). 2020. pp. 20–22.
21. Эндрюс Г. Теория разбиений // М.: Наука. 1982. 255 с.
22. Menchaca B. et al. Technique for setting network communication parameters : publ. no. WO/2011/008515, publ. date 20.01.2011, int. appl. No. PCT/US2010/040298, int. fil. date 29.06.2010.
23. Rahman, H., Sheikh, N.U., Saleh Al-Qahtani, H., Hazra, T.K. Partitioned network with Adaptive Mobile Sinks // 2019 IEEE 10th Annual Information Technology, Electronics and Mobile Communication Conference (IEMCON). 2019. pp. 1098–1103.
24. Chalupa D. Partitioning Networks into Cliques: A Randomized Heuristic Approach // Information Sciences and Technologies Bulletin of ACM Slovakia. 2014. vol. 6. pp. 1–8.
25. Ланнэ А.А. Нелинейные динамические системы: синтез, оптимизация, идентификация // Л.: ВАС. 1985. 240 с.
26. Kostrikov I., Bruna J., Panozzo D., Zorin D. Surface Networks. 2017. URL: arxiv.org/pdf/1705.10819.pdf (дата обращения: 21.10.2020).
27. Pinghua G., Jieping Y., Changshui Z. Robust multi-task feature learning // KDD '12: Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining. August 2012. pp. 895–903.
28. Гантмахер Ф.Р. Теория матриц // М.: Физматлит. 2010. 559 с.
29. Lee S., Song B. Transformation of Non-Euclidean Space to Euclidean Space f.or Efficient Learning of Singular Vectors // IEEE Access. 2020. vol. 8. pp. 127074–127083.
30. Bandyapadhyay S., Fomin F., Simonov K. On Coresets for Fair Clustering in Metric and Euclidean Spaces and Their Applications. 2020. URL: arxiv.org/pdf/2007.10137.pdf (дата обращения: 21.10.2020).
31. Королюк В.С. , Портенко Н.И. , Скороход А.В., Турбин А.Ф. Справочник по теории вероятностей и математической статистике // М.: Наука. 1985. 640 с.
32. Borzov A.B., Labunets L.V., Steshenko V.B. Noncanonical Spectral Model of Multidimensional Uniform Random Fields // J. Comput. Syst. Sci. Int. 2017. vol. 57. pp. 874–889.
33. Федоров В.В. Численные методы максимина // М.: Наука. 1979. 278 с.
34. Кловский Д.Д., Конторович В.Я., Широков С.М. Статистическая теория связи // М.: Связь. 1974. 247 с.
35. Kreher D.L. Combinatorial algorithms : Generation, enumeration, a. search // CRC press, Cop. 1999. 329 p.
36. Батенков А.А., Батенков К.А., Фокин А.Б. Методы формирования множеств состояний телекоммуникационных сетей для различных мер связности // Труды СПИИРАН. 2020. № 3 (19). C. 644–673.
37. Химмельблау Д. Прикладное нелинейное программирование // М.: Мир. 1975. 534 с.
38. Яблонский С.В. Введение в дискретную математику : учебное пособие для студентов вузов, обучающихся по специальности «Прикладная математика» // М.: Высш. шк. 2006. 384 с.
39. Батенков К.А. Числовые характеристики структур сетей связи // Труды СПИИРАН. 2017. № 4(53). С. 5–28.
40. Батенков А.А.,. Батенков К.А. Анализ и синтез структур сетей связи по детерминированным показателям устойчивости // Труды СПИИРАН. 2018. № 3(58). С. 128–159.
41. Nooka S.P. et al. Adaptive hierarchical classification networks // 2016 23rd International Conference on Pattern Recognition (ICPR). 2016. pp. 3578–3583.
Mathematical Model of Object Classifier based on Bayesian Approach
Abstract
The paper claims that the primary importance in solving the classification problem is to find the conditions for dividing the General complexity into classes, determine the quality of such a bundle, and verify the classifier model. We consider a mathematical model of a non-randomized classifier of features obtained without a teacher, when the number of classes is not set a priori, but only its upper bound is set. The mathematical model is presented in the form of a statement of a minimax conditional extreme task, and it is a problem of searching for the matrix of belonging of objects to a class, and representative (reference) elements within each class. The development of the feature classifier is based on the synthesis of two-dimensional probability density in the coordinate space: classes-objects. Using generalized functions, the probabilistic problem of finding the minimum Bayesian risk is reduced to a deterministic problem on a set of non-randomized classifiers. At the same time, the use of specially introduced constraints fixes non-randomized decision rules and plunges the integer problem of nonlinear programming into a General continuous nonlinear problem. For correct synthesis of the classifier, the dispersion curve of the isotropic sample is necessary. It is necessary to use the total intra-class and inter-class variance to characterize the quality of classification. The classification problem can be interpreted as a particular problem of the theory of catastrophes. Under the conditions of limited initial data, a minimax functional was found that reflects the quality of classification for a quadratic loss function. The developed mathematical model is classified as an integer nonlinear programming problem. The model is given using polynomial constraints to the form of a General problem of nonlinear continuous programming. The necessary conditions for the bundle into classes are found. These conditions can be used as sufficient when testing the hypothesis about the existence of classes.
Опубликован
Как цитировать
Раздел
Copyright (c) Кирилл Александрович Батенков, Александр Александрович Батенков, Андрей Богачёв, Владислав Мишин
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).