Метод побудови ансамблів моделей для класифікації даних на основі кореляційних зв’язків рішень
Вантажиться...
Дата
2022
Автори
Стебелецький, Мирослав
Манзюк, Едуард
Скрипник, Тетяна
Багрій, Руслан
Stebeletskyi, Myroslav
Manziuk, Eduard
Skrypnyk, Tetyana
Bahriy, Ruslаn
Назва журналу
Номер ISSN
Назва тому
Видавець
Хмельницький національний університет
Анотація
У науковій роботі висвітлюється проблема підвищення точності передбачень бінарної класифікації із використанням алгоритмів машинного навчання. Основою інформаційної системи бінарної класифікації виступає ансамблева модель. Ця мо
дель, в свою чергу, містить набір унікальних комбінацій базових класифікаторів –
свого роду алгоритмічні примітиви. Ансамблева модель може розглядатись як деякий мета-алгоритм, який складається із унікальних наборів алгоритмів класифікації машинного навчання (ML).
Завданням ансамблевої моделі являється знаходження такої комбінації базових алгоритмів класифікації, яка б давала найвищі показники результативності. Результативність оцінюється згідно з основними метриками ML у завданнях класифікації.
Іншим аспектом наукової роботи є створення агрегаційного механізму задля поєднання результатів базових алгоритмів класифікації. Тобто кожна унікальна комбінація у середині ансамблю складається із набору базових моделей (передвісників), результати яких потрібно агрегувати. У даній роботі задля агрегування (усереднення) передбачень базових моделей використовується неієрархічний метод кластеризації.
Особливістю цього дослідження є знаходження коефіцієнтів кореляцій базових моделей у кожній комбінації. За допомогою величини кореляцій встановлюється залежність між передбаченням класифікатора (базова модель) та істинним
значенням, в результаті чого відкривається простір для подальших досліджень щодо покращення ансамблевої моделі (мета-алгоритму).
The scientific work highlights the problem of increasing the accuracy of binary сlassification predictions using machine learning algorithms. Over the past few decades, systems that consist of many machine learning algorithms, also called ensemble models, have received increasing attention in the computational intelligence and machine learning community. This attention is well deserved, as ensemble systems have proven to be very effective and extremely versatile in a wide range of problem domains and real-world applications. One algorithm may not make a perfect prediction for a particular data set. Machine learning algorithms have their limitations, so creating a model with high accuracy is a difficult task. If you create and combine several models by co mbining and aggregating the results of each model, there is a chance to improvet he overall accuracy, this problem is dealt with by ensembling. The basis of the information system of binary classification is the ensemble model. This model, in turn, contains a set of unique combinations of basic classifiers- a kind of algorithmic primitives. An ensemble model can be considered as some kind of meta-algorithm, which consists of unique sets of machine learning (ML) classification algorithms. The task of the ensemble model is to find such a combination of basic classification algorithms that would give the highest performance. The perf ormance is evaluated according to the main ML metrics in classification tasks. Another aspect of scientific work is the creation of an aggregation mechanism for combining the results of basic classification algorithms. That is, each unique combination with in the ensemble consists of a set of basic models (harbingers), the results of which must be aggregated. In this work, a non-hier archical clustering method is used to aggregate (average) the predictions of the base models. A feature of this study is to find the correlation coefficients of the base models in each combination. With the help of the magnitude of correlations, the relationship between the prediction of the classifier (base model) and the true value is established, as a result of which space is opened for further research on improving the ensemble model (meta-algorithm).
The scientific work highlights the problem of increasing the accuracy of binary сlassification predictions using machine learning algorithms. Over the past few decades, systems that consist of many machine learning algorithms, also called ensemble models, have received increasing attention in the computational intelligence and machine learning community. This attention is well deserved, as ensemble systems have proven to be very effective and extremely versatile in a wide range of problem domains and real-world applications. One algorithm may not make a perfect prediction for a particular data set. Machine learning algorithms have their limitations, so creating a model with high accuracy is a difficult task. If you create and combine several models by co mbining and aggregating the results of each model, there is a chance to improvet he overall accuracy, this problem is dealt with by ensembling. The basis of the information system of binary classification is the ensemble model. This model, in turn, contains a set of unique combinations of basic classifiers- a kind of algorithmic primitives. An ensemble model can be considered as some kind of meta-algorithm, which consists of unique sets of machine learning (ML) classification algorithms. The task of the ensemble model is to find such a combination of basic classification algorithms that would give the highest performance. The perf ormance is evaluated according to the main ML metrics in classification tasks. Another aspect of scientific work is the creation of an aggregation mechanism for combining the results of basic classification algorithms. That is, each unique combination with in the ensemble consists of a set of basic models (harbingers), the results of which must be aggregated. In this work, a non-hier archical clustering method is used to aggregate (average) the predictions of the base models. A feature of this study is to find the correlation coefficients of the base models in each combination. With the help of the magnitude of correlations, the relationship between the prediction of the classifier (base model) and the true value is established, as a result of which space is opened for further research on improving the ensemble model (meta-algorithm).
Опис
Ключові слова
підвищення точності, бінарна класифікація, ансамблева модель, інформаційна система, машинне навчання, коефіцієнт кореляції, унікальна комбінація, модель, алгоритм класифікації, accuracy improvement, classification algo rithm, binary classification, ensemble model, model, information system, unique combination, machine learning, correlation coefficient
Бібліографічний опис
Метод побудови ансамблів моделей для класифікації даних на основі кореляційних зв’язків рішень / М. Стебелецький, Е. Манзюк, Т. Срипник, Р. Багрій // Вісник Хмельницького національного університету. Технічні науки. – 2022. – № 6, т. 1. – С. 224-233.