Метод використання нейромережі гібридної архітектури для визначення емоційної тональності текстових повідомлень
Вантажиться...
Дата
2025
Назва журналу
Номер ISSN
Назва тому
Видавець
Хмельницький національний університет
Анотація
У статті розглянуто поточний стан наукового напряму визначення емоційної тональності та представлено метод використання нейромережі гібридної архітектури для визначення емоційної тональності текстових повідомлень. Метод використання нейромережі гібридної архітектури для визначення емоційної тональності текстових повідомлень призначений для автоматизованого перетворення вхідних даних у вигляді навченої нейромережевої модель гібридної архітектури з токенізатором та текстового повідомлення для аналізу у вихідні дані у вигляді класу приналежності за емоційною тональністю та її числової оцінки.
Метод оснований на застосуванні гібридної нейромережевої архітектури що поєднує CNN та BiLSTM. Запропоноване поєднання сприяє ефективному виділенню локальних патернів, за рахунок властивостей CNN-шару, а також дозволяє враховувати довгострокові залежності у тексті, за рахунок властивостей BiLSTM. Нейромережева модель починається з шару Embedding, який перетворює текстові дані у числові вектори фіксованої довжини. Далі застосовується шар, який випадковим чином «відключає» 20% нейронів для зменшення ризику перенавчання. Потім іде шар, що застосовує згортки для виявлення локальних шаблонів у вхідних даних. Наступним є двонаправлений шар LSTM, здатний враховувати контекст з обох кінців послідовності, з механізмами випадкового відключення нейронів для покращення узагальнення. Після цього йде шар, який вибирає максимальні значення з усіх ознак для зменшення розмірності. Останнім етапом є щільний шар з одним нейроном і сигмоїдною активацією, який видає ймовірність належності тексту до класу з позитивною тональністю.
Наведено експериментальне дослідження ефективності застосування методу використання нейромережі гібридної архітектури для визначення емоційної тональності текстових повідомлень за створеним програмним забезпеченням.
Встановлено, що використання зазначеної гібридної архітектури дозволяє досягти точності 0.974, що є вищою від наразі відомих аналогів на понад 0.07 для метрики Accuracy.
The article reviews the current state of the scientific direction of determining emotional tone and presents a method for using a hybrid architecture neural network to determine the emotional tone of text messages. The method of using a hybrid architecture neural network to determine the emotional tone of text messages is intended for automated conversion of input data in the form of a trained hybrid architecture neural network model with a tokenizer and a text message for analysis into output data in the form of a membership class by emotional tone and its numerical evaluation. Method is based on the use of a hybrid neural network architecture that combines CNN and BiLSTM. The proposed combination contributes to the effective selection of local patterns, due to the properties of the CNN layer, and also allows to take into account long-term dependencies in the text, due to the properties of BiLSTM. The neural network model starts with an Embedding layer, which transforms text data into fixed-length numeric vectors. Next comes a layer that randomly “turns off” 20% of the neurons to reduce the risk of overfitting. Then comes a layer that uses convolutions to detect local patterns in the input data. Next comes a bidirectional LSTM layer, capable of taking into account context from both ends of the sequence, with mechanisms for randomly turning off neurons to improve generalization. This is followed by a layer that selects the maximum values from all features to reduce dimensionality. The final stage is a dense layer with a single neuron and sigmoid activation, which gives the probability that the text belongs to a class with positive tone. Experimental study of the effectiveness of method of using a hybrid architecture neural network to determine the emotional tone of text messages using the created software is presented. It was found that the use of the specified hybrid architecture allows you to achieve an accuracy of 0.974, which is higher than currently known analogues by more than 0.07 for the Accuracy metric.
The article reviews the current state of the scientific direction of determining emotional tone and presents a method for using a hybrid architecture neural network to determine the emotional tone of text messages. The method of using a hybrid architecture neural network to determine the emotional tone of text messages is intended for automated conversion of input data in the form of a trained hybrid architecture neural network model with a tokenizer and a text message for analysis into output data in the form of a membership class by emotional tone and its numerical evaluation. Method is based on the use of a hybrid neural network architecture that combines CNN and BiLSTM. The proposed combination contributes to the effective selection of local patterns, due to the properties of the CNN layer, and also allows to take into account long-term dependencies in the text, due to the properties of BiLSTM. The neural network model starts with an Embedding layer, which transforms text data into fixed-length numeric vectors. Next comes a layer that randomly “turns off” 20% of the neurons to reduce the risk of overfitting. Then comes a layer that uses convolutions to detect local patterns in the input data. Next comes a bidirectional LSTM layer, capable of taking into account context from both ends of the sequence, with mechanisms for randomly turning off neurons to improve generalization. This is followed by a layer that selects the maximum values from all features to reduce dimensionality. The final stage is a dense layer with a single neuron and sigmoid activation, which gives the probability that the text belongs to a class with positive tone. Experimental study of the effectiveness of method of using a hybrid architecture neural network to determine the emotional tone of text messages using the created software is presented. It was found that the use of the specified hybrid architecture allows you to achieve an accuracy of 0.974, which is higher than currently known analogues by more than 0.07 for the Accuracy metric.
Опис
Ключові слова
BiLSTM, NLP, емоційна тональність, нейронна мережа, гібридна архітектура, emotional tone, neural network, hybrid architecture
Бібліографічний опис
Метод використання нейромережі гібридної архітектури для визначення емоційної тональності текстових повідомлень / Д. Юрченко, О. Овчарук, О. Мазурець, П. Шевчук // Вимірювальна та обчислювальна техніка в технологічних процесах. – 2025. – № 2. – С. 136-141.