Метод тонкого налаштування великих мовних моделей із використанням оптимізованих адаптерів для розгортання в програмних середовищах з обмеженими обчислювальними ресурсами
Вантажиться...
Дата
2025-12-15
Автори
Назва журналу
Номер ISSN
Назва тому
Видавець
Анотація
Мета дослідження – підвищення ефективності тонкого налаштування великих мовних моделей шляхом розроблення та дослідження нового параметроефективного методу SkeMA (Sketched Matrix Adapter), який забезпечує високу якість адаптації за фіксованого бюджету додаткових параметрів без збільшення навантаження на інференсі. У роботі проаналізовано сучасні підходи до параметроефективного тонкого налаштування, обґрунтовано вимоги до методів, орієнтованих на програмні середовища з обмеженими обчислювальними ресурсами, розроблено математичну модель та архітектуру SkeMA, реалізовано програмний прототип адаптера та інтегровано його в трансформерну мовну модель. Проведено експериментальні дослідження на моделі Pythia-160M для задач мовного моделювання та запам’ятовування асоціативних пар, у яких SkeMA порівнюється з методом LoRA за однакового параметричного бюджету. Отримані результати показали, що SkeMA досягає вищої точності на задачі запам’ятовування та нижчої перплексії на задачі мовного моделювання порівняно з LoRA, наближаючись до якості повного донавчання, що підтверджує його практичну придатність для розгортання LLM у системах з обмеженими обчислювальними ресурсами.
Опис
Ключові слова
121 Інженерія програмного забезпечення, великі мовні моделі, параметроефективне тонке налаштування, оптимізовані адаптери, низькорангові оновлення, матричне скетчування
Бібліографічний опис
Ваховська В. М. Метод тонкого налаштування великих мовних моделей із використанням оптимізованих адаптерів для розгортання в програмних середовищах з обмеженими обчислювальними ресурсами : кваліфікаційна робота магістра : 121 Інженерія програмного забезпечення / В. М. Ваховська ; Хмельниц. нац. ун-т. – Хмельницький, 2025. – 130 с.