Метод тонкого налаштування великих мовних моделей із використанням оптимізованих адаптерів для розгортання в програмних середовищах з обмеженими обчислювальними ресурсами

Скорочена інформація про документ
dc.contributor.authorВаховська, Віра Миколаївна
dc.date.accessioned2025-12-15T20:36:51Z
dc.date.available2025-12-15T20:36:51Z
dc.date.issued2025-12-15
dc.description.abstractМета дослідження – підвищення ефективності тонкого налаштування великих мовних моделей шляхом розроблення та дослідження нового параметроефективного методу SkeMA (Sketched Matrix Adapter), який забезпечує високу якість адаптації за фіксованого бюджету додаткових параметрів без збільшення навантаження на інференсі. У роботі проаналізовано сучасні підходи до параметроефективного тонкого налаштування, обґрунтовано вимоги до методів, орієнтованих на програмні середовища з обмеженими обчислювальними ресурсами, розроблено математичну модель та архітектуру SkeMA, реалізовано програмний прототип адаптера та інтегровано його в трансформерну мовну модель. Проведено експериментальні дослідження на моделі Pythia-160M для задач мовного моделювання та запам’ятовування асоціативних пар, у яких SkeMA порівнюється з методом LoRA за однакового параметричного бюджету. Отримані результати показали, що SkeMA досягає вищої точності на задачі запам’ятовування та нижчої перплексії на задачі мовного моделювання порівняно з LoRA, наближаючись до якості повного донавчання, що підтверджує його практичну придатність для розгортання LLM у системах з обмеженими обчислювальними ресурсами.
dc.identifier.citationВаховська В. М. Метод тонкого налаштування великих мовних моделей із використанням оптимізованих адаптерів для розгортання в програмних середовищах з обмеженими обчислювальними ресурсами : кваліфікаційна робота магістра : 121 Інженерія програмного забезпечення / В. М. Ваховська ; Хмельниц. нац. ун-т. – Хмельницький, 2025. – 130 с.
dc.identifier.urihttps://elar.khmnu.edu.ua/handle/123456789/19964
dc.language.isouk
dc.subject121 Інженерія програмного забезпечення
dc.subjectвеликі мовні моделі
dc.subjectпараметроефективне тонке налаштування
dc.subjectоптимізовані адаптери
dc.subjectнизькорангові оновлення
dc.subjectматричне скетчування
dc.titleМетод тонкого налаштування великих мовних моделей із використанням оптимізованих адаптерів для розгортання в програмних середовищах з обмеженими обчислювальними ресурсами
dc.typeМагістерські роботи
Файли
Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
vakhovska_MKP_repository-15-12.pdf
Розмір:
4.87 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Назва:
license.txt
Розмір:
4.26 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити
Зібрання
ФІТ/(М)