Локальна велика мовна модель для автономних комп'ютерних пристроїв
Вантажиться...
Дата
2026-06-01
Назва журналу
Номер ISSN
Назва тому
Видавець
Хмельницький національний університет
Анотація
Метою роботи є розробка програмного забезпечення для автономного запуску великих мовних моделей на локальних комп'ютерних пристроях з обмеженими ресурсами (Edge AI). У кваліфікаційній роботі проведено аналіз предметної області, досліджено існуючі хмарні рішення та їхні недоліки щодо конфіденційності, спроєктовано багатошарову архітектуру системи, обґрунтовано вибір технологічного стеку та реалізовано програмний продукт.
Для реалізації обчислювального ядра використано мову Python, бібліотеку llama-cpp-python з підтримкою апаратного прискорення та методи 4-бітної квантизації. Інтегровано конвеєр RAG (Retrieval-Augmented Generation) на базі локальної векторної СУБД ChromaDB для забезпечення обробки документів без фактологічних помилок. Для керування інтерфейсом користувача використано фреймворк Streamlit.
Розроблений застосунок надає користувачам зручний інтерфейс для ведення діалогу з мовною моделлю, завантаження власних PDF/DOCX документів та управління локальною базою знань без підключення до мережі Інтернет. Застосунок забезпечує абсолютну конфіденційність даних і є ефективним рішенням для використання в ізольованих (Air-gapped) середовищах.
Опис
Ключові слова
121 Інженерія програмного забезпечення, Велика мовна модель, Edge AI, RAG, ChromaDB
Бібліографічний опис
Парфутік М. О. Локальна велика мовна модель для автономних комп'ютерних пристроїв : кваліфікаційна робота бакалавра : 121 Інженерія програмного
забезпечення / Хмельницький національний університет. Хмельницький, 2026. 108 с.