Архітектура сховища масивів з компактним інтегрованим індексом
Вантажиться...
Дата
2023
Автори
Островський, Д.
Лисий, А.
Свистун, С.
Онишко, О.
Сергеєв, Є.
Ostrovsky, D.
Lysyi, A.
Svistun, S.
Onyshko, O.
Sergeyev, Y.
Назва журналу
Номер ISSN
Назва тому
Видавець
Хмельницький національний університет
Анотація
Збільшення кількості даних, що генеруються щодня потребує ефективного їх зберігання, швидкого запиту до таких
даних. Як правило, такі дані є багатовимірними і можуть бути представлені за допомогою моделі даних масиву. Поряд з
додаванням в систему все більш і більш потужних процесорів і прискорювачів, більшість сучасних обчислювальних систем
містять все більш складний стек вводу-виводу, починаючи від традиційних дискових файлових систем і закінчуючи
гетерогенними прискорювачами з індивідуальним простором пам'яті. Ефективний доступ до такого складного стека вводувиводу при обробці масивів має важливе значення для використання великої обчислювальної потужності сучасних
обчислювальних платформ. Одним із ключів до досягнення такої ефективності є визначення місця генерації або зберігання
даних, а також відповідний вибір відповідних стратегій представлення та обробки.
В цій роботі зосереджено на оптимізації обробки масивів у таких складних стеках вводу-виводу шляхом
дослідження двох фундаментальних питань: яке представлення даних слід використовувати, і де дані повинні зберігатися та
оброблятися. Таким чином, розглянуто проблему ефективної обробки даних масиву, представлено компактне сховище
масивів для дискових даних, інтегруючи в нього індексацію на основі значень без втрат.
Розроблена архітектура системи зберігання масивів з інтегрованою підтримкою індексу вартості. Завдяки їй
досягається реорганізація елементів в ряд користувацьких бітів і ефективне кодування індексів згідно бітів і відповідних їм
значень. При цьому генерується індексоване представлення масиву, яке додає мало додаткових витрат на зберігання.
Напрямами подальших досліджень є удосконалення архітектури системи зберігання масивів з інтегрованою
підтримкою індексу вартості в частині оптимізації зберігання індексів.
Проведені експерименти підтверджують можливість практичної реалізації запропонованих архітектурних рішень.
Increasing the amount of data generated daily requires effective storage, a quick request for such data. Typically, such data are multidimensional and can be presented using the array data model. Along with the addition of more and more powerful processors and accelerators, most modern computing systems contain an increasingly complex input stack, ranging from traditional disk file systems and ending with heterogeneous accelerators with individual memory space. Effective access to such a complex input stack when processing arrays is important for the use of high computing capacity of modern computing platforms. One of the key to achieving such efficiency is to determine the place of generation or storage of data, as well as the corresponding selection of appropriate representation and processing strategies. In this work, it is focused on optimizing the processing of arrays in such complex stacks of input-output by studying two fundamental questions: what kind of data should be used, and where the data should be stored and processed. Thus, the problem of efficient processing of data of the array is considered, a compact storage facility for disk data is presented, integrating it in its indexation based on values without loss. The architecture of the storage system of arrays with integrated support of the value index has been developed. It achieves the reorganization of the elements into a series of custom bits and the effective coding of indices according to the bits and the corresponding values. This generates an indexed presentation of the array, which adds little additional storage costs.The areas of further research are to improve the architecture of the storage system of arrays with integrated maintenance of the value index regarding the optimization of storage of indexes. The experiments confirm the possibility of practical implementation of the proposed architectural decisions
Increasing the amount of data generated daily requires effective storage, a quick request for such data. Typically, such data are multidimensional and can be presented using the array data model. Along with the addition of more and more powerful processors and accelerators, most modern computing systems contain an increasingly complex input stack, ranging from traditional disk file systems and ending with heterogeneous accelerators with individual memory space. Effective access to such a complex input stack when processing arrays is important for the use of high computing capacity of modern computing platforms. One of the key to achieving such efficiency is to determine the place of generation or storage of data, as well as the corresponding selection of appropriate representation and processing strategies. In this work, it is focused on optimizing the processing of arrays in such complex stacks of input-output by studying two fundamental questions: what kind of data should be used, and where the data should be stored and processed. Thus, the problem of efficient processing of data of the array is considered, a compact storage facility for disk data is presented, integrating it in its indexation based on values without loss. The architecture of the storage system of arrays with integrated support of the value index has been developed. It achieves the reorganization of the elements into a series of custom bits and the effective coding of indices according to the bits and the corresponding values. This generates an indexed presentation of the array, which adds little additional storage costs.The areas of further research are to improve the architecture of the storage system of arrays with integrated maintenance of the value index regarding the optimization of storage of indexes. The experiments confirm the possibility of practical implementation of the proposed architectural decisions
Опис
Ключові слова
сховище масивів, компактні інтегровані індекси, архітектура, array repositories, compact integrated indices, architecture
Бібліографічний опис
Архітектура сховища масивів з компактним інтегрованим індексом / Д. Островський, А. Лисий, С. Свистун, О. Онишко, Є. Сергеєв // Вимірювальна та обчислювальна техніка в технологічних процесах. – 2023. – № 2. – С. 146-152.