Метод дедублікації та розподілу даних у хмарних сховищах під час резервного копіювання даних

2019;
: cc. 1 - 12
1
Фізико-математичний інститут імені Г. В. Карпенка НАН України
2
Фізико-математичний інститут імені Г. В. Карпенка НАН України
3
Національний університет "Львівська політехніка", кафедра інформаційних систем та мереж
4
Національний університет «Львівська політехніка», кафедра інформаційних систем та мереж

Розроблено інтелектуальну систему дедублікації та поширення даних у хмарних сховищах. Сформоване програмне забезпечення має зручний інтерфейс, який дає змогу створювати резервні копії та відновлювати дані. Здійснено аналітичний огляд методологічних засад дослідження, проаналізовано різні підходи до резервного копіювання даних із використанням дедублікації та розподілу даних у хмарному сховищі, висвітлено їхні переваги та недоліки. Детально розглянуто переваги та недоліки сучасних технологій дедублікації даних. Цей аналіз довів ефективність розроблення та впровадження інтелектуальної системи дедублікації та розподілу даних у хмарному сховищі. Виконано систематичний аналіз предметної області. Сформульовано мету функціонування та розвитку системи, мету та місце функціонування системи, визначено очікувані ефекти від впровадження програмного продукту. Розроблено та детально описано концептуальну модель системи. Наведено детальні діаграми прецедентів, стану переходів, послідовностей, компонентів та класів, що разом дають змогу визначити поведінку системи, встановити та сформулювати необхідні бізнес-процеси. Проаналізовано (наведено недоліки та переваги використання різних підходів) та вибрано ефективні методи розв’язання задач: гібридна дедублікація на рівні блока, розбиття даних на основі цифрового відбитка Рабіна, розподіл даних на основі хеш-значень одиниці дублювання та використання розподіленого індексу. Під час аналізу розв’язків задач вибрано мову програмування Rust для написання клієнтської частини, мову програмування Scala для серверної частини, Akka для управління розподіленими обчисленнями та Amazon S3 як хмарне зберігання. Розроблено інтелектуальну систему дедублікації та розподілу даних у хмарному сховищі, здійснено опис програмного забезпечення, розглянуто етапи роботи користувача. Проведено тестування роботи спроєктованої системи та створено кілька контрольних зразків, проаналізовано результати.

1. Understanding Data Deduplication. (2018). Retrieved 28, 2019, from https://www.druva.com/understanding-data-deduplication

2. Explaining deduplication rates and single-instance storage to clients. (2008). Retrieved 28, 2019, from https://searchitchannel.techtarget.com/tip/Explaining-deduplication-rate...

3. Inline vs. post-processing deduplication appliances. (2008). Retrieved 28, 2019, from https://searchdatabackup.techtarget.com/tip/Inline-vs-post-processing-de...

4. Introduction to Data Deduplication. (2008). Retrieved 28, 2019, from https://www.petri.com/datadeduplication-introduction

5. Rabin, M. O. (1981). Fingerprinting by random polynomials : Center for Research in Computing Technology Harvard University Report – Harvard.

6. Tanenbaum, A. S., & van Steen, M. (2017). Distributed Systems. Upper Saddle River : Pearson Prentice Hall.

7. Amdahl, G. (1967). The validity of the single processor approach to achieving large-scale computing capabilities. Atlantic City : Proceedings of AFIPS.

8. Using StorReduce for cloud-based data deduplication. (2008). Retrieved 28, 2019, from https://cloud.google.com/solutions/partners/storreduce-cloud-deduplication

9. OpenDedup Overview. (2008). Retrieved 2019, from https://opendedup.org/odd/overview/

10. Rumbaugh, J., Jacobson, I., & Booch, G. (1999). The unified modeling language reference manual. Addison Wesley Longman Inc.

11. Rolling hash, Rabin Karp, palindromes, rsync and others. (2008). Retrieved 28, 2019, from https://www.infoarena.ro/blog/rolling-hash

12. Vysotska, V., Chyrun, L., & Lytvyn, V. (2016). Methods based on ontologies for information resources processing. LAP Lambert Academic Publishing.

13. Vysotska, V., & Shakhovska, N. (2018). Information technologies of gamification for training and recruitment. Saarbrücken, Germany: LAP LAMBERT Academic Publishing.

14. Висоцька, В. А. (2008). Особливості проєктування та впровадження систем електронної комерції.

15. Vysotska, V., & Lytvyn, V. (2018). Web resources processing based on ontologies. Saarbrücken, Germany: LAP LAMBERT Academic Publishing.

16. Vysotska, V. (2018). Tekhnolohiyi elektronnoyi komertsiyi ta Internet-marketynhu. Saarbrücken, Germany: LAP LAMBERT Academic Publishing.

17. Vysotska, V. (2018). Internet systems design and development based on Web Mining and NLP. Saarbrücken, Germany: LAP LAMBERT Academic Publishing.

18. Vysotska, V. (2018). Computer linguistics for online marketing in information technology: monograph. Saarbrücken, Germany: LAP LAMBERT Academic Publishing.

19. Lytvyn, V., Vysotska, V., Wojcik, W., & Dosyn, D. (2017). A method of construction of automated basic ontology. In Computational linguistics andintelligent systems (COLINS 2017). National Technical University “KhPI”.

20. Lytvyn, V., Vysotska, V., Chyrun, L., Smolarz, A., & Naum, O. (2017). Intelligent system structure for Web resources processing and analysis. In Computational linguistics andintelligent systems (COLINS 2017). National Technical University “KhPI”.

21. Berko, A., Vysotska, V., & Chyrun, L. (2014). Features of information resources processing in electronic content commerce. Applied Computer Science, 10.

22. Берко, А. Ю., Висоцька, В. А.,& Рішняк, І. В. (2008). Методи та засоби оцінювання ризиків безпеки інформації в системах електронної комерції.

23. Vysotska, V., & Chyrun, L. (2013). Web Content Processing Method for Electronic Business Systems. International Journal of Computers & Technology, 12(2), 3211–3220.

24. Висоцька, В. А., Чирун, Л. Б., & Чирун, Л. В. (2011). Моделювання етапів життєвого циклу комерційного web-контенту.

25. Берко, А. Ю., Висоцька, В. А., & Чирун, Л. В. (2004). Алгоритми опрацювання інформаційних ресурсів в системах електронної комерції.

26. Vysotska, V., & Chyrun, L. (2011). Commercial Web Content Lifecycle Model.

27. Берко, А., & Висоцька, В. А. (2009). Проектування навігаційного графу web-сторінок бази даних систем електронної контент-комерції.

28. Берко, А. Ю., & Висоцька, В. А. (2009). Семантична інтеграція неповних та неточних даних. Системи обробки інформації, (7), 93–98.

29. Берко, А. Ю., & Висоцька, В. А. (2007). Моделі та методи проектування інформаційних систем електронної комерції. Автоматизированные системы управления и приборы автоматики, (138).

30. Алєксєєва, К. А., Берко, А. Ю., & Висоцька, В. А. (2015). Управління Web-ресурсами за умов невизначеності. Технологический аудит и резервы производства, (2 (2)), 4–7.

31. Vysotska, V., & Chyrun, L. (2014). Designing features of architecture for e-commerce systems [Electronic resource]. MEST Journal, 2(1), 57–70.

32. Vysotska, V., & Chyrun, L. (2014). Set-theoretic models and unified methods of information resources processing in e-business systems. Applied Computer Science, 10.