1. CSN
  2. Всі випуски
  3. Випуск 7, Номер 1, 2025
  4. Оптимізація комунікації у високонавантажених системах методом FlagBag

Оптимізація комунікації у високонавантажених системах методом FlagBag

CSN.
2025;
Випуск 7, Номер 1
: cc. 204 - 217
https://doi.org/10.23939/csn2025.01.204
Автори:
  1. Е. Є. Мальцев
  2. О. В. Муляревич
1
Національний університет «Львівська політехніка» кафедра електронних обчислювальних машин
2
Національний університет «Львівська політехніка» кафедра електронних обчислювальних машин

Наведено новий метод оптимізації серіалізації даних для міжсервісної комунікації у розподілених системах, названий FlagBag. Запропонований метод спрямований на зменшення затримки передачі даних між сервісами шляхом впровадження ефективної організації структури даних та алгоритму їх серіалізації. Дослідження проведено з використанням Apache Avro як базового формату для порівняння. Результати експериментів показали, що FlagBag зменшує середню затримку передачі даних між сервісами на 18%, порівняно з немодифікованим Avro, а обсяг переданих даних скорочується на 15% в окремих випадках. Крім того, запропонований метод демонструє стабільну продуктивність під час збільшення розміру повідомлень до 10 кБ, забезпечуючи перевагу у середньому на 15% у часі передачі за такого сценарю. Розглянуто аспекти інтеграції FlagBag в наявні архітектури мікросервісів, включаючи потенціал зниження операційних витрат на підтримку сервісів у високонавантажених системах. Проведені тести продуктивності підтвердили переваги методу в умовах реального навантаження, що робить FlagBag перспективним рішенням для розв’язання задач із високими вимогами до швидкості та ефективності міжсервісної комунікації. Запропонований підхід є універсальним і може бути адаптований для інших форматів серіалізації, забезпечуючи покращення продуктивності в широкому спектрі застосувань.

передача даних
процедура кодування
обмін інформацією
протоколи
оцінка продуктивності
  1. Hwang S. H., Kim K. M., Kim S., Kwak J. W. Lossless data compression for time-series sensor data based on dynamic bit packing. Sensors. 2023. 23(20). 8575. https://doi.org/10.3390/s23208575.
  2. Abdelwahed M. F. A hybrid method for data compression and encryption based on bit packing, 128- based numerals, and bitmap manipulations: application to seismic data. Multimedia Tools and Applications. 2020. 79(31). 22705-22726. 10.1007/s11042-020-09082-3.
  3. Clark M. A., Howarth D., Tu J., Wagner M., Weinberg E. Maximizing the Bang Per Bit (No. arXiv: 2302.09224, p. 338). 10.22323/1.430.0338. 2023.
  4. Prammer Martin, Jignesh M. Patel. Rethinking the Encoding of Integers for Scans on Skewed Data. Proceedings of the ACM on Management of Data. 2023. 1.4. 1-27. https://doi.org/10.1145/3626751.
  5. Jiang H., Liu C., Paparrizos J., Chien A. A., Ma J., Elmore A. J. Good to the last bit: Data-driven encoding with codecdb. In Proceedings of the 2021 International Conference on Management of Data. 2021, June. 843-856.  https://doi.org/10.1145/3448016.3457283.
  6. Sung S., Ko S. K., Han Y. S. Smaller Representation of Compiled Regular Expressions. In International Conference on Implementation and Application of Automata. 2023, August. Pp. 290-301. Cham: Springer Nature Switzerland. https://doi.org/10.1007/978-3-031-40247-0_22.
  7. Wang H., Song S. Frequency domain data encoding in apache iotdb. Proceedings of the VLDB Endowment. 2022. 16(2). 282-290. https://doi.org/10.14778/3565816.3565829.
  8. Idir Y., Moumen I., Abouchabaka J., Rafalia N. (2024). Enhancing IoT Data Integrity and Effectiveness through hybrid Compression Method: A Step Towards Energy Efficiency. In E3S Web of Conferences. Vol. 477. P. 00042. EDP Sciences. https://doi.org/10.1051/e3sconf/202447700042.
  9. Chen J. A., Sung H. H., Shen X., Tallent N., Barker K., Li A. Accelerating matrix-centric graph processing on GPUs through bit-level optimizations. Journal of Parallel and Distributed Computing. 2023. 177. 53-67.  https://doi.org/10.1016/j.jpdc.2023.02.013.
  10. Li Y., Lu J., Chandramouli B. Selection Pushdown in Column Stores Using Bit Manipulation Instructions. Proceedings of the ACM on Management of Data. 2023. 1(2). 1-26.  https://doi.org/10.1145/3589323.
  11. Bammes B., Spilman M. High-Temporal Resolution Event Streaming for Electron Counting. 2024. https://doi.org/10.1093/mam/ozae044.845.
  12. Sakr F., Berta R., Doyle J., Younes H., De Gloria A., Bellotti F. Memory Efficient Binary Convolutional Neural Networks on Microcontrollers. In 2022 IEEE International Conference on Edge Computing and Communications (EDGE). 2022, July. Pp. 169-177. 10.1109/EDGE55608.2022.0003289p.
  13. Maltsev E. Enhancing Inter-Service Communication Through Multi-Baseline Delta Encoding, 2024 IEEE 17th International Conference on Advanced Trends in Radioelectronics, Telecommunications and Computer Engineering (TCSET), Lviv, Ukraine, 2024. 10.1109/TCSET64720.2024.10755788.
  14. Maltsev E., Muliarevych O. Beyond Json: Evaluating Serialization Formats for Space-Efficient Communication. ACPS. 2024. 9(1). 9-15. https://doi.org/10.23939/acps2024.01.009.