Підвищення точності прогнозування засобами штучного інтелекту є важливим завданням в різних галузях промисловості, економіки, медицини. Ансамблеве навчання є одним із можливих варіантів досягнення цього. Зокрема, побудова стекінгових моделей на підставі різних методів машинного навчання, чи з використанням різних частин наявного набору даних демонструє високу точність прогнозу. Проте потребу правильного підбору членів ансамблю, їх оптимальних параметрів, тощо, зумовлює потребу великих часових витрат на підготовку та навчання таких моделей. В роботі пропонується дещо інший підхід до побудови простого, проте ефективного ансамблевого методу. Розроблено нову модель стекінгу нелінійних нейроподібних структур МПГП, яка базується на використанні тільки одного типу ШНМ як елементної бази ансамблю та застосуванні однакової для усіх членів ансамблю навчальної вибірки. Такий підхід забезпечує ряд переваг порівняно з процедурами побудови ансамблів на підставі різних методів машинного навчання, як мінімум у напрямі підбору оптимальних параметрів для кожного з них. За основу ансамлювання в нашому випадку використано кортеж випадкових гіперпараметрів для кожного окремого члена ансамблю. Тобто навчання кожної комбінованої нейроподібної структури МПГП з додатковим RBF шаром, як окремого члена ансамблю відбувається з використанням різних, випадково обраних значеннях центрів RBF та центрів мас. Це забезпечує необхідне різноманіття елементів ансамблю. Експериментальні дослідження щодо ефективності роботи розробленого ансамблю проведено із використання реального набору даних. Задача полягає у прогнозуванні величини медичних страхових виплат на підставі ряду незалежних атрибутів. Експериментальним шляхом визначено оптимальну кількість членів ансамблю, яка забезпечує найвищу точність розв'язання поставленої задачі. Проведено порівняння результатів роботи розробленого ансамблю з наявними методами цього класу. Встановлено найвищу точність роботи розробленого ансамблю при задовільній тривалості процедури його навчання.
[1] Agarwal, S., & Chowdary, C. R. (2020). A-Stacking and A-Bagging: Adaptive versions of ensemble learning algorithms for spoof fingerprint detection. Expert Systems with Applications, 146, 113160. https://doi.org/10.1016/j.eswa.2019.113160
[2] Boodhun, N., & Jayabalan, M. (2018). Risk prediction in life insurance industry using supervised learning algorithms. Complex & Intelligent Systems, 4(2), 145–154. https://doi.org/10.1007/s40747-018-0072-1
[3] Chaurasia, V., & Pal, S. (2021). Stacking-Based Ensemble Framework and Feature Selection Technique for the Detection of Breast Cancer. SN Computer Science, 2(2), 67. https://doi.org/10.1007/s42979-021-00465-3
[4] Feng, D.-C., Liu, Z.-T., Wang, X.-D., Chen, Y., Chang, J.-Q., Wei, D.-F., & Jiang, Z.-M. (2020). Machine learning-based compressive strength prediction for concrete: An adaptive boosting approach. Construction and Building Materials, 230, 117000. https://doi.org/10.1016/j.conbuildmat.2019.117000
[5] Folberth, C., Elliott, J., Müller, C., Balkovič, J., Chryssanthacopoulos, J., Izaurralde, R. C., Jones, C. D., Khabarov, N., Liu, W., Reddy, A., Schmid, E., Skalský, R., Yang, H., Arneth, A., Ciais, P., Deryng, D., Lawrence, P. J., Olin, S., Pugh, T. A. M., … Wang, X. (2019). Parameterization-induced uncertainties and impacts of crop management harmonization in a global gridded crop model ensemble. PLOS ONE, 14(9), e0221862. https://doi.org/10.1371/journal.pone.0221862
[6] Hassan, A. H. A., & Elfaki, E. (2018). Prediction of Electrical Output Power of Combined Cycle Power Plant Using Regression ANN Model. https://doi.org/10.5281/zenodo.1285164
[7] Ighalo, J. O., Adeniyi, A. G., & Marques, G. (2020). Application of linear regression algorithm and stochastic gradient descent in a machine – learning environment for predicting biomass higher heating value. Biofuels, Bioproducts and Biorefining, 14(6), 1286–1295. https://doi.org/10.1002/bbb.2140
[8] Izonin, I., Tkachenko, R., Kryvinska, N., Gregus, M., Tkachenko, P., & Vitynskyi, P. (2019). Committee of SGTM Neural-Like Structures with RBF kernel for Insurance Cost Prediction Task. 2019 IEEE 2nd Ukraine Conference on Electrical and Computer Engineering (UKRCON), 1037–1040. https://doi.org/10.1109/UKRCON.2019.8879905
[9] Kurz, C. F., Maier, W., & Rink, C. (2020). A greedy stacking algorithm for model ensembling and domain weighting. BMC Research Notes, 13(1), 1–6. https://doi.org/10.1186/s13104-020-4931-7
[10] Medical Cost Personal Datasets. (n.d.). Retrieved 9 December 2018, from https://www.kaggle.com/mirichoi0218/insurance
[11] Pavlyshenko, B. (2018). Using Stacking Approaches for Machine Learning Models. 2018 IEEE Second International Conference on Data Stream Mining Processing (DSMP), 255–258. https://doi.org/10.1109/DSMP.2018.8478522
[12] Pham, K., Kim, D., Park, S., & Choi, H. (2021). Ensemble learning-based classification models for slope stability analysis. Catena, 196, 104886. https://doi.org/10.1016/j.catena.2020.104886
[13] Rocca, J. (2021, March 21). Ensemble methods: Bagging, boosting and stacking. Medium. https://towardsdatascience.com/ensemble-methods-bagging-boosting-and-stacking-c9214a10a205
[14] Salah, M., Altalla, K., Salah, A., & Abu-Naser, S. S. (2018). Predicting Medical Expenses Using Artificial Neural Network. International Journal of Engineering and Information Systems (IJEAIS), 2(10), 7.
[15] Shaikhina, T., & Khovanova, N. A. (2017). Handling limited datasets with neural networks in medical applications: A small-data approach. Artificial Intelligence in Medicine, 75, 51–63. https://doi.org/10.1016/j.artmed.2016.12.003
[16] Shakhovska, N., Yakovyna, V., & Kryvinska, N. (2020). An Improved Software Defect Prediction Algorithm Using Self-organizing Maps Combined with Hierarchical Clustering and Data Preprocessing. In S. Hartmann, J. Küng, G. Kotsis, A.M. Tjoa, & I. Khalil (Eds.), Database and Expert Systems Applications (pp. 414–424). Springer International Publishing. https://doi.org/10.1007/978-3-030-59003-1_27
[17] Teslyuk, V., Kazarian, A., Kryvinska, N., & Tsmots, I. (2021). Optimal Artificial Neural Network Type Selection Method for Usage in Smart House Systems. Sensors, 21(1), 47. https://doi.org/10.3390/s21010047
[18] Tkachenko, R., & Izonin, I. (2019). Model and Principles for the Implementation of Neural-Like Structures Based on Geometric Data Transformations. In Z. Hu, S. Petoukhov, I. Dychka, & M. He (Eds.). Advances in Computer Science for Engineering and Education (Vol. 754, pp. 578–587). Springer International Publishing. https://doi.org/10.1007/978-3-319-91008-6_58
[19] Tkachenko, R., Izonin, I., Vitynskyi, P., Lotoshynska, N., & Pavlyuk, O. (2018). Development of the Non-Iterative Supervised Learning Predictor Based on the Ito Decomposition and SGTM Neural-Like Structure for Managing Medical Insurance Costs. Data, 3(4), 46. https://doi.org/10.3390/data3040046
[20] Tkachenko, R., Kutucu, H., Izonin, I., Doroshenko, A., & Tsymbal, Y. (n.d.). Non-Iterative Neural-Like Predictor for Solar Energy in Libya. 11.
[21] Tkachenko, R., Tkachenko, P., Izonin, I., Vitynskyi, P., Kryvinska, N., & Tsymbal, Y. (2019). Committee of the Combined RBF-SGTM Neural-Like Structures for Prediction Tasks. In I. Awan, M. Younas, P. Ünal, & M. Aleksy (Eds.). Mobile Web and Intelligent Information Systems (pp. 267–277). Springer International Publishing. https://doi.org/10.1007/978-3-030-27192-3_21
[22] Tsmots, I., & Skorokhoda, O. (2010). Methods and VLSI-structures for neural element implementation. 2010 Proceedings of VIth International Conference on Perspective Technologies and Methods in MEMS Design, 135–135.
[23] Tsmots, I., Skorokhoda, O., & Rabyk, V. (2016). Structure and Software Model of a Parallel-Vertical Multi-Input Adder for FPGA Implementation, 158–160. https://doi.org/10.1109/STC-CSIT.2016.7589894
[24] Tsmots, I., Teslyuk, V., & Vavruk, I. (2013). Hardware and software tools for motion control of mobile robotic system. 2013 12th International Conference on the Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), 368–368.
[25] Xiao, Y., Wu, J., Lin, Z., & Zhao, X. (2018). A deep learning-based multi-model ensemble method for cancer prediction. Computer Methods and Programs in Biomedicine, 153, 1–9. https://doi.org/10.1016/j.cmpb.2017.09.005