Побудова оптимізованої багатошарової нейронної мережі в межах нелінійної моделі узагальненої похибки

2021;
: сс. 53 - 60
1
Національний університет «Львівська політехніка»
2
Національний університет "Львівська політехніка", м. Львів, Україна
3
Національний університет «Львівська політехніка»
4
Національний університет "Львівська політехніка", кафедра інформаційних систем та мереж; Університет Оснабрюка, Інститут комп’ютерних наук, Німеччина
5
Дрогобицький державний педагогічний університет імені Івана Франка

У роботі запропоновано спосіб оптимізації структури багатошарової нейронної мережі на основі мінімізації нелінійної узагальненої похибки, яка ґрунтується на принципі мінімальної довжини опису. Відповідно до цього принципу, узагальнена похибка мережі під час роботи з новими даними визначається похибкою апроксимації даних нейронною мережею у нелінійному наближенні та похибкою опису моделі. З умови мінімуму узагальненої похибки мережі виведено вирази для обчислення оптимального розміру мережі (кількість синаптичних зв’язків та кількість нейронів у прихованих шарах). Побудовано графічні залежності узагальненої похибки мережі від кількості синаптичних зв’язків між нейронами за різних значень вхідних образів і фіксованої кількості навчальних прикладів та графічні залежності оптимальної кількості синаптичних зв’язків від кількості навчальних прикладів за різних значень вхідних образів. На основі співвідношень для оптимальної кількості синаптичних зв’язків між нейронами та оптимальної кількості нейронів у прихованих шарах оцінено ступінь складності навчання нейронної мережі.

  1. Vasyl Lytvyn, Ivan Peleshchak, Roman Peleshchak. (2017). The compression of the input images in neural network that using method diagonalization the matrices of synaptic weight connections. 2017 2nd International Conference on Advanced Information and Communication Technologies (AICT), 66 - 70. https://doi.org/10.1109/AIACT.2017.8020067. phttps://doi.org/10.1109/AIACT.2017.8020067
  2. Vasyl Lytvyn, Ivan Peleshchak, Roman Peleshchak. (2017). Increase the speed of detection and recognition of computer attacks in combined diagonalized neural networks. 2017 4th International Scientific-Practical Conference «Problems of infocommunications. Science and Technolohy», 152 - 155. https://doi.org/10.1109/INFOCOMMST.2017.8246370. phttps://doi.org/10.1109/INFOCOMMST.2017.8246370
  3. Yezhov A. A., Shumsky S. A. (1998). Neurocomputing and its applications in Economics and business. Moscow, 222.
  4. Tariq Rashid. (2016). Make Your Own Neural Network. Kindle Edition, 222.
  5. Charu C. Aggarwal. (2018). Neural Networks and Deep Learning: A Textbook. Springer, 520. https://doi.org/10.1007/978-3-319-94463-0. phttps://doi.org/10.1007/978-3-319-94463-0
  6. Tereykovsky I. A. (2012). Optimization of the structure of the multilayer perceptron in systems of computer informaton protection. Information protection, 3, 36-40. https://doi.org/10.18372/2410-7840.14.3357. phttps://doi.org/10.18372/2410-7840.14.3357
  7. Giovanni Landi, Alessandro Zampini. (2018). Linear Algebra and Analytic Geometry for Physical Sciences. Springer, 345. https://doi.org/10.1007/978-3-319-78361-1. phttps://doi.org/10.1007/978-3-319-78361-1
  8. Heydarov P. S. (2017). Neural network of direct distribution with the calculated parameters. Information technology, 7, 543 - 552.
  9. Hecht-Nielsen R. (1987). Kolmogorov’s mapping neural network existence theorem. IEEE First Annual Int. Conf. on Neural Networks. San Diego, 3, 11-13.
  10. Kulchin Y. N. (2015). Processing of signals of the distributed fiber-optic network for recognition of dynamic images using neural networks. Information technology, 4, 312 - 318.