1. SCSIT
  2. Всі випуски
  3. Випуск 744, 2012
  4. Аналогова структурно-функціональна нейронна схема визначення максимальних сигналів

Аналогова структурно-функціональна нейронна схема визначення максимальних сигналів

SCSIT.
2012;
Випуск 744
: cc. 10 - 17
Authors: 

П. Тимощук

Національний університет «Львівська політехніка», кафедра систем автоматизованого проектування

Наведено модель неперервного часу аналогової K-winners-take-all (KWTA)- нейронної схеми, яка дає змогу визначати К найбільших серед N невідомих вхідних даних, які можна розрізнити, де $1 \leq \mathrm{K}<\mathrm{N}$. Модель описується одним рівнянням стану з розривною правою частиною і вихідним рівнянням. Подано відповідну структурно- функціональну схему у вигляді N жорсткообмежувальних нейронів прямого поширення і одного жорсткообмежувального нейрона зворотного зв’язку, який використовується для визначення динамічного зсуву вхідних дій. Модель поєднує у собі такі властивості, як висока точність і швидкодія, низькі обчислювальна складність і складність апарат- ної реалізації і незалежність від початкових умов. Наведено приклади моделювання, які демонструють функціонування моделі.

A continuous-time model of analogue K-winners-take-all (KWTA) neural circuit which is capable to extraction the K largest from any finite value N unknown distinct inputs, where $1 \leq \mathrm{K}<\mathrm{N}$, is presented. The model is described by one state equation with discontinuous right- hand side and output equation. A corresponding functional block diagram of the model is given as N feedforward and one feedback hardlimiting neurons, which is used to determine the dynamic shift of inputs. The model combines such properties as high accuracy and convergence speed, low computational and hardware implementation complexity, and independency on initial conditions. Simulation examples demonstrating the model performance are provided.

модель неперервного часу
рівняння стану
функціональна блок-схема
жорсткообмежувальний нейрон
аналогова K-winners-take-all-нейронна схема
  1. Lippmann, R. P., Gold, B., Malpass, M. L.: A comparison of Hamming and Hopfield neural nets for pattern classification. Technical report TR-769, MIT Lincoln Laboratory (1987).
  2. Majani, E., Erlanson, R., Abu-Mostafa, Y.: On the K-winners-take-all network. In: Touretzky, D. S. (ed.) Advances in Neural Information Processing Systems, vol. 1, pp. 634–642. Morgan Kaufmann Publishers Inc., San Francisco (1989).
  3. Tymoshchuk, P., Kaszkurewicz, E.: A Winner-take-all circuit based on second order Hopfield neural networks as building blocks. In: IEEE Int. Joint Conf. on Neural Networks, vol. 2, pp. 891–896. IEEE Press (2003).
  4. Atkins, M.: Sorting by Hopfield nets. In: IEEE Int. Joint Conf. on Neural Networks, pp. 65–68. IEEE Press (1982).
  5. Urahama, K., Nagao, T.: K-winners-take-all circuit with 0(N) complexity. IEEE Trans. on Neural Networks 6, 776–778 (1995)
  6. Kwon, T. M., Zervakis M.: KWTA networks and their applications. Multidimensional Syst. and Signal Processing 6, 333–346 (1995).
  7. Binh, L.N., Chong, H.C.: A neural-network contention controller for packet switching networks. IEEE Trans. on Neural Networks 6, 1402–1410 (1995).
  8. Itti, L., Koch, C., Niebur, E.: A model of saliency-based visual attention for rapid scene analysis. IEEE Trans. on Pattern Analysis and Machine Intelligence 20, 1254 – 1259 (1998).
  9. Kwon, T.M., Zervakis, M. E.: A parallel sorting network without comparators: A neural network approach. In: IEEE Int. Joint Conf. on Neural Networks, pp. 701-706. IEEE Press (1992).
  10. Cilingiroglu, U., Dake, T. L. E.: Rank-order filter design with a sampled-analog multiple-winners-take-all core. IEEE Journal on Solid-State Circuits 37, 978–984 (2002).
  11. Erlanson, R., Abu-Mostafa, Y.: Analog neural networks as decoders. In: Touretzky, D. S. (ed.) Advances in Neural Information Processing Systems, vol. 1, pp. 585-588. Morgan Kaufmann Publishers Inc., San Francisco (1991).
  12. Fish, A., Akselrod, D., Yadid-Pecht, O.: High precision image centroid computation via an adaptive k-winner-take-all circuit in conjunction with a dynamic element matching algorithm for star tracking applications. Analog Integrated Circuits and Signal Processing 39, 251–266 (2004).
  13. Jain B. J., Wysotzki, F.: Central clustering of attributed graphs. Machine Learning 56, 169–207 (2004).
  14. Liu S., Wang, J.: A simplified dual neural network for quadratic programming with its KWTA application. IEEE Trans. on Neural Networks 17(6), 1500–1510 (2006).
  15. DeSouza, G. N., Zak, A. C.: Vision for mobile robot navigation: a survey, IEEE Trans. on Pattern Analysis and Machine Intelligence 24, 237–267 (2002).
  16. Graupe, D.: Principles of Artificial Neural Networks (2nd Edition). World Sci. Publisher, Singapure (2007).
  17. Cichocki, A., Unbehauen, R.: Neural Networks for Optimization and Signal Processing. John Wiley & Sons, Chichester (1993).
  18. Wolfe, W. J., Mathis, D., Anderson, C., Rothman, J., Gottler, M., Brady, G., Walker, R., Duane, G., Alaghband G.: K-winner networks. IEEE Trans. on Neural Networks 2, 310–315 (1991).
  19. Ferreira, L. V., Kaszkurewicz, E., Bhaya, A.: Synthesis of a k-winners-take-all neural network using linear programming with bounded variables. In: IEEE Int. Joint Conf. on Neural Networks, pp. 2360–2365. IEEE Press (2003).
  20. Calvert, B. D., Marinov, C. A.: Another K-winners-take-all analog neural network. IEEE Trans. on Neural Networks 4(11), 829–838 (2000).
  21. Wang, J.: Analysis and design of a k-winners-take-all model with a single state variable and the Heaviside step activation function. IEEE Trans. on Neural Networks 9, 1496–1506 (2010).
  22.  Tymoshchuk, P. V.: A dynamic K-winners take all analog neural circuit. In: IVth IEEE Int. Conf. «Perspective technologies and methods in MEMS design», pp. 13–18. IEEE Press, L’viv (2008).
  23. Tymoshchuk, P. V.: A discrete-time dynamic K-winners-take-all neural circuit. Neurocomputing 72, 3191–3202 (2009).
  24. Liu, Q., Wang, J.: Two k-winners-take-all networks with discontinuous activation functions. Neural Networks 21, 406–413 (2008).