Оптимізація ширини потокового графа алгоритму у нейронних мережах для зменшення використання процесорних елементів на одноплатних компʼютерах

2024;
: cc. 232-241
1
Національний університет «Львівська політехніка»,кафедра електронних обчислювальних машин
2
Національний університет «Львівська політехніка»,кафедра електронних обчислювальних машин

У статті представлено метод оптимізації потокового графа алгоритму глибинної нейронної мережі для зменшення кількості процесорних елементів (ПЕ), необхідних для виконання алгоритму на одноплатних комп'ютерах. Запропонований підхід ґрунтується на використанні структурної матриці для оптимізації архітектури нейронної мережі без втрати продуктивності. Дослідження показало, що завдяки зменшенню ширини графа вдалося зменшити кількість процесорних елементів з 3 до 2, зберігаючи при цьому продуктивність мережі на рівні 75% ефективності. Цей підхід є важливим, оскільки дозволяє розширити можливості застосування нейронних мереж у вбудованих системах і IoT, підвищити ефективність використання обчислювальних ресурсів на пристроях з обмеженими обчислювальними можливостями, забезпечуючи ефективне використання обчислювальних ресурсів.

  1. Zhuang Liu, Jianguo Li, Zhiqiang Shen, Gao Huang, Shoumeng Yan, and Changshui Zhang. 2017. Learning Efficient Convolutional Networks through Network Slimming. CoRR abs/1708.06519, (2017). DOI: 10.48550/arXiv.1708.06519
  2. Vivienne Sze, Yu-Hsin Chen, Tien-Ju Yang, and Joel S. Emer. 2017. Efficient Processing of Deep Neural Networks: A Tutorial and Survey. CoRR abs/1703.09039, (2017). DOI: 10.48550/arXiv.1703.09039
  3. Hengyuan Hu, Rui Peng, Yu-Wing Tai, and Chi-Keung Tang. 2016. Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures. CoRR abs/1607.03250, (2016). DOI: 10.48550/arXiv.1607.03250
  4. Song Han, Jeff Pool, John Tran, and William J. Dally. 2015. Learning both Weights and Connections for Efficient Neural Networks. CoRR abs/1506.02626, (2015). DOI: 10.48550/arXiv.1506.02626
  5. Мельник, А.О., Яковлєва, І.Д. і Ющенко, В.Ю. 2010. ПОБУДОВА ТА МАТРИЧНЕ ПОДАННЯ ПОТОКОВОГО ГРАФА АЛГОРИТМУ. Вісник Вінницького політехнічного інституту. 3 (Листоп. 2010), 93–99. URL: https://visnyk.vntu.edu.ua/index.php/visnyk/article/view/757 (Дата звернення: 16 Жовтня 2024)
  6. Мельник, А.О., і Мицко, Ю.Є. 2012. ВИКОНАННЯ ПОДАНИХ ПОТОКОВИМ ГРАФОМ АЛГОРИТМІВ З ВИКОРИСТАННЯМ ТЕХНОЛОГІЇ GPGPU. Вісник Національного університету "Львівська політехніка", (745), 124-130. URL: https://ena.lpnu.ua/handle/ntb/20127 (Дата звернення: 16 Жовтня 2024)
  7. Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Rabinovich. 2015. Going deeper with convolutions. In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 1–9. DOI: 10.1109/CVPR.2015.7298594
  8. Maher G. M. Abdolrasol, S. M. Suhail Hussain, Taha Selim Ustun, Mahidur R. Sarker, Mahammad A. Hannan, Ramizi Mohamed, Jamal Abd Ali, Saad Mekhilef, and Abdalrhman Milad. 2021. Artificial Neural Networks Based Optimization Techniques: A Review. Electronics 10, 21 (2021). DOI: 10.3390/electronics10212689
  9. Feed-forward propagation from scratch in Python. Online resource. URI: https://subscription.packtpub.com/book/data/9781789346640/1/ch01lvl1sec0...
  10. Фастюк, Є., і Гузинець, Н. 2024. ОПТИМІЗАЦІЯ АЛГОРИТМУ РОБОТИ НЕЙРОННОЇ МЕРЕЖІ ЗА РАХУНОК ЗМЕНШЕННЯ ШИРИНИ ПОТОКОВОГО ГРАФА АЛГОРИТМУ. Матеріали конференцій МЦНД, (31.05.2024; Черкаси, Україна), 214–216. DOI: 10.62731/mcnd-31.05.2024.006
  11.  Fastiuk, Y., Bachynskyy, R., and Huzynets, N. 2021. Methods of Vehicle Recognition and Detecting Traffic Rules Violations on Motion Picture Based on OpenCV Framework. Advances in Cyber-Physical Systems, 6(2), 105-111. DOI: 10.23939/acps2021.02.105