У статті проаналізовано використання мікровиразів – тонких рухів обличчя, які важко помітити людському оку, а ще важче одразу проаналізувати, щоб оцінити психологічний стан за допомогою методів штучного інтелекту. Навіть спеціалістам у галузі не завжди ідеально це вдається, адже зміна цих мікровиразів відбувається за 1/5 до 1/3 секунди. Дослідження спрямоване на вдосконалення аналізу мікроміміки для точної ідентифікації емоцій і психологічного стану. Наведено огляд реалізованих технологічних рішень на базі CNN та запропоновано метод для їх покращення. Експериментальна перевірка, здійснена на відеозаписах людей, які переживають різні емоції, підтвердила високу точність розробленого методу в розпізнаванні емоцій і психологічного стану. Незважаючи на проблеми, пов’язані з дефіцитом наборів даних мікровиразів і тонкістю рухів обличчя, розроблено модель CapsuleNet для розпізнавання мікровиразів, сформовано архітектуру системи та здійснено тестування. Завдяки об’єднанню трьох основних наборів даних (SMIC, CASME II і SAMM) в уніфіковану кросбазу даних запропонований у роботі метод перевіряє можливість узагальнення моделі за різними предметними характеристиками. Продуктивність CapsuleNet, оцінена за допомогою кросбазового порівняльного аналізу та перевірки Leave-One-Object-Out, істотно перевершує базову (LBP-TOP) та інші вдосконалені моделі CNN. У роботі показано, що продуктивність розробленої моделі, визначена незваженим середнім показником запам’ятовування та результатами F1, перевершує як базову лінію LBP-TOP, так і інші передові моделі CNN. У комплексній системі розпізнавання мікровиразів cпершу обробляємо дані, щоб ідентифікувати верхівкові кадри в послідовностях і виокремити область обличчя на цих кадрах. Ці оброблені зображення обличчя потім подаються в CapsuleNet для класифікації. Результати роботи розвивають та доповнюють методи емоційного штучного інтелекту, покращуючи оцінку за допомогою мікроміміки психологічного стану, який впливає на психічне здоров’я, взаємодію людини з комп’ютером і соціальну робототехніку. Ця технологія має потенціал для розвитку та розширення у різних галузях, зокрема, надає додаткову можливість для фахівців, котрі працюють з людьми, стежити за їхньою продуктивністю, психологічним станом, та оцінювати стрес.
1. Matsumoto, D., Hwang, H. S. (2011). Evidence for training the ability to read microexpressions of emotion. Motivation Emotion, 35, 181–191. https://doi.org/10.1007/s11031-011-9212-2
2. Russell, T. A., Chu, E., & Phillips, M. L. (2006). A pilot study to investigate the effectiveness of emotion recognition remediation in schizophrenia using the micro-expression training tool. British Journal of Clinical Psychology, 45(4), 579583. https://doi.org/10.1348/014466505X90866
3. Weinberger, S. (2010). Airport security: intent deceive?. Nature, 465, 412–415. https://doi.org/10.1038/465412a
4. Ekman, Paul. (2009). Lie catching and microexpressions. In The Philosophy of Deception, ed C.W. Martin (pp. 118–133). Oxford: Oxford University Press. https://doi.org/10.1093/acprof:oso/9780195327939.003.0008
5. Ekman, P. "Telling Lies: Clues to Deceit in the Marketplace, Politics, and Marriage," revised ed.; WW Norton Company: New York, NY, USA, 2009.
6. Davison, A. K., Lansley, C., Costen, N., Tan, K. & Yap, M. H. (2018). Samm: A spontaneous micro-facial movement dataset. IEEE Transactions on Affective Computing, 9(1), 116–129. https://doi.org/10.1109/TAFFC.2016.2573832
7. Yan, W.-J., Li, X., Wang, S.-J., Zhao, G., Liu, Y.-J., Chen, Y.-H., & Fu, X. (2014). Casme ii: An improved spontaneous micro-expression database and the baseline evaluation. PloS one, 9(1). https://doi.org/10.1371/journal.pone.0086041
8. Li X, Pfister T, Huang X, Zhao G, Pietika inen M (2013). A Spontaneous Micro-expression Database: Inducement, Collection and Baseline, 10th Proc Int Conf Autom Face Gesture Recognit (FG2013). Shanghai, China. https://doi.org/10.1109/FG.2013.6553717
9. Davison, A., Merghani, W., & Yap, M. H. (2018). Objective classes for microfacial expression recognition. Journal of Imaging, 4(10), 119. https://doi.org/10.3390/jimaging4100119
10. Xi, E., Bing, S., & Jin, Y. (2017). Capsule network performance on complex data. arXiv preprint arXiv:1712.03480. https://doi.org/10.48550/arXiv.1712.03480
11. Zhao, G., & Pietikainen, M. (2007). Dynamic texture recognition using local binary patterns with an application to facial expressions. IEEE Trans. on PAMI, 29(6), 915–928. https://doi.org/10.1109/TPAMI.2007.1110
12. Wang, Y., See, J., Phan, C.W. et al. (2014). LBP with Six Intersection Points: Reducing Redundant Information in LBP-TOP for Microexpression Recognition, 12th Asian Conference on Computer Vision 2014, Singapore, Singapore. https://doi.org/10.1007/978-3-319-16865-4_34
13. Li, X., Hong, X., Moilanen, A., Huang, X., Pfister, T., Zhao, G., & Pietikäinen, M. (2017). Towards Reading Hidden Emotions: A Comparative Study of Spontaneous Micro-expression Spotting and Recognition Methods, IEEE Transactions on Affective Computing, 9(4), 563–577. https://doi.org/10.1109/TAFFC.2017.2667642
14. Afshar, P., Mohammadi, A., & Plataniotis, K. N. (2018). Brain tumor type classification via capsule networks. 2018 25th IEEE International Conference on Image Processing (ICIP), Athens, Greece, pp. 3129–3133. https://doi.org/10.1109/ICIP.2018.8451379
15. Borza, Diana, Danescu, Radu, Itu, Razvan, & Darabant, Adrian Sergiu. (2017). High-Speed Video System for Micro-Expression Detection and Recognition. Sensors 2017, 17(12), 2913. https://doi.org/10.3390/s17122913
16. Sabour, S., Frosst, N., & Hinton, G. E. (2017). Dynamic Routing Between Capsules. ArXiv, abs/1710.09829. https://doi.org/10.48550/arXiv.1710.09829
17. Simonyan, K., & Zisserman, A. (2014). Very Deep Convolutional Networks for Large-Scale Image Recognition. ArXiv preprint arXiv:1512.03385. https://doi.org/10.48550/arXiv.1409.1556
18. Wang, Y., Sun, A., Han, J., Liu, Y., & Zhu, X. (2018). Sentiment analysis by capsules. WWW'18: Proceedings of the 2018 World Wide Web Conference, Lyon, France, 1165–1174. https://doi.org/10.1145/3178876.3186015