Восстановление границ кадра при стабилизации на основе построения модели фона и оценки значимости объектов


https://doi.org/10.15217/issn1684-8853.2017.5.42

Полный текст:


Аннотация

Постановка проблемы: цифровая стабилизация видеопоследовательностей часто применяется в системах обработки видеопоследовательностей и видеонаблюдения для улучшения качества итогового материала. При этом одной из основных проблем является потеря граничных областей кадра при его масштабировании до стабилизированного состояния. Исследования альтернативных подходов восстановления границ кадра до сих пор не привели к появлению эффективного алгоритмического решения, обеспечивающего достаточное качество кадра. Цель: разработка эффективного алгоритма, позволяющего выполнить восстановление границ изображения при стабилизации видеопоследовательностей на основе модели фона, оценки значимых объектов в кадре и многополосного смешивания краев кадра и восстанавливаемых регионов. Результаты: разработан алгоритм восстановления границ кадра при стабилизации видеопоследовательности на основе разделения сцены на фон и значимые объекты, формирования буферного кадра и применения сшивки изображения на границах кадра для видеопоследовательностей, содержащих неравномерное движение камеры и объектов, а также многоплановую сцену. Практическая значимость: результаты работы протестированы с использованием общедоступной базы данных Sports Videos for Wild, которая содержит большое число видеопоследовательностей, отснятых движущейся видеокамерой, а также видеопоследовательностей LI Robust Optimal Camera Path, известных в работах по стабилизации движения. Применение разработанного алгоритма позволяетуменьшить масштабирование кадра и потери изображения при стабилизации доЗ-5% при наличии сложных видов движения и структуры сцены.

Об авторах

Владимир Викторович Буряченко
Сибирский государственный университет науки и технологий им. академика М. Ф. Решетнёва
Россия


Маргарита Николаевна Фаворская
Сибирский государственный университет науки и технологий им. академика М. Ф. Решетнёва
Россия


Александр Геннадьевич Зотин
Сибирский государственный университет науки и технологий им. академика М. Ф. Решетнёва
Россия


Андрей Иванович Пахирка
Сибирский государственный университет науки и технологий им. академика М. Ф. Решетнёва
Россия


Список литературы

1. Matsushita Y., Ofek E., Ge W., Tang X., Shum H.-Y. Full-Frame Video Stabilization with Motion Inpainting // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI). 2006. Vol. 7. P. 11501163.

2. Davis J. Mosaics of Scenes with Moving Objects// Proc. of IEEE Computer Vision and Pattern Recognition/ IEEE Computer Society. 1998. P. 354-360.

3. Litvin A., Konrad J., Karl W. Probabilistic Video Stabilization using Kalman Filtering and Mosaicking // Proc. of IS&T/SPIE Symp. on Electronic Imaging, Image and Video Communications. 2003. Vol. 1. P. 663-674.

4. Lowe D. G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. 2004. Vol. 60(2). P. 91-110.

5. Grundmann M., Kwatra V., Essa I., Grundmann M. Auto-directed Video Stabilization with Robust L1 Optimal Camera Paths // Proc. CVPR. 2011. P. 225-232.

6. Safdarnejad S., Xiaoming L., Lalita U., Brooks A., Wood J., Craven D. Sports Videos in the Wild (SVW): A Video Dataset for Sports Analysis, Automatic Face and Gesture Recognition (FG) // 11th IEEE Intern. Conf. and Workshops on Automatic Face and Gesture Recognition. 2015. Vol. 1. P. 1-7.

7. Favorskaya M. N., Damov M. V., Zotin A. G. Accurate Spatio-Temporal Reconstruction of Missing Data in Dynamic Scenes // Pattern Recognition Letters. 2013. Vol. 34(14). P. 1694-1700.

8. Matsushita Y., Ofek E., Ge W., Tang X., Shum H.-Y. Full-Frame Video Stabilization // Computer Vision and Pattern Recognition. 2005. P. 50-57.

9. Hu R., Shi R., Shen I., Chen W. Video Stabilization using Scale-Invariant Features // 11th Intern. Conf. Information Visualization. 2007. P. 871-877.

10. Jia J., Wu T., Tai Y., Tang C. Video Repairing: Inference of Foreground and Background under Severe Occlusion // Proc. IEEE Conf. Computer Vision and Pattern Recognition. 2004. P. 364-371.

11. Favorskaya M. N., Jain L., Buryachenko V. V. Digital Video Stabilization in Static and Dynamic Scenes // Computer Vision in Control Systems-1: Mathematical Theory. - Springer, 2015. Vol. 73. P. 261-309.

12. Favorskaya M. N., Buryachenko V. V. Fast Salient Object Detection in Non-stationary Video Sequences Based on Spatial Saliency Maps // Smart Innovation, Systems and Technologies. 2016. Vol. 55. P. 121-132.

13. Katramados I., Breckon T. P. Real-time Visual Saliency by Division of Gaussians // IEEE Intern. Conf. on Image Processing. 2011. P. 1741-1744.

14. Favorskaya M. N., Buryachenko V. V. Fuzzy-Based Digital Video Stabilization in Static Scenes / G. A. Tsihrintzis, M. Virvou, L. C. Jain, R. J. Howlett, T. Watanabe (Eds.) // Intelligent Interactive Multi-media Systems and Services in Practice. SIST. - Springer, 2015. Vol. 36. P. 63-83.

15. Rosten E., Drummond T. Fusing Points and Lines for High Performance Tracking // Proc. of the IEEE Intern. Conf. on Computer Vision. 2005. Vol. 2. P. 1508-1511.


Дополнительные файлы

Для цитирования: Буряченко В.В., Фаворская М.Н., Зотин А.Г., Пахирка А.И. Восстановление границ кадра при стабилизации на основе построения модели фона и оценки значимости объектов. Информационно-управляющие системы. 2017;90(5):42-51. https://doi.org/10.15217/issn1684-8853.2017.5.42

For citation: Buryachenko V.V., Favorskaya M.N., Zotin A.G., Pahirka A.I. Restoration of Frame Borders under Stabilization based on Background Model Building and Salient Objects Estimation. Information and Control Systems. 2017;90(5):42-51. (In Russ.) https://doi.org/10.15217/issn1684-8853.2017.5.42

Просмотров: 29


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 1684-8853 (Print)
ISSN 2541-8610 (Online)