ИССЛЕДОВАНИЕ АЛГОРИТМОВ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ ПРИМЕНЕНИЯ В АССИСТИВНЫХ СИСТЕМАХ ПОМОЩИ СЛАБОВИДЯЩИМ

Abstract

Современные методы компьютерного зрения решают широкий спектр задач, от базовой категоризации изображений до комплексного анализа пространственной структуры окружения. Выбор моделей определяется их способностью балансировать между точностью, скоростью обработки и адаптивностью к условиям реального мира. Целью данной работы является анализ применимости алгоритмов компьютерного зрения в ассистивных системах помощи слабовидящим и незрячим пользователям, а также оценка того, какие типы моделей могут быть использованы для первичного описания сцены, обнаружения значимых объектов, распознавания текстовой информации и анализа проходимых поверхностей. В рамках данной работы рассмотрены модели для классификации изображений, детекции объектов, семантической сегментации изображений и распознавания текста из окружения в целях разработки ассистивных систем. Классификация сцен может применяться для первичного определения общего контекста окружающей среды, детекция объектов – для выделения отдельных значимых предметов и потенциальных препятствий, оптическое распознавание символов – для извлечения текстовой информации, а семантическая сегментация – для анализа структуры пространства и проходимых поверхностей. В разработанном прототипе ассистивной системы дополнительным завершающим звеном конвейера выступает языковая модель, используемая для консолидации выходных данных отдельных модулей компьютерного зрения и формирования конечной текстовой подсказки для пользователя.