Учёные ВМК МГУ создали метрики, которые улучшают качество видео для машинного зрения

Источник фото: ru.123rf.com

Учёные ВМК МГУ создали новые метрики для оценки качества сжатого видео, которые учитывают специфику работы алгоритмов машинного зрения. По данным Scientific Russia, эти показатели помогают предсказать влияние компрессии на точность распознавания лиц, детекции объектов и идентификации номерных знаков.

Традиционные метрики качества видео, такие как PSNR, SSIM и VMAF, разработаны преимущественно с учётом восприятия человеком, а не алгоритмами. Это приводит к ситуации, когда видео с хорошими оценками по этим параметрам может содержать искажения, сильно мешающие нейросетям эффективно анализировать изображение.

Исследователи из ВМК МГУ протестировали различные видеокодеки — JPEG, H.264, H.265, AV1 и новейший VVC (H.266) — на стандартных наборах данных MS COCO, WIDER FACE, CCPD и CelebA. Они изучили, как методы сжатия влияют на производительность таких моделей машинного зрения, как YOLOv5 (детекция объектов), ArcFace (распознавание лиц) и CCPD (идентификация номеров).

При уменьшении битрейта качество изображений ухудшается из-за потери текстурной и контурной информации, что в частности отражается на задачах с распознаванием лиц и мелких объектов. Эксперименты показали, что современные кодеки AV1 и H.266 лучше сохраняют детали при низком битрейте по сравнению с H.264, однако при экстремальном сжатии точность всех моделей заметно падает.

«Наши результаты показывают, что выбор алгоритма компрессии важен для точности детекции, — говорит Михаил Дремин, аспирант лаборатории ВМК МГУ. — Новые метрики помогают предсказать, как сжатие скажется на работе нейросетей, а не только на визуальном качестве для человека».

Для проверки своих разработок учёные провели эксперимент с участием более 5000 человек, которые оценивали субъективное качество видео. Их оценки сопоставили с результатами машинного зрения — выяснилось, что традиционные метрики не всегда коррелируют с эффективностью распознавания, в то время как новые показатели обеспечивают более надёжную связь.

Новые метрики учитывают изменения точности алгоритмов после сжатия, особенности распознавания лиц и текстовых элементов, а также разницу между обычной оценкой качества глазами человека и требованиями машинного зрения.

По словам Ивана Молодецких, инженера лаборатории ВМК, грамотный подбор параметров сжатия позволяет минимизировать негативное влияние на точность нейросетей без увеличения объёма данных.

Это решение особенно актуально для систем видеонаблюдения, автономных транспортных средств и стриминговых сервисов. Видеонаблюдение сможет обеспечивать стабильное распознавание даже при ограниченной пропускной способности каналов, а беспилотники — получать данные оптимального качества для безопасной работы. В потоковом видео помогает сохранить баланс между нагрузкой на сеть и качеством изображения.

«Разработка открывает путь к умным кодекам, способным адаптировать сжатие под задачи анализа видео», — отмечает Дмитрий Ватолин, старший научный сотрудник ВМК МГУ.

Информация предоставлена ВМК МГУ имени М.В. Ломоносова

Источник фото: ru.123rf.com

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.