Сравнение объективных оценок набора метрик с субъективными оценками

Качество видеоконтента представляет собой набор параметров, определяющих восприятие обработанного видео, человеком, просматривающим данный контент

Объективная оценка качества проводится метриками, которые базируются на математических алгоритмах с использованием показателей, которые пытаются отразить механизмы восприятия зрительной системы человека для сравнения эталонного и искаженного изображения

Ко второй проблеме, по мнению авторов данной статьи, стоит отнести некоторую односторонность оценок качества видеоконтента с помощью существующих объективных метрик. Метрики, как правило, оценивают один параметр качества видео, без учета взаимного влияния разных параметров друг на друга.

Авторами статьи «Набор объективных метрик качества, ориентированных на особенности восприятия видеосигнала человеком»

Задачей данной статьи является объективная оценка с помощью трех обозначенных метрик открытых баз видео с разными типами искажений и сравнение полученных результатов работы метрик из предложенного набора с результатами субъективной оценки на основе их относительных отклонений.

Для проведения исследования были выбраны искаженные видео с субъективными оценками из открытых баз данных BVI-FVI

База данных BVI-VFI, содержит 36 эталонных видео в разрешении 1920x1080, обладающих разной частотой кадров (30, 60 и 120 кадров в секунду). Каждое видео обработано с пониженной дискретизацией и интерполяцией пятью методами VFI (Video Frame Interpolation)

1) Repeat (повторение) — метод, основанный на многократном дублировании последовательности кадров;

2) Average (усреднение) — метод, основанный на усреднении кадров, где средний кадр генерируется путем усреднения двух смежных кадров;

3) DVF (Deep Voxel Flow) — метод, основанный на глубокой нейронной сети, которая синтезирует видеокадры, извлекая значения вокселей из существующих;

4) QVI (Quadratic Video Interpolation) — метод, основанный на многослойной структуре, где присутствуют слои обратного и прямого потока для аппроксимации движения пикселей и создания дополнительных кадров;

5) ST-MFNet (Spatio-Temporal Multi-Flow Network) — метод, основанный на пространственно-временной многопоточной архитектуре, с помощью которой происходит прогнозирование дополнительных кадров и последующее их синтезирование.

Указанные методы, генерируя дополнительные видеокадры, позволяют создавать уникальные типы артефактов, такие как, дрожание и размытие, что непосредственно влияет на текстуру и структуру видеофайла.

При субъективной оценке кадров использовалась методология попарной оценки сходства, основанная на выборе пользователем лучшего из двух изображений и оценке степени различия между изображениями

База данных MCL-V содержит 12 эталонных видео с разрешением 1920x1080 и частотой кадров 30 кадров в секунду. Каждое видео обработано в сервисах потоковой передачи видео (сжатие

1) Сжатие с использованием стандарта H.264/AVC;

2) Сжатие с последующим масштабированием (изменение изображения при помощи каскада операций: понижающей дискретизации, кодирования, а затем изменения размера до исходного разрешения).

При сжатии изображения использовалось 4 уровня сжатия:

1) H.264_1 — метод, основанный на сжатии видео при ограничении пропускной способности до 2000 кбит в секунду;

2) H.264_2 — метод, основанный на сжатии видео при ограничении пропускной способности до 3000 кбит в секунду;

3) H.264_3 — метод, основанный на сжатии видео при ограничении пропускной способности до 4000 кбит в секунду;

4) H.264_4 — метод, основанный на сжатии видео при ограничении пропускной способности до 5000 кбит в секунду.

При сжатии видеофайла появляются такие артефакты сжатия, как, шумы, зернистость, что негативно влияет на текстуру и структуру.

При субъективной оценке кадров использовалась методология категориальной оценки ухудшения качества, основанная на поочередном представлении эталонного и искаженного изображения пользователю с последующей оценкой степени ухудшения качества изображения

Исследование искажений и изменяемых параметров видеофайла двух баз данных показало, что главным изменяемым параметром является структура и текстура видеофайла. Далее необходимо сравнить результаты субъективной и объективной оценок и оценить результаты сравнения.

Сложность сравнения состоит в том, что каждая метрика имеет свою шкалу оценивания качества видеоконтента, в соответствии с используемым алгоритмом. Поэтому необходимо приведение получаемых оценок к единому виду. Для чего применялась шкала перевода оценок, представленная в таблице 1.

Для упрощения чтения таблиц, были введены сокращения, представленные в таблице 2.

Для сравнения результатов объективных и субъективных оценок, из базы данных BVI-VFI был взят набор видео с разрешением 1920x1080 и частотой кадров 60 кадров в секунду. Результаты субъективной оценки видео, в соответствии с принятой шкалой перевода, представлены в таблице 3.

Для выполнения дальнейшего сравнения была проведена объективная оценка эталонных и искаженных видеофайлов базы данных BVI-FVI с помощью метрик (см. табл. 4).

Данные, представленные в таблицах 3, 4 принадлежат разным оценочным диапазонам, что затрудняет их сравнение. Для приведения данных к единому диапазону значений необходимо обратиться к таблице 1.

Приведенные данные субъективной и объективной оценок показаны в таблице 5.

На рисунке 1 представлены графики, построенные по полученным субъективным и объективным оценкам базы данных BVI — FVI.

Рисунок 1 - Графики сравнения оценок:

а – SSIM; б – PSNR; в – DISTS

DOI:10.60797/IRJ.2025.160.54.6

На полученных графиках видно, что результаты объективной и субъективной оценок видео заметно расходятся.

Для определения количественных показателей расхождения двух типов оценок были рассчитаны их относительные отклонения. Данные расчетов представлены в таблице 6.

Проведя изучение расчетных данных, было замечено, что среднее отклонение ожидаемых и фактических результатов на всех типах искажений составляет значительно больше 10% (О.У. — оптимальный уровень), что говорит об очень высоком уровне расхождения объективной и субъективной оценок, что визуально отображено на графиках на рисунке 2.

Рисунок 2 - Графики относительного отклонения по искажениям

DOI:10.60797/IRJ.2025.160.54.8

Проанализировав графики можно сделать вывод, что наименьшие отклонения наблюдаются по искажению DVF, наибольшие — по искажению STM-FNET. Лучше всего сходятся с субъективными оценками по всем типам искажений результаты работы метрики PSNR, в свою очередь, метрика DISTS обладает наименьшей сходимостью, из чего можно сделать вывод, что PSNR больше подходит для применения в случае интерполяционного увеличения кадров.

Следующим этапом был выбран ряд видео с разрешением 1920x1080 и соответствующий этому ряду набор субъективных оценок из базы MCL-V. Результаты субъективной оценки видео приведены в таблице 7.

Для дальнейшего сравнения была проведена объективная оценка эталонных и искаженных видеофайлов базы данных MCL-V с помощью выбранных ранее метрик (см. табл. 8).

Данные, представленные в таблицах 7, 8 принадлежат разным оценочным диапазонам, что затрудняет их сравнение. Для приведения данных к единому диапазону значений необходимо вновь обратиться к таблице 1.

Приведенные данные субъективной и объективной оценки показаны в таблице 9.

На рисунке 3 представлены графики, построенные по результатам полученных субъективных и объективных оценок базы данных MCL-V.

Рисунок 3 - Графики сравнения оценок:

а – SSIM; б – PSNR; в – DISTS

DOI:10.60797/IRJ.2025.160.54.12

Как и в случае с базой данных BVI – FVI, полученные результаты проведенной объективной оценки качества значительно расходятся с субъективными оценками.

Относительные отклонения расхождения между ожидаемым (субъективная оценка) и фактическим (объективная оценка) результатами представлены в таблице 10.

Проведенный анализ расчетных данных, показал, что среднее отклонение ожидаемых и фактических результатов на всех типах искажений составляет более 10% (О.У. — оптимальный уровень), из чего следует, что результаты объективной и субъективной оценки не сходятся. Полученные результаты для наглядности представлены в виде графиков на рисунке 4.

Рисунок 4 - Графики относительного отклонения по искажениям

DOI:10.60797/IRJ.2025.160.54.14

Проанализировав данный график можно сделать вывод, что наименьшие отклонения наблюдаются по искажению 264_4, наибольшие отклонения наблюдаются по искажению 264_1. Также следует отметить, что результаты метрики SSIM наиболее сходятся с субъективными по всем типам искажений, в свою очередь метрика DISTS обладает наименьшей сходимостью, из чего можно сделать вывод, что SSIM наиболее применима в случае оценки сжатого видеофайла.

Оценка качества играет значимую роль при поддержании требований к качеству видео, оценке производительности устройств сбора и отображения видео и оценке систем обработки видео на предмет сжатия. Субъективная оценка является единственным надежным методом оценки качества видео, так как конечным потребителем видео является пользователь и, именно, его оценка является определяющей при оценке качества. Однако из-за сложности и трудоемкости реализации субъективной оценки качества, все чаще применяются объективные методы и очень важно соответствие результатов, полученных при применении разных оценок для одного и того же набора кадров.

Экспериментальное сравнение результатов субъективных и объективных оценок качества видео из баз данных BVI-FVI и MCL-V показало значительное расхождение при различных типах искажений.

При анализе и сравнении работы метрик были получены следующие результаты:

1) Для базы данных BVI-FVI:

– лучшую сходимость показала метрика PSNR на всех типах искажений (самая большая сходимость на искажении DVF).

– худшую сходимость показала метрика DISTS на всех типах искажений (самая плохая сходимость на искажении STM-FNET).

Данный результат можно объяснить тем, при интерполяции появляются такие артефакты как: геометрические искажения, искажения контуров, размытия. Данные типы искажений плохо воспринимаются метрикой DISTS, но хорошо метрикой PSNR.

Расхождения субъективных и объективных оценок при интерполяционных искажениях можно объяснить тем, что человеческий глаз лучше реагирует на данный тип искажений, также следует обратить внимание на то, что с внесением дополнительных кадров происходят временные искажения, которые указанные метрики не видят.

2) Для базы данным MCL-V:

– лучшую сходимость показала метрика SSIM на всех типах искажений (самая большая сходимость на искажении 264_4).

– худшую сходимость показала метрика DISTS на всех типах искажений (самая плохая сходимость на искажении 264_1).

Данный результат можно объяснить тем, что при сжатии появляются артефакты сжатия, такие как: блоковые артефакты, потеря градиентов, искажение границ изображений. Данные типы искажений плохо воспринимаются метрикой DISTS, но хорошо метрикой SSIM.

Расхождения субъективных и объективных оценок при искажениях сжатия можно объяснить тем, что человеческий глаз более чувствителен к данным типам искажений, также следует обратить внимание на то, что сжатие может вносить несущественные искажения, которые могут игнорироваться некоторыми метриками, но они видимы для человека.

Получены результаты о сложности получения адекватной оценки качества видео с помощью одной метрики. Для объективной оценки необходим целый набор эталонных метрик, способный оценить изменения в качестве видео, под воздействием различных искажений. Или необходимо решение, альтернативное эталонной оценке качества. Таким решением может стать безэталонная нейросетевая модель.