1. Введение

Современные модели компьютерного зрения способны достигать высокого качества классификации, однако их обучение обычно требует значительного объёма размеченных данных. Подготовка таких данных включает отбор изображений, назначение классов, проверку качества аннотаций и разрешение спорных случаев. Даже в задаче классификации эта работа создаёт заметные временные и финансовые затраты, а для специализированных предметных областей дополнительно требует участия экспертов. Self-supervised learning позволяет использовать изображения без ручных меток для предварительного обучения представлений. Модель получает обучающий сигнал не из классов, назначенных человеком, а из структуры самих данных. В контрастивных методах две аугментированные версии одного изображения рассматриваются как положительная пара, а представления различных изображений разделяются в пространстве признаков. Одним из базовых и широко используемых подходов является SimCLR, предложенный Т. Ченом и соавторами

[1][1][2][3][4]

Основные задачи исследования:

1) реализовать предобучение backbone методом SimCLR на неразмеченных изображениях;

2) корректно перенести веса в классификационную архитектуру и переинициализировать выходную голову;

3) сравнить SimCLR + fine-tuning со scratch при одинаковых условиях;

4) оценить изменение преимущества SimCLR при росте доли размеченных данных;

5) определить, позволяет ли подход достичь качества baseline при меньшем бюджете разметки.

2. Методы и принципы исследования

В качестве набора данных выбран STL-10

[5]

На этапе SimCLR для каждого исходного изображения формировались две независимые аугментированные версии. В пайплайн входили RandomResizedCrop, ColorJitter, GaussianBlur и другие преобразования, изменяющие внешний вид изображения при сохранении его семантики. Аугментированные изображения проходили через общий backbone и проекционную голову. Для пары представлений ziMissing Mark : sub и zjMissing Mark : sub минимизировалась нормализованная температурно-масштабированная кросс-энтропийная потеря:

где sim(·) — косинусная близость, а τ — температурный параметр. Такая оптимизация сближает представления двух видов одного изображения и разделяет представления различных изображений. Предобучение выполнялось 100 эпох с seed 42. Итоговое значение функции потерь на обучающей выборке составило 2,3634, а продолжительность этапа — 6041 с, то есть около 1 ч 41 мин.

Базовой моделью являлась YOLOv8n-cls из библиотеки Ultralytics

[6]

• scratch — YOLOv8n-cls со случайной инициализацией;

• SimCLR + fine-tuning — та же модель с перенесённым self-supervised backbone. Эксперименты проведены для seed 42, 43 и 44. Внутри каждой пары сохранялись одинаковые split, размер входного изображения, batch size, число эпох и остальные параметры supervised-обучения. Всего завершено 24 запуска: 12 scratch и 12 SimCLR + fine-tuning.

Основной метрикой являлась Top-1 Accuracy. Дополнительно рассчитывались Macro-F1 и Balanced Accuracy. Macro-F1 усредняет F1 по классам и позволяет проверить, не достигается ли прирост только за счёт отдельных категорий. Balanced Accuracy рассчитывает среднюю полноту по классам и полезна при потенциальном дисбалансе распределения. Для каждой комбинации метода и бюджета разметки вычислялись среднее значение и выборочное стандартное отклонение по трём seed. Дополнительно использовались попарные разности между SimCLR и scratch при одинаковых seed и доле разметки. Из-за малого числа повторов результаты трактуются прежде всего как оценка устойчивости направления и масштаба эффекта, а не как исчерпывающий статистический тест.

3. Основные результаты

Средние результаты представлены в табл. 1. На всех четырёх бюджетах разметки SimCLR + fine-tuning существенно превосходит обучение с нуля. При 5% разметки средняя Accuracy возрастает с 33,74 до 58,65%, при 10% — с 39,05 до 65,03%, при 30% — с 48,58 до 71,51%, а при 50% — с 56,87 до 74,39%. Значения Macro-F1 согласуются с Accuracy. Для scratch они составили 33,25; 38,83; 48,30 и 56,68%, а для SimCLR — 58,27; 64,89; 71,38 и 74,36%. Прирост Macro-F1 находился в диапазоне от 17,68 до 26,06 п.п. Balanced Accuracy практически совпала с обычной Accuracy, что ожидаемо для сбалансированной десятиклассовой постановки и дополнительно подтверждает отсутствие выигрыша только на отдельных классах. На рис. 2 видно, что кривые обоих методов возрастают при увеличении разметки, однако SimCLR сохраняет значительный отрыв на всём исследованном диапазоне. Наибольший средний абсолютный выигрыш наблюдается при 10% разметки: 25,98 п.п. При 50% он уменьшается до 17,52 п.п., но остаётся практически значимым.

Во всех 12 сравнениях при одинаковых seed результат SimCLR оказался выше scratch. Минимальный попарный прирост Accuracy составил 15,33 п.п., максимальный — 27,31 п.п. При 5% разметки прирост по отдельным seed находился в диапазоне 23,68–25,66 п.п.; при 10% — 24,22–27,31 п.п.; при 30% — 22,29–23,38 п.п.; при 50% — 15,33–20,90 п.п. Стандартное отклонение Accuracy для scratch не превышало 1,29 п.п., а для SimCLR — 2,32 п.п. Наибольшая вариативность SimCLR наблюдалась при 50% данных: результаты отдельных запусков составили 73,85; 76,94 и 72,39%. Даже наименее успешный SimCLR-запуск в этом режиме превосходил лучший scratch-запуск более чем на 14 п.п.

Ключевое наблюдение состоит в сравнении разных бюджетов. При использовании только 5% размеченных данных SimCLR + fine-tuning достиг Accuracy 58,65%. Scratch-модель, обученная на 50% данных, показала 56,87%. Разница составила 1,78 п.п. в пользу SimCLR, несмотря на десятикратное различие в доле размеченной выборки. Следовательно, для достижения качества около 57% в рамках проведённого эксперимента self-supervised предобучение позволило перейти от 50 к 5% разметки. Это соответствует десятикратному уменьшению используемого бюджета, или сокращению на 90% относительно baseline бюджета. Данный вывод относится именно к указанному уровню качества и исследованным долям; он не означает универсального десятикратного сокращения для любого целевого значения Accuracy.

Среднее wall-clock время одного supervised-запуска составляло около 6,1 мин как для scratch, так и для SimCLR + fine-tuning. Отдельные различия времени объясняются выбором лучшей эпохи и вариациями выполнения, но систематического роста стоимости fine-tuning относительно scratch не наблюдалось. Основная дополнительная стоимость связана с однократным SimCLR-предобучением, занявшим около 101 мин. После получения backbone он может применяться повторно для нескольких бюджетов разметки, seed или близких downstream-задач. Поэтому на практике вычислительная стоимость предобучения может распределяться между серией последующих экспериментов, тогда как экономия ручной разметки сохраняется для каждого из них.

4. Обсуждение

Полученные результаты подтверждают исходную гипотезу: self-supervised предобучение уменьшает зависимость классификатора от количества ручных меток. Наиболее заметный эффект наблюдается в low-label режиме.

При 5 и 10% данных scratch-модель ещё не формирует достаточно устойчивые представления, тогда как SimCLRbackbone уже содержит признаки, извлечённые из неразмеченных изображений. Supervised-этапу остаётся адаптировать их к десятиклассовой задаче и настроить классификационную голову. Уменьшение абсолютного выигрыша с 25,98 п.п. при 10% до 17,52 п.п. при 50% соответствует ожидаемой границе применимости метода. По мере роста размеченной выборки supervised-модель получает больше прямого сигнала и частично компенсирует отсутствие предобучения. При этом эффект не исчезает: даже на максимальном исследованном бюджете SimCLR сохраняет значительный отрыв. Важно отличать абсолютный прирост качества от относительного. Например, увеличение Accuracy с 33,74 до 58,65% составляет 24,91 процентного пункта, но относительное улучшение по отношению к scratch равно примерно 73,8%. Для научной интерпретации в работе используются прежде всего процентные пункты, поскольку они непосредственно отражают расстояние между значениями одной метрики. Согласованность Accuracy и Macro-F1 показывает, что улучшение не ограничено несколькими классами. Полное совпадение направления эффекта в 12 попарных сравнениях также снижает вероятность того, что итог объясняется одним удачным seed. Вместе с автоматической проверкой полного переноса backbone это делает эксперимент технически воспроизводимым и внутренне согласованным. С практической точки зрения SimCLR особенно оправдан, когда накоплен большой массив неразмеченных изображений, а ручная классификация дорога или медленна. Подход позволяет перенести часть затрат с аннотации на вычисления. Такой обмен выгоден, если предобученный backbone используется многократно либо если стоимость экспертной разметки значительно превышает стоимость вычислительных ресурсов.

5. Ограничения исследования

Работа имеет несколько ограничений. Во-первых, использованы три seed. Этого достаточно для первичной проверки устойчивости, однако для более строгой статистической оценки желательно увеличить число повторов. Во-вторых, эксперимент проведён на одном датасете и одной компактной архитектуре, поэтому переносимость выводов на другие домены требует дополнительной проверки. В-третьих, в supervised-сравнение включены доли до 50%. Отсутствие scratch-результатов на 75 и 100% не позволяет утверждать, что 5% SimCLR эквивалентны полному объёму разметки. Корректный вывод ограничивается сравнением 5% SimCLR и 50% scratch при качестве около 57%. В-четвёртых, baseline представлен обучением с нуля. Для более полного исследования необходимо добавить стандартное supervised-предобучение, например ImageNet initialization, а также другие self-supervised методы. Это позволит отделить общий эффект предварительного обучения от специфического вклада SimCLR. Наконец, работа оценивает качество классификации, но не переводит экономию разметки в денежные показатели. Для прикладного внедрения следует измерять фактическое время аннотаторов, стоимость проверки меток и стоимость вычислений.

6. Заключение

В работе исследовано применение SimCLR для снижения зависимости классификации изображений от объёма ручной разметки. Предобученный на неразмеченной части STL-10 backbone был перенесён в YOLOv8n-cls и дообучен на 5, 10, 30 и 50% размеченных данных. Сравнение выполнено с моделью той же архитектуры, обученной с нуля, при трёх одинаковых seed. SimCLR + fine-tuning превзошёл scratch во всех 12 попарных сравнениях. Средний прирост Accuracy составил от 17,52 до 25,98 п.п., а Macro-F1 — от 17,68 до 26,06 п.п. Наиболее важный результат получен при межбюджетном сравнении: 5% разметки с SimCLR дали 58,65% Accuracy, тогда как 50% разметки при обучении с нуля — 56,87%. Таким образом, в пределах достигнутого уровня качества self-supervised предобучение позволило уменьшить используемый объём размеченных данных в десять раз. Результаты подтверждают целесообразность SimCLR в условиях дефицита меток и показывают, что его преимущество постепенно уменьшается, но сохраняется при увеличении supervised-бюджета.

The additional file for this article can be found as follows: