1. Введение

Информационные порталы, предоставляющие возможность публикации пользовательского контента, занимают центральное место в современном информационном пространстве

[4][5]

Актуальность рассматриваемой предметной области отмечается в Федеральном документе «Стратегия развития информационного общества в Российской Федерации на 2017–2030 годы»: «Электронные средства массовой информации, информационные системы, социальные сети, доступ к которым осуществляется с использованием сети Интернет, стали частью повседневной жизни россиян»

[6][7]

Для поддержания качества размещаемых материалов и соблюдения политик платформы необходима действенная система проверки контента. Разработка автоматизированных решений для модерации подобных ресурсов представляет существенный практический интерес для интернет-площадок, ориентированных на совершенствование рабочих процессов и повышение уровня предоставляемого сервиса.

В качестве основных подходов для оптимизации структуры и процесса функционирования информационных порталов можно выделить проведение аналитического и имитационного моделирования. Аналитическое моделирование имеет определенные ограничения по сложности решаемых задач. В случае информационного портала как объекта моделирования его модель в форме многофазной сети массового обслуживания имеет достаточно сложный характер и позволяет провести исключительно имитационное моделирование, что и было выбрано для данной работы.

Привлечение инструментария имитационного моделирования даёт возможность подобрать рациональную численность модераторов, занятых проверкой различных категорий контента, а также определить параметры серверного оборудования автоматизированной системы для ускорения процедуры модерации и сокращения периода ожидания со стороны пользователей.

Имитационное моделирование как метод научного исследования основывается на воспроизведении поведения реальной системы с помощью её формализованной модели

[8][9][10][11][12][13]

Программная среда GPSS Studio представляет собой специализированный инструмент, предназначенный для моделирования дискретных систем и процессов обслуживания заявок

[14][15]

Данная работа посвящена использованию метода имитационного моделирования в среде GPSS Studio для нахождения рациональных параметров автоматизированной системы модерации контента информационного портала. К таким параметрам относятся численность модераторов и время серверной обработки запросов. Следует принять во внимание, что чрезмерно высокие значения этих параметров могут привести к избыточным эксплуатационным затратам, что экономически нецелесообразно, в то время как слишком низкие значения могут нарушить нормальное функционирование системы. Поэтому рациональными будут минимальные значения этих параметров, при которых система продолжает работать удовлетворительно.

Цель исследования — нахождение наименьшего числа модераторов и рациональных характеристик серверной инфраструктуры, при которых автоматизированная система модерации информационного портала функционирует с приемлемым временем отклика.

Задачи исследования:

1. Сбор и обоснование исходных данных о потоке заявок и временах обработки контента на основе открытых источников и экспертных оценок.

2. Построение в среде GPSS Studio двух взаимосвязанных дискретно-событийных имитационных моделей — модели обработки контента модераторами и модели серверной обработки запросов.

3. Проведение имитационных экспериментов и определение рациональной численности модераторов и рационального времени серверной обработки запроса.

4. Проверка адекватности (валидация) моделей путём сопоставления результатов моделирования с аналитическими расчётами по формулам теории массового обслуживания.

2. Методы и принципы исследования

Количественные характеристики временных затрат на проверку контента модераторами установлены на базе анализа научных публикаций, посвящённых автоматизированной модерации пользовательского контента, а также официальных материалов отечественных цифровых платформ

[16][17][18]

На основании приведённых данных для информационного портала среднего масштаба приняты следующие временные нормативы модерации в зависимости от типа задачи: модерация комментариев — 10 минут; проверка текстовых публикаций — 15 минут; проверка изображений и мультимедиа — 25 минут; обработка жалоб пользователей — 40 минут; фактчекинг источников — 60 минут.

Приведённые нормативы учитывают затраты времени на ознакомление с материалом, сверку с правилами платформы, анализ ссылок и приложений, а также принятие итогового решения. Диапазон от 10 до 60 минут отражает возрастающую сложность задач модерации: от экспресс-проверки комментариев до углублённого фактчекинга источников.

Центральная функция автоматизированной системы модерации реализуется посредством серверной инфраструктуры, которая обрабатывает поступающие материалы с применением алгоритмов искусственного интеллекта и нейросетевых технологий, обеспечивая автоматизированный анализ пользовательского контента

[16][17]

Вместе с тем деятельность автоматизированной системы модерации не ограничивается технической составляющей и включает аспекты, обусловленные человеческим фактором. В практике цифровых платформ автоматическая проверка сочетается с ручной модерацией, поскольку часть материалов и пользовательских обращений требует дополнительной проверки специалистом

[17][18]

В процессе подготовки исходных данных использовалась соответствующая статистика из интернета, в частности информация по порталу RUTUBE

[18]

Такой подход обеспечил достоверность и практическую применимость разработанной модели.

Для подтверждения того, что созданные имитационные модели корректно воспроизводят поведение реальной системы и могут использоваться для принятия обоснованных решений, проводится проверка их адекватности (валидация) путём сопоставления результатов моделирования с теоретическими расчётами, выполненными по аналитическим формулам теории массового обслуживания

[12]

3. Основные результаты

Исходя из поставленных целей, в среде GPSS Studio сформирован набор из двух оригинальных взаимосвязанных дискретно-событийных имитационных моделей

[14][15][1][2][3][12]

Рассмотрим устройство каждой модели подробнее. Q-схема имитационной модели обработки контента модераторами для автоматизированной системы модерации информационного портала приведена на рисунке 1.

В качестве входного потока заявок используется простейший поток заявок с интервалом поступления, распределенным по экспоненциальному закону распределения

[12]

Вероятность одобрения контента принята равной 0,7, вероятность отклонения — 0,3 на основании экспертной оценки и анализа реальной практики информационных платформ.

Количественные параметры модели определены следующим образом. Средние интервалы поступления заявок на модерацию по категориям составили: модерация комментариев — 12,5 мин; проверка текстовых публикаций — 20 мин; проверка изображений и мультимедиа — 25 мин; обработка жалоб пользователей — 50 мин; фактчекинг источников — 100 мин.

Суммарный недельный объём поступающих заявок на модерацию составляет порядка 2000 единиц.

В качестве критерия качества обслуживания выбран показатель доли заявок с длительностью обработки свыше 35 минут. Данный порог принят как предельно допустимое время пребывания заявки в системе, при превышении которого качество обслуживания считается неудовлетворительным.

Результаты моделирования представлены в таблице 1.

Анализ полученных результатов свидетельствует о том, что конфигурация с 6 модераторами обеспечивает рациональное соотношение между степенью использования ресурсов и качеством обработки заявок. Выбор наиболее рационального варианта для модели с модераторами сделан на основе временных параметров и с учетом экономических параметров затрат на зарплату модераторов.

Далее приведены статистические характеристики времени пребывания заявки в системе при работе 6 модераторов, полученные по данным GPSS Studio.

Поступившая заявка с вероятностью p'₂ = 0,35 (запрос не предполагает нейросетевого анализа контента: проверка дубликатов, фильтрация спама) направляется непосредственно на серверную обработку.

С вероятностью p'₁ = 0,65 (запрос предполагает анализ контента: проверка текста, распознавание изображений, оценка тональности) заявка поступает в канал обслуживания K₁, где производится предварительный анализ (извлечение текста, разбор метаданных, идентификация языка). Далее с вероятностью p''₁ = 0,15 заявка покидает систему (контент не распознан либо формат не поддерживается). С вероятностью p''₂ = 0,85 заявка направляется в канал K₂, отвечающий за нейросетевую классификацию контента. С вероятностью p'''₁ = 0,25 выполняется повторная проверка альтернативной моделью ИИ в K₂ (ситуация низкой достоверности первичной классификации). С вероятностью p'''₂ = 0,75 происходит выход из цикла и переход к каналу K₃ (формирование итогового решения и фиксация результата модерации).

Затем осуществляется серверная обработка запроса в канале обслуживания K_серв.

Количественные параметры модели (интервал поступления заявок, длительность обработки) определены на основе анализа открытых источников и экспертных оценок в области модерации контента, а также с использованием сведений о сочетании автоматизированной и ручной модерации на цифровых платформах

[16][17][18][19]

В качестве входного потока заявок используется простейший поток заявок с интервалом поступления, распределенным по экспоненциальному закону распределения

[12]

Эксперимент проводится при следующих средних интервалах поступления запросов в систему (в секундах): запрос на проверку текста на запрещённый контент — 20; запрос на анализ изображений нейронной сетью — 32; запрос на проверку на дубликаты — 40; запрос на проверку на спам — 80; запрос на анализ тональности и выявление токсичности — 120.

Суммарно поступает порядка 77 000 запросов в неделю.

Результаты моделирования указаны в таблице 2.

По результатам моделирования построены гистограмма частот времени пребывания одной заявки в системе (рис. 6), математическое ожидание и среднеквадратическое отклонение времени обработки заявки (рис. 7), а также эмпирическая функция распределения времени обработки заявки (рис. 8) при времени серверной обработки запроса в 1 секунду.

4. Обсуждение

Для подтверждения адекватности разработанных имитационных моделей, то есть их способности достоверно воспроизводить характеристики моделируемой системы, проведём валидацию. Проверка адекватности является необходимым этапом имитационного моделирования, поскольку позволяет убедиться в том, что модель пригодна для принятия практических решений

[8][20][12][14]

Интенсивность входящего потока заявок определяется по формуле:

где NзаявокMissing Mark : sub — количество заявок за период,

T — продолжительность периода в минутах.

Среднее время обслуживания одной заявки рассчитывается как взвешенное среднее по типам контента:

где pi Missing Mark : sub— доля заявок i-го типа,

tiMissing Mark : sub — время обслуживания заявки i-го типа.

Интенсивность обслуживания одним модератором:

Коэффициент загрузки системы определяется по формуле:

где N — количество модераторов.

Среднее число занятых модераторов равно нагрузке в Эрлангах:

Среднее число свободных модераторов:

Вероятность того, что все модераторы заняты и заявка поступает в очередь:

Средняя длина очереди:

Среднее время пребывания заявок в очереди:

Среднее число заявок в системе:

Среднее время пребывания заявок в системе:

Теперь сравним некоторые из полученных теоретических значений показателей с практическими значениями, полученными в процессе моделирования в таблице 3.

Таким образом, в результате валидации имитационной модели обработки контента модераторами было определено, что расхождение результатов теоретического и практического значений по рассматриваемым показателям не превышает 4%. Это подтверждает адекватность и корректность работы модели. Аналогично валидация была проведена и для второй модели.

5. Заключение

В рамках выполненного исследования осуществлена оптимизация структуры и рабочих параметров автоматизированной системы модерации контента информационного портала средствами имитационного компьютерного моделирования.

Научная новизна работы заключается в создании комплекта из двух оригинальных взаимосвязанных дискретно-событийных имитационных моделей, обеспечивающих и определение рационального штата модераторов для обработки контента информационного портала, и характеристик серверной инфраструктуры системы автоматизированной модерации. Существенным достоинством и отличием представленных моделей от аналогичных работ выступает их комплексная природа: они одновременно и отражают технические параметры аппаратного обеспечения, и организационные аспекты работы персонала. В известных аналогичных работах присутствует что-то одно из указанного. Например, в работе

[1][2][3]

Валидация разработанных моделей, проведённая с целью проверки их адекватности путём сопоставления результатов моделирования с аналитическими расчётами, подтвердила достоверность получаемых результатов и пригодность моделей для практического использования.

Ограничения предлагаемых имитационных моделей связаны только с предметной областью их использования для информационных порталов.

Полученные результаты позволяют повысить эффективность функционирования автоматизированной системы модерации контента информационного портала как с позиции рационального использования ресурсов, так и с точки зрения удобства и комфорта пользователей.

The additional file for this article can be found as follows: