1. Введение

Автоматизация обработки телефонных обращений является важной задачей современных корпоративных информационных систем. Рост нагрузки на контакт-центры требует применения интеллектуальных методов анализа текстовых данных.

Типовой конвейер обработки обращений включает:

– автоматическое распознавание речи;

– формирование текстового транскрипта;

– классификацию обращения;

– маршрутизацию заявки.

Ключевым этапом является классификация, определяющая дальнейшую обработку обращения.

Цель работы — сравнительный анализ классических и нейросетевых методов классификации.

2. Обзор литературы

Задача классификации текстов подробно рассмотрена в фундаментальных работах по обработке естественного языка. В работе Jurafsky и Martin [1] представлены базовые методы NLP и модели обработки речи.

Методы статистической обработки текста, включая TF-IDF и векторные модели, рассмотрены в [2]. Применение классических алгоритмов для задач call-центров исследовано в работах [3], [4], [5].

Метод опорных векторов показал высокую эффективность в задачах классификации текста [6].

Современные исследования сосредоточены на трансформерных моделях. Модель BERT предложена в работе Devlin и др. [7], а её улучшенные версии представлены в [8], [9], [10].

Для многоязычных задач применяются модели XLM-R [11]. Русскоязычные трансформеры исследованы в [12].

Таким образом, современное состояние области характеризуется переходом от классических алгоритмов к глубоким нейросетевым архитектурам.

3. Постановка задачи

Задача формализуется как многоклассовая классификация:

[LATEX_FORMULA]f: X \rightarrow Y[/LATEX_FORMULA]

где X — множество текстов, Y — множество классов.

Рассматриваются классы:

– консультация;

– лицензирование;

– доступ к порталу;

– обучение;

– сотрудничество.

4. Методы исследования

Используются методы векторизации:

– Bag-of-Words.

– TF-IDF.

– n-граммы.

Алгоритмы:

– SVM.

– Naive Bayes.

– Logistic Regression.

– Random Forest.

– Decision Tree.

Рассматриваются модели:

– ruBERT.

– ruRoBERTa.

– ruELECTRA.

– DeBERTa.

5. Методика эксперимента

Объем датасета — 401 запись.

Исходные данные представляли собой аудиозаписи телефонных обращений, для которых были получены текстовые транскрипты с использованием системы автоматического распознавания речи (ASR). Полученные тексты приведены к унифицированному виду: выполнены очистка от служебных символов, нормализация регистра, удаление нерелевантных элементов и анонимизация персональных данных, таких как ФИО, номера телефонов, адреса и другие чувствительные данные.

На этапе подготовки данных использовалось разбиение датасета на обучающую и тестовую выборки в соотношении 80/20. Итоговая оценка качества моделей и построение матриц ошибок выполнялись на основе 5-кратной кросс-валидации по полному подготовленному набору данных.

Для оценки качества обученных моделей использовались метрики:

· Precision.

· Recall.

· F1-мера.

· Матрица ошибок (confusion matrix).

В таблице 2 приведены параметры, используемые при обучении трансформерных моделей.

Подбор параметров носил прикладной характер и был ориентирован на достижение устойчивого качества классификации при ограничениях используемого вычислительного стенда.

Была проведена адаптация следующих моделей:

· mDeBERTa-v3;

· ruBERT-tiny;

· ruRoBERTa-large;

· ruBERT-base-cased;

· xlm-roberta-base;

· ruELECTRA-large;

· ruELECTRA-medium.

Параметры обучения были подобраны в соответствии с техническими характеристиками вычислительной техники, на которой производилось обучение моделей, а также путем ручного подбора. Характеристики тестового стенда приведены в таблице 3.

6. Результаты

Результаты обучения классических алгоритмов представлены в таблице 4.

Наилучшие результаты по F1-мере продемонстрировал наивный Байесовский классификатор в сочетании с признаковым представлением текста на основе TF-IDF, достигнув значения F1=0,7915.

Матрица ошибок представлена на рисунке 1.

Гистограмма сравнения классических алгоритмов машинного обучения приведена на рисунке 2.

Вывод: классические алгоритмы машинного обучения демонстрируют приемлемую точность и стабильные результаты в задаче классификации, обладая при этом высокой скоростью работы

По сравнению с лучшей классической моделью (наивный байесовский классификатор в сочетании с признаковым представлением текста на основе TF-IDF, F1 = 0,7915) модель XLM-RoBERTa повысила значение F1-взвешенного показателя до 0,8978, что соответствует приросту примерно на 13,4%.Матрица ошибок представлена на рисунке 3.

Гистограмма сравнения моделей по метрике F1 и времени предсказания приведена на рисунке 4.

Вывод: использование трансформерных архитектур обеспечивает прирост качества классификации по сравнению с классическими алгоритмами машинного обучения (прирост качества ≈ + 13,4%).

7. Обсуждение

Результаты демонстрируют компромисс между качеством и вычислительной сложностью.

Классические методы обеспечивают высокую скорость работы при умеренной точности.

Трансформерные модели показывают прирост качества (~13,4%), но требуют существенно больших ресурсов. График с фронтом Парето представлен на рисунке 5.

По результатам сравнительного анализа установлено, что классические методы машинного обучения обеспечивают приемлемое качество классификации при значительно меньших вычислительных затратах.

Трансформерные модели демонстрируют более высокие значения F1-score за счет учета контекстных зависимостей и устойчивости к вариативности формулировок обращений, при этом рост качества сопровождается увеличением вычислительных затрат: если для лучшей классической модели время предсказания составляет 0,153 мс на запись, то для XLM-RoBERTa — 3,613 мс, то есть примерно в 23 раза выше. Полученные данные согласуются с современными исследованиями [9], [10], [11], [12].

8. Практическая применимость

На основании результатов эксперимента предлагается гибридный подход к построению архитектур: в качестве базового решения (baseline) могут применяться быстрые и вычислительно эффективные алгоритмы, такие как, например, логистическая регрессия, или метод опорных векторов. В качестве основного классификатора целесообразно применять трансформерную модель.

Для систем реального времени, работающих с большим потоком обращений, классические методы могут использоваться как базовый или резервный контур классификации.

Трансформерные модели целесообразно применять в качестве основного механизма интеллектуальной маршрутизации обращений при наличии достаточных вычислительных ресурсов.

9. Заключение

Проведённый в статье сравнительный анализ классических алгоритмов машинного обучения и современных трансформерных моделей для задачи классификации телефонных обращений в корпоративных тикет-системах подтвердил выдвинутую гипотезу о более высоком качестве классификации, обеспечиваемом трансформерными моделями.

По результатам эксперимента установлено, что классические методы машинного обучения характеризуются меньшей вычислительной сложностью, более высокой скоростью работы и сохраняют практическую актуальность в условиях ограниченных вычислительных ресурсов. Трансформерные модели демонстрируют более высокие значения метрик качества, что делает их предпочтительными для задач, в которых приоритетом является точность классификации.

Ограничения: эксперимент проведен на малом датасете из 401 записи, поэтому дальнейшие исследования целесообразно проводить на более крупных и разнообразных корпусах телефонных обращений.

Перспективы:

– увеличение выборки;

– использование ансамблей;

– учет ошибок ASR.

The additional file for this article can be found as follows: