A COMPARATIVE ANALYSIS OF METHODS FOR CLASSIFYING TELEPHONE ENQUIRIES: CLASSICAL ALGORITHMS AND TRANSFORMER MODELS

Автоматизация обработки телефонных обращений является важной задачей современных корпоративных информационных систем. Рост нагрузки на контакт-центры требует применения интеллектуальных методов анализа текстовых данных.

Типовой конвейер обработки обращений включает:

– автоматическое распознавание речи;

– формирование текстового транскрипта;

– классификацию обращения;

– маршрутизацию заявки.

Ключевым этапом является классификация, определяющая дальнейшую обработку обращения.

Цель работы — сравнительный анализ классических и нейросетевых методов классификации.

Задача классификации текстов подробно рассмотрена в фундаментальных работах по обработке естественного языка. В работе Jurafsky и Martin

Методы статистической обработки текста, включая TF-IDF и векторные модели, рассмотрены в

Метод опорных векторов показал высокую эффективность в задачах классификации текста

Современные исследования сосредоточены на трансформерных моделях. Модель BERT предложена в работе Devlin и др.

Для многоязычных задач применяются модели XLM-R

Таким образом, современное состояние области характеризуется переходом от классических алгоритмов к глубоким нейросетевым архитектурам.

Задача формализуется как многоклассовая классификация:

где X — множество текстов, Y — множество классов.

Рассматриваются классы:

– консультация;

– лицензирование;

– доступ к порталу;

– обучение;

– сотрудничество.

4.1. Классические модели

Используются методы векторизации:

– Bag-of-Words.

– TF-IDF.

– n-граммы.

Алгоритмы:

– SVM.

– Naive Bayes.

– Logistic Regression.

– Random Forest.

– Decision Tree.

4.2. Трансформерные модели

Рассматриваются модели:

– ruBERT.

– ruRoBERTa.

– ruELECTRA.

– DeBERTa.

Объем датасета — 401 запись.

5.1. Распределение классов

5.2. Предобработка

Исходные данные представляли собой аудиозаписи телефонных обращений, для которых были получены текстовые транскрипты с использованием системы автоматического распознавания речи (ASR). Полученные тексты приведены к унифицированному виду: выполнены очистка от служебных символов, нормализация регистра, удаление нерелевантных элементов и анонимизация персональных данных, таких как ФИО, номера телефонов, адреса и другие чувствительные данные.

На этапе подготовки данных использовалось разбиение датасета на обучающую и тестовую выборки в соотношении 80/20. Итоговая оценка качества моделей и построение матриц ошибок выполнялись на основе 5-кратной кросс-валидации по полному подготовленному набору данных.

5.3. Метрики

Для оценки качества обученных моделей использовались метрики:

· Precision.

· Recall.

· F1-мера.

· Матрица ошибок (confusion matrix).

5.3. Параметры обучения трансформерных моделей

В таблице 2 приведены параметры, используемые при обучении трансформерных моделей.

Подбор параметров носил прикладной характер и был ориентирован на достижение устойчивого качества классификации при ограничениях используемого вычислительного стенда.

Была проведена адаптация следующих моделей:

· mDeBERTa-v3;

· ruBERT-tiny;

· ruRoBERTa-large;

· ruBERT-base-cased;

· xlm-roberta-base;

· ruELECTRA-large;

· ruELECTRA-medium.

5.4. Аппаратные характеристики

Параметры обучения были подобраны в соответствии с техническими характеристиками вычислительной техники, на которой производилось обучение моделей, а также путем ручного подбора. Характеристики тестового стенда приведены в таблице 3.

6.1. Классические методы

Результаты обучения классических алгоритмов представлены в таблице 4.

Наилучшие результаты по F1-мере продемонстрировал наивный Байесовский классификатор в сочетании с признаковым представлением текста на основе TF-IDF, достигнув значения F1=0,7915.

Матрица ошибок представлена на рисунке 1.

Рисунок 1 - Матрица ошибок модели Naive Bayes с признаковым представлением TF-IDF

DOI:10.60797/IRJ.2026.168.15.5

Display full sizeDownload image

Гистограмма сравнения классических алгоритмов машинного обучения приведена на рисунке 2.

Рисунок 2 - Сравнение классических моделей по F1-score и времени предсказания

DOI:10.60797/IRJ.2026.168.15.6

Display full sizeDownload image

Вывод: классические алгоритмы машинного обучения демонстрируют приемлемую точность и стабильные результаты в задаче классификации, обладая при этом высокой скоростью работы

6.2. Трансформерные модели

По сравнению с лучшей классической моделью (наивный байесовский классификатор в сочетании с признаковым представлением текста на основе TF-IDF, F1 = 0,7915) модель XLM-RoBERTa повысила значение F1-взвешенного показателя до 0,8978, что соответствует приросту примерно на 13,4%. Матрица ошибок представлена на рисунке 3.

Рисунок 3 - Матрица ошибок для модели XLM-RoBERTa

DOI:10.60797/IRJ.2026.168.15.8

Display full sizeDownload image

Гистограмма сравнения моделей по метрике F1 и времени предсказания приведена на рисунке 4.

Рисунок 4 - Гистограмма сравнения трансформерных моделей по метрике F1 и времени предсказания

DOI:10.60797/IRJ.2026.168.15.9

Display full sizeDownload image

Вывод: использование трансформерных архитектур обеспечивает прирост качества классификации по сравнению с классическими алгоритмами машинного обучения (прирост качества ≈ + 13,4%).

Результаты демонстрируют компромисс между качеством и вычислительной сложностью.

Классические методы обеспечивают высокую скорость работы при умеренной точности.

Трансформерные модели показывают прирост качества (~13,4%), но требуют существенно больших ресурсов. График с фронтом Парето представлен на рисунке 5.

Рисунок 5 - Сравнение моделей по качеству классификации и времени предсказания с выделением границы Парето

DOI:10.60797/IRJ.2026.168.15.10

Display full sizeDownload image

По результатам сравнительного анализа установлено, что классические методы машинного обучения обеспечивают приемлемое качество классификации при значительно меньших вычислительных затратах.

Трансформерные модели демонстрируют более высокие значения F1-score за счет учета контекстных зависимостей и устойчивости к вариативности формулировок обращений, при этом рост качества сопровождается увеличением вычислительных затрат: если для лучшей классической модели время предсказания составляет 0,153 мс на запись, то для XLM-RoBERTa — 3,613 мс, то есть примерно в 23 раза выше. Полученные данные согласуются с современными исследованиями

На основании результатов эксперимента предлагается гибридный подход к построению архитектур: в качестве базового решения (baseline) могут применяться быстрые и вычислительно эффективные алгоритмы, такие как, например, логистическая регрессия, или метод опорных векторов. В качестве основного классификатора целесообразно применять трансформерную модель.

Для систем реального времени, работающих с большим потоком обращений, классические методы могут использоваться как базовый или резервный контур классификации.

Трансформерные модели целесообразно применять в качестве основного механизма интеллектуальной маршрутизации обращений при наличии достаточных вычислительных ресурсов.

Проведённый в статье сравнительный анализ классических алгоритмов машинного обучения и современных трансформерных моделей для задачи классификации телефонных обращений в корпоративных тикет-системах подтвердил выдвинутую гипотезу о более высоком качестве классификации, обеспечиваемом трансформерными моделями.

По результатам эксперимента установлено, что классические методы машинного обучения характеризуются меньшей вычислительной сложностью, более высокой скоростью работы и сохраняют практическую актуальность в условиях ограниченных вычислительных ресурсов. Трансформерные модели демонстрируют более высокие значения метрик качества, что делает их предпочтительными для задач, в которых приоритетом является точность классификации.

Ограничения: эксперимент проведен на малом датасете из 401 записи, поэтому дальнейшие исследования целесообразно проводить на более крупных и разнообразных корпусах телефонных обращений.

Перспективы:

– увеличение выборки;

– использование ансамблей;

– учет ошибок ASR.