1. Введение
Задачи выявления дубликатов и плагиата возникают в информационном поиске, научной коммуникации, корпоративном документообороте и обучающих платформах. На практике требуется не только обнаружить полные копии, но и «почти дубликаты» - тексты с частичными заменами, перестановками и редакторскими правками. Базовым и широко воспроизводимым подходом остаётся векторная модель текста, где документ представляется набором взвешенных терминов, а сходство измеряется скалярными метриками. TF-IDF - один из наиболее распространённых способов взвешивания, позволяющий усиливать роль терминов, характерных для конкретного документа, и подавлять «общеупотребительные» термины коллекции [1], [2].
Актуальность темы усиливается двумя тенденциями. Во-первых, рост объёмов коллекций требует масштабируемых методов, работающих на разреженных матрицах и поддерживающих индексирование [2]. Во-вторых, распространение генеративных моделей приводит к появлению «генеративного плагиата» и новых сценариев перефразирования, что отражается в современных постановках задач и бенчмарках PAN [5]. Новизна настоящей работы заключается в систематизации практических конфигураций TF-IDF для разных типов заимствований и в описании двухэтапного конвейера «кандидаты → проверка», который остаётся применимым и в условиях современных угроз. Теоретическая значимость - в уточнении границ применимости TF-IDF при усилении обфускации текста; практическая - в рекомендациях параметров и порогов для внедрения в прикладные системы контроля повторов и академической добросовестности.
2. Методы и принципы исследования
2.1. Представление документов TF-IDF
Пусть коллекция документов [LATEX_FORMULA]D={ d1,…,dn}[/LATEX_FORMULA], словарь терминов [LATEX_FORMULA]V[/LATEX_FORMULA]. Для термина [LATEX_FORMULA]t∈V[/LATEX_FORMULA] и документа [LATEX_FORMULA]d[/LATEX_FORMULA] вычисляется вес:
, где
[1][2][2][3]
Для TF-IDF-векторов
Косинус удобен для разреженных данных и широко используется как базовый механизм сравнения документов в IR и задачах похожести
[2]
Дубликаты - задача, как правило, «document-level»: найти пары документов с высокой близостью. Плагиат часто «passage-level»: требуется локализовать заимствованные фрагменты и соотнести их с источниками. Для этого документ разбивают на фрагменты (предложения/абзацы или окна из
[4]
Полный перебор всех пар документов имеет квадратичную сложность
Кандидатный отбор: быстрый поиск кандидатов по инвертированному индексу/топ-терминам TF-IDF или приближённый поиск близких объектов (например, по эскизам/хэшам сходства). Для больших коллекций применимы идеи локально-чувствительного хэширования и компактных отпечатков (simhash)
[7][8]
Проверка: точный расчёт косинусного сходства TF-IDF для ограниченного множества кандидатов; при плагиате - проверка на уровне фрагментов и последующая агрегация.
3. Основные результаты
Результат 1. Практическая схема системы (см. рис. 1)
Схема конвейера выявления дубликатов и плагиата на основе TF-IDF
[4][5]
Результат 2. Рекомендации по конфигурациям TF-IDF для разных типов заимствований (см. табл. 1)
В табл. 1 представлены бальные оценки применимости (1-5) для различных TF-IDF в зависимости от типа совпадения (полный дубликат, near-duplicate, фрагментное копирование, перефразирование). Указанные значения не являются абстрактной экспертной оценкой, а представляют собой экспертно-эмпирическую интегральную шкалу, полученную по итогам количественной валидации на контрольной выборке и последующей интерпретации результатов.
Рекомендуемые настройки TF-IDF для типов повторов и заимствований
| Тип совпадения | Единица сравнения (ед.) | Признаки TF-IDF | Окно/шаг (токены, ед.) | Кандидатный отбор | Применимость (1 - 5) |
| Полный дубликат | документ | слова 1–2-граммы + L2 | - | инверт. индекс по топ-терминам | 5 |
| Near-duplicate (редакт.) | документ | слова 1–2-граммы + sublinear TF | - | simhash/LSH + проверка TF-IDF | 4 |
| Фрагментное копирование | фрагмент | слова 1-граммы + сглаж. IDF | 200 / 50 | кандидаты по топ-терминам окон | 4 |
| Лёгкое перефразирование | фрагмент | символы 3–5-граммы | 200 / 50 | ANN/LSH по эскизам | 3 |
| Сильное перефразирование | фрагмент | гибрид: слова + символы | 200 / 50 | кандидаты + доп. семантика | 2 |
| Генеративные заимствования | фрагмент | TF-IDF как базовый фильтр | 200 / 50 | кандидаты + спец. детекторы | 2 |
Методика валидации включала следующие этапы:
Формирование тестового набора пар документов/фрагментов, размеченных по классам совпадения:
— дубликат (полное совпадение),
— near-duplicate (редакционные правки),
— фрагментное заимствование,
— перефразирование (лёгкое/сильное).
Построение TF-IDF-представлений для каждой конфигурации из табл. 1 (словные 1–2-граммы, символьные 3–5-граммы, sublinear TF, сглаживание IDF, L2-нормализация).
Расчёт меры сходства (cosine similarity) и подбор порога
Оценка качества на тестовой части с использованием метрик: Precision, Recall,
Преобразование метрик в балльную шкалу (1–5): балл присваивался на основании диапазона
[LATEX_FORMULA]r[/LATEX_FORMULA]
На основе полученной валидации подтверждено, что TF-IDF на словах обеспечивает наилучшие результаты для дубликатов и большинства near-duplicate случаев, тогда как символьные n-граммы повышают устойчивость к морфологическим вариациям, опечаткам и частичным заменам, что особенно заметно в задачах фрагментного сравнения и лёгкого перефразирования. Для сильного перефразирования и генеративных заимствований балльные оценки ниже, что отражает наблюдаемое падение лексического перекрытия и необходимость гибридизации признаков
[5][10]
4. Обсуждение
TF-IDF обладает тремя прикладными преимуществами: интерпретируемость - легко объяснить, какие термины «сблизили» тексты; эффективность на разреженных матрицах и совместимость с индексированием
[2][3][4][5]
Ограничения TF-IDF связаны с лексической природой признаков: при сильном перефразировании (замена значительной доли слов на синонимы, перестройка предложений) косинусное сходство TF-IDF снижается, хотя «семантическое» содержание сохраняется. В таких случаях оправдан гибридный режим: TF-IDF как быстрый фильтр кандидатов и более «дорогие» семантические сравнения на втором этапе. Практика бенчмарков по цифровой криминалистике и плагиату также отражает движение к комбинированным стратегиям и новым угрозам (включая генеративные тексты)
[5][10]
С точки зрения масштабирования, важнейшим является снижение числа сравниваемых пар. Для этого применяют компактные отпечатки и приближённый поиск близких документов, включая simhash и связанные методы локально-чувствительного хэширования
[7][8][6]
5. Заключение
Цель статьи - описать использование TF-IDF для выявления дубликатов и плагиата достигнута за счёт формализации пайплайна сравнения документов и фрагментов, а также выработки практических рекомендаций по параметрам и масштабированию. Показано, что TF-IDF в связке с косинусной мерой сходства является надёжной базовой моделью для поиска полных и близких дубликатов и применим для фрагментного плагиата при использовании скользящих окон и двухэтапного отбора кандидатов. Одновременно выявлены границы применимости: при сильном перефразировании и генеративных заимствованиях TF-IDF требует гибридизации с более устойчивыми семантическими методами и специализированными процедурами локализации. Перспективы дальнейших исследований связаны с адаптивным выбором порогов под домены и жанры, объединением TF-IDF-кандидатирования с современными детекторами генеративного плагиата, разработкой единых протоколов оценки для «честного» сравнения базовых и гибридных систем на публичных датасетах.