A methodology for the preliminary assessment and selection of quoted passages to improve the efficiency of generating scientific review articles

Большие языковые модели (Large Language Model, далее — LLM) в последние годы получили широкое распространение при решении задач интеллектуальной обработки научной информации. Современные генеративные модели применяются для поиска и анализа научных публикаций, извлечения знаний и подготовки научных текстов, в том числе обзорного характера. Развитие методов, опирающихся на использование внешнего контекста в виде текстовых документов или ссылок (RAG-генерация), позволило существенно расширить возможности подобных систем

Обработка научных публикаций требует специализированных методов, обеспечивающих корректную обработку источников и контроль качества формируемого текста

Увеличение масштаба современных языковых моделей сопровождается ростом требований к вычислительным ресурсам

В связи с этим развиваются методы предварительной подготовки входной информации, направленные на формирование компактного, но информативного представления исходного материала, поскольку предварительный отбор информации оказывает заметное влияние на качество RAG-генерации

Для научных публикаций одним из перспективных способов формирования их компактного представления является использование цитатной информации. Цитатные фрагменты зачастую отражают ключевые результаты исследования, выделенные и интерпретированные научным сообществом

Рассматриваются способы объединения цитатно-осведомленного подхода с методами RAG-генерации. Например, в работе

Цитатные фрагменты при этом существенно различаются по содержанию и структуре. В работе

При этом существующие работы, посвященные предварительной подготовке входной информации, преимущественно оценивают влияние этой подготовки на качество генерации при использовании фиксированной языковой модели. Так, показано, что качество RAG-генерации определяется характеристиками извлекаемого контекста и исследуемой модели

Таким образом, несмотря на развитие методов цитатно-осведомленной генерации и предварительной подготовки входной информации, недостаточно исследованным остается влияние предварительной оценки и отбора цитатных фрагментов на эффективность генерации при использовании языковых моделей различного масштаба. В частности, остается открытым вопрос, в какой степени предварительный отбор цитатного материала способен компенсировать ограничения моделей меньшего размера и тем самым снизить вычислительные затраты без существенного ухудшения качества генерируемых научных текстов.

Целью настоящей работы является разработка методики оценки и отбора цитатных фрагментов для цитатно-осведомленной генерации научных саммари и обзорных текстов, а также исследование ее влияния на качество и ресурсоэффективность генерации языковыми моделями различного масштаба. Научная новизна работы заключается в формализации предварительной оценки и отбора цитатных фрагментов как самостоятельного этапа подготовки входных данных для цитатно-осведомленной генерации, а также в количественной оценке влияния такого отбора на качество и ресурсоэффективность генерации при использовании языковых моделей различного масштаба. Отдельно исследуется возможность частичной компенсации меньшего масштаба языковой модели за счет предварительного отбора цитатной информации.

2.1. Методика оценки соответствия цитатных фрагментов содержанию цитируемой публикации

В работе предложена методика оценки и отбора цитатных фрагментов для формирования компактного входного представления цитируемой научной публикации. Методика позволяет перейти от оценки качества извлечения цитат к оценке их соответствия содержанию цитируемой публикации и использовать при генерации только наиболее информативные и достоверные цитатные фрагменты.

Отдельные элементы подхода ранее были реализованы автором в составе программного комплекса цитатно-осведомленной генерации научных обзоров, однако в настоящей работе методика впервые представлена как самостоятельная формализованная последовательность этапов подготовки входных данных.

Предлагаемая методика состоит из следующих основных этапов:

1. Подготовка корпуса научных публикаций, содержащего цитируемые и связанные с ними цитирующие публикации, а также относящиеся к ним метаданные.

2. Автоматизированное определение и извлечение цитатных фрагментов из цитирующих публикаций.

3. Определение участков текста цитируемых публикаций, соответствующих каждому извлеченному цитатному фрагменту.

4. Вычисление набора показателей соответствия между извлеченными цитатными фрагментами и найденными релевантными фрагментами цитируемых публикаций.

5. Совместная оценка качества цитатных фрагментов на основе совокупности вычисленных показателей.

6. Отбор цитатных фрагментов в соответствии с полученными оценками.

7. Формирование входного представления научной публикации на основе отобранных цитатных фрагментов.

Для применения методики необходимы полнотекстовые цитируемые и цитирующие публикации, их метаданные и сведения о связях цитирования. Результатом является компактное входное представление публикации на основе отобранных цитатных фрагментов, используемое далее для генерации научных обзорных текстов. В рамках настоящего исследования оно применяется для экспериментальной оценки эффективности языковых моделей различного масштаба при различных способах формирования входных данных.

2.2. Программная реализация, используемые критерии и метрики

Экспериментальное исследование выполнено с применением разработанного ранее программного комплекса цитатно-осведомленной генерации научных обзорных текстов, архитектура и основные этапы функционирования которого подробно представлены в работе

Основные этапы работы программного комплекса для цитатно-осведомленного формирования обзорных текстов

DOI:10.60797/IRJ.2026.171.79.1

Display full sizeDownload image

Для определения соответствия цитатных фрагментов содержанию цитируемых публикаций текст каждой статьи предварительно разбивается на абзацы и предложения. В используемой программной реализации для каждого цитатного фрагмента с помощью специализированной предобученной языковой модели SciBERT

[32]

вычисляется семантическое сходство с фрагментами цитируемой публикации, после чего определяется наиболее релевантный фрагмент.

Оценка качества цитатных фрагментов выполняется с использованием совокупности метрик, отражающих различные аспекты соответствия цитаты содержанию цитируемой публикации. Лексическое сходство оценивается посредством ROUGE-L

Частные показатели объединяются посредством взвешенной суммы в интегральную оценку качества цитатного фрагмента:

где

Значения весовых коэффициентов и порог отбора были определены на отдельной предварительной выборке цитатных фрагментов, не входившей в экспериментальную выборку настоящего исследования, путем сопоставления результатов с ручной оценкой, выполненной автором. Больший вес назначался показателям, непосредственно характеризующим фактологическую и логическую согласованность фрагмента с исходным текстом. Дополнительно была проведена оценка чувствительности к изменению весовых коэффициентов: при их варьировании в пределах ±10% доля совпадающих решений об отборе составляла 95,7–98,3%, что указывает на отсутствие существенной зависимости результатов от небольших изменений конкретных значений весов.

Для формирования сокращенного набора цитатных фрагментов могут применяться различные альтернативные способы, включая случайный отбор, ранжирование на основе TF-IDF и BM25, а также методы, учитывающие одновременно релевантность и разнообразие, например, MMR. Однако такие подходы не учитывают в полной мере специфику цитатной информации: высокая лексическая или семантическая релевантность цитаты не гарантирует точности отражения содержания цитируемой публикации, а оптимизация разнообразия не позволяет непосредственно оценить ее фактологическую и логическую согласованность с источником. В качестве базовых способов для экспериментального сравнения были выбраны случайный отбор и BM25. Первый использовался для оценки эффекта самого сокращения объема входных данных, второй для сопоставления предложенной многокомпонентной оценки с простым релевантностным ранжированием. Для обеспечения сопоставимости во всех случаях отбиралось одинаковое количество цитатных фрагментов.

Для сопоставления результатов различных способов формирования входных данных качество сгенерированных текстов оценивалось на двух уровнях: для промежуточных саммари отдельных публикаций и для итоговых обзорных текстов, формируемых на их основе. Качество промежуточных саммари оценивается по трем критериям: правдоподобности, покрытию и фактологической согласованности. Значения указанных критериев определяются на основе совокупности результатов метрик ROUGE-L, BERTScore, QA и NLI. Правдоподобность характеризует смысловое соответствие сгенерированного текста исходным данным, покрытие — полноту отражения содержащейся в них информации, а фактологическая согласованность — отсутствие неподтвержденных или противоречащих источникам утверждений. Полученные значения объединяются во взвешенный итоговый показатель качества саммари, на основании которого осуществляется отбор промежуточных результатов для формирования итогового обзора.

Качество итоговых обзорных текстов оценивается путем их сопоставления с эталонными обзорами, подготовленными экспертами. В качестве основных критериев выступают правдоподобность, покрытие и фактологическая согласованность, которые дополняются оценкой с использованием LLM (LLM-as-judge). Эта оценка помогает учитывать характеристики итогового текста, не полностью отражаемые отдельными автоматическими метриками, включая связность, логическую целостность и качество научного изложения. Оценивание выполняется по единому фиксированному промпту, приведенному в приложении 1. Надежность LLM-as-judge проверяется по корреляции Спирмена с независимой человеческой оценкой и среднему абсолютному отклонению результатов десяти повторных запусков. Критерии оценки промежуточных саммари и итоговых обзорных текстов также более подробно описаны в работе

Для проверки статистической значимости различий между сравниваемыми подходами использовался парный анализ результатов, полученных для одних и тех же тематик. Для парных различий рассчитывались 95%-ные доверительные интервалы с использованием бутстреп-метода, а статистическая значимость оценивалась с помощью парного критерия Уилкоксона. Для учета множественных сравнений применялась поправка Холма; различия считались статистически значимыми при скорректированном значении

Для оценки ресурсоэффективности различных способов формирования входных данных дополнительно учитывались токенный трафик и временные затраты. Токенный трафик определялся как суммарное число входных и выходных токенов на этапах формирования промежуточных саммари и итогового обзора. Временные затраты оценивались раздельно для предварительной обработки данных программным комплексом и генеративных этапов с использованием LLM. Аппаратные затраты непосредственно не оценивались, поскольку генерация выполнялась посредством внешнего программного интерфейса, и отсутствие этих данных не позволяет провести корректное сравнение. Исходя из этого, ресурсоэффективность в настоящем исследовании рассматривается с точки зрения объема обрабатываемого LLM токенного трафика и временных затрат.

3.1. Исходные данные и конфигурация эксперимента

В качестве источника данных использован открытый датасет SurGE

Основные параметры конфигурации программы для генерации и оценки обзоров в ходе проведения эксперимента приведены в табл. 1.

Эксперимент был направлен на оценку влияния способа формирования входных данных и масштаба модели на качество генерации.

Для каждой модели были рассмотрены три подхода к генерации. Первый подход (далее П1) предполагал использование полного текста цитируемых статей, второй подход (далее П2) предполагал использование всех цитатных фрагментов, относящихся к цитируемым статьям, и третий подход (далее П3) предполагал использование цитатных фрагментов, прошедших предварительный отбор согласно методике, предложенной в рамках данной статьи. Во всех случаях использовались одинаковые промпты, параметры генерации и ограничения на объем выходного текста. Таким образом, изменяемыми факторами являлись только способ формирования входных данных и масштаб языковой модели.

Эксперимент проводился на двух семействах открытых LLM — Qwen3 и Llama 3.1. Их выбор был обусловлен наличием последовательности моделей различного масштаба, построенных в рамках одной архитектурной линейки, открытой информацией об их архитектурных характеристиках и количестве параметров, а также возможностью выполнения вычислений посредством API.

Семейство Qwen3 было представлено моделями 4B, 8B, 14B и 32B, семейство Llama 3.1 — моделями 8B, 70B и 405B. Исследование двух независимых семейств позволило оценить устойчивость полученных закономерностей относительно архитектурных особенностей конкретной модели.

3.2. Полученные результаты

Для всех 114 тематик сгенерированные обзоры сравнивались с эталонными по правдоподобности, покрытию, фактологической согласованности и LLM-оценке. Для последней использовалась модель Claude-Sonnet-4-5-20250929. Валидация LLM-as-judge показала корреляцию с человеческой оценкой ρ=0,78 по коэффициенту Спирмена; среднее абсолютное отклонение при повторных запусках составило 0,017. Результаты эксперимента приведены в табл. 2.

Полученные результаты показывают, что для всех исследуемых моделей наибольшие значения рассматриваемых критериев были получены при использовании предварительно отобранных цитатных фрагментов (П3). Использование всех извлеченных цитатных фрагментов (П2) также обеспечивает более высокие показатели по сравнению с генерацией на основе полных текстов публикаций (П1). Таким образом, для всех моделей и критериев качества сохраняется единообразное соотношение П3 > П2 > П1.

Наиболее выраженные относительные различия между подходами П1 и П3 наблюдаются для моделей меньшего масштаба. В частности, для Qwen3 4B использование предварительно отобранных цитатных фрагментов сопровождалось увеличением правдоподобности на 18,09%, покрытия — на 11,53%, фактологической согласованности — на 14,63%, а LLM-оценки — на 14,32%. С увеличением масштаба моделей относительные различия уменьшаются, однако положительная динамика сохраняется по всем критериям: для Qwen3 32B прирост находится в диапазоне 4,25–5,96%, а для Llama 3.1 405B — 2,85-6,28%.

В ряде случаев предварительный отбор цитатных фрагментов позволяет моделям меньшего масштаба достигать значений, сопоставимых с результатами более крупных моделей, использующих полные тексты публикаций. Так, показатели Qwen3 14B при подходе П3 оказались выше показателей Qwen3 32B при П1 по всем рассматриваемым критериям на 1,60–2,69%. Аналогичное соотношение наблюдается для Llama 3.1 70B при П3 и Llama 3.1 405B при П1, где различия составляют 0,72–3,39%. Максимальные абсолютные значения всех критериев получены для модели Llama 3.1 405B при подходе П3.

Также было проведено сравнение П3 с двумя альтернативами: случайным отбором и BM25. Результаты сравнения приведены в табл. 3.

Для всех исследуемых моделей и критериев качества наблюдается единообразное соотношение П3 > BM25 > случайный отбор. В среднем по исследуемым моделям преимущество П3 относительно случайного отбора составляет 0,0341 по правдоподобности, 0,0241 по покрытию, 0,0299 по фактологической согласованности и 0,0247 по LLM-оценке. По сравнению с BM25 соответствующие различия составляют 0,0188, 0,0154, 0,0206 и 0,0153. Таким образом, полученные результаты показывают, что итоговое качество зависит не только от сокращения объема цитатного материала, но и от способа его отбора: релевантностное ранжирование BM25 обеспечивает более высокие показатели по сравнению со случайным отбором, тогда как предложенная многокомпонентная оценка позволяет дополнительно повысить качество формируемых текстов.

Для проверки устойчивости выявленных различий выполнен парный статистический анализ результатов по 114 тематикам датасета SurGE. Для каждого сочетания модели и критерия рассчитывались парные различия между сравниваемыми подходами.

При сравнении П3 с генерацией на основе полных текстов (П1) статистически значимые различия выявлены в 27 из 28 сочетаний моделей и критериев. Характерные величины парных различий составляли Δ=0,04–0,07 при 95%-ном ДИ выше нуля (например, Δ=0,051, 95% ДИ [0,037; 0,062],

При сравнении П3 с полным набором цитатных фрагментов (П2) статистически значимое преимущество выявлено в 24 из 28 сочетаний моделей и критериев, наиболее устойчиво — по правдоподобности и фактологической согласованности для моделей меньшего масштаба. Например, по фактологической согласованности для одной из малых моделей получено Δ=0,032, 95% ДИ [0,017; 0,042],

Относительно случайного отбора статистически значимое преимущество П3 выявлено во всех 28 сочетаниях моделей и критериев, в большинстве случаев при

Межмодельное сравнение Qwen3 14B с П3 и Qwen3 32B с П1, а также Llama 3.1 70B с П3 и Llama 3.1 405B с П1 не выявило статистически значимых различий по трем из четырех критериев в каждой паре. С учетом близких агрегированных значений показателей полученные результаты свидетельствуют о сопоставимости качества в большинстве рассмотренных критериев и указывают на возможность частичной компенсации меньшего масштаба модели посредством предварительного отбора цитатных фрагментов.

Анализ ресурсоэффективности показал, что применение П3 сократило суммарный токенный трафик на 87,1% относительно П1 и время генеративных этапов на 17,6–27,3% в зависимости от масштаба модели. Предварительная обработка при применении П3 дополнительно занимала около 8–9 мин на тематику, однако ее результаты могут повторно использоваться при последующих генерациях без дополнительных вычислений. Сокращение токенного трафика уменьшает и тарифицируемый объем обработки при использовании коммерческих API: стоимость 1 млн входных/выходных токенов у рассматриваемых провайдеров составляет, например, 0,035/0,138 долл. США для Qwen3 8B, 0,10/0,45 для Qwen3 32B и 0,34/0,39 для Llama 3.1 70B, по данным провайдеров, таких как Novita AI и Fireworks. Таким образом, предложенная методика требует дополнительных затрат на предварительную обработку, однако существенно сокращает объем входных данных, время выполнения генерации и тарифицируемый объем обработки при использовании коммерческих API. Аппаратные затраты в рамках эксперимента не измерялись, однако результаты существующих исследований показывают снижение энергопотребления и требований к вычислительным ресурсам при использовании моделей меньшего масштаба

4.1. Основные результаты исследования

Для всех исследованных моделей предварительная оценка и отбор цитатных фрагментов сопровождались повышением качества генерации обзорных текстов. Это согласуется с результатами работ, показывающих зависимость качества RAG-генерации от состава и релевантности входного контекста. В работе

Преимущество предварительного отбора наиболее выражено для моделей меньшего масштаба, которые, вероятно, испытывают большие сложности при фильтрации избыточной информации в длинном контексте. Для крупных моделей эффект сохраняется, но выражен слабее, что может быть связано с их более высокими возможностями обработки входной информации. Сокращение и структурирование контекста рассматривается как способ повышения эффективности генерации в работах

Результаты межмодельного сравнения показывают, что предварительный отбор может частично компенсировать меньший масштаб модели. Для рассмотренных пар меньшие модели с П3 достигали результатов, близких к более крупным моделям с П1, причем по трем из четырех критериев статистически значимые различия отсутствовали. Это не означает, что меньшие модели могут во всех случаях заменить более крупные, однако показывает возможность более рационального выбора модели за счет предварительной подготовки входных данных. Возможность повышения эффективности моделей меньшего масштаба за счет использования внешней информации отмечается также в работе

4.2. Анализ ошибок отбора цитатных фрагментов

Ручной анализ ошибок отбора показал, что при точности 86,4% и полноте 83,1% основная часть релевантных цитатных фрагментов сохраняется корректно. Среди корректно исключенных встречались фрагменты, сохраняющие высокую тематическую близость с исходной публикацией, но искажающие отдельные ее положения. Так, в работе

Ложноположительные решения преимущественно возникали в случаях, когда отдельные компоненты утверждения присутствовали в исходной публикации, но изменялись отношения между ними или степень категоричности. Например, в работе

Для ложноотрицательных решений характерна обратная ситуация: утверждение соответствует исходной работе, однако его подтверждение выражено неявно и требует установления связи между несколькими положениями. Так например, цитаты

4.3. Ограничения и практическая применимость

Исследование выполнено на одном наборе данных SurGE, включающем англоязычные научные публикации. Объем выборки и использование двух семейств моделей позволяют оценить устойчивость результатов в рамках рассматриваемой задачи, однако их воспроизводимость на других корпусах и языках требует проверки. Порог отбора определен на предварительной выборке и для иной предметной или языковой области может требовать дополнительной калибровки. Дальнейшие исследования могут быть направлены на проверку методики на независимых наборах данных, ее адаптацию к корпусам на других языках и анализ влияния предметной области на результаты отбора.

Практическое значение полученных результатов связано с возможностью одновременно повысить качество генерации и сократить объем данных, обрабатываемых LLM. Применение П3 обеспечило сокращение токенного трафика на 87,1% и времени выполнения генеративных этапов на 17,6–27,3% относительно обработки полных текстов. Предварительная обработка требует дополнительных временных затрат, однако ее результаты могут повторно использоваться при последующих генерациях. Поскольку этот этап не зависит от конкретной генеративной модели, предложенная методика может сочетаться с другими способами повышения вычислительной эффективности.

В работе предложена методика предварительной оценки и отбора цитатных фрагментов для цитатно-осведомленной генерации научных саммари и обзорных текстов. Методика предусматривает оценку соответствия цитатных фрагментов содержанию цитируемых публикаций с применением совокупности лексических, семантических, фактологических и логических критериев и формирование на этой основе компактного входного представления научной информации. Экспериментальное исследование проведено на 114 тематиках датасета SurGE с использованием семи моделей различного масштаба семейств Qwen3 и Llama 3.1.

Результаты показали, что способ формирования входных данных существенно влияет на качество цитатно-осведомленной генерации. Во всех экспериментальных конфигурациях использование предварительно отобранных цитатных фрагментов обеспечивало более высокие показатели по сравнению с использованием всех извлеченных цитат и полных текстов публикаций. Наиболее выраженный эффект наблюдался для моделей меньшего масштаба: для Qwen3 4B прирост относительно генерации по полным текстам составил 11,53-18,09%, тогда как для Qwen3 32B и Llama 3.1 405B — 4,25–5,96% и 2,85–6,28% соответственно. Преимущество предложенного способа отбора также подтверждено при сравнении со случайным отбором и ранжированием BM25 и в большинстве рассмотренных случаев являлось статистически значимым.

Межмодельное сравнение показало, что предварительный отбор цитатных фрагментов позволяет в отдельных случаях частично компенсировать меньший масштаб языковой модели: меньшие модели достигали качества, сопоставимого с более крупными моделями того же семейства при обработке полных текстов. Одновременно применение предложенного подхода обеспечило сокращение суммарного токенного трафика на 87,1% и времени выполнения генеративных этапов на 17,6–27,3%. При этом методика требует дополнительной предварительной обработки данных, однако ее результаты могут повторно использоваться при последующих генерациях без повторного выполнения данного этапа.

Полученные результаты показывают, что повышение качества и ресурсоэффективности цитатно-осведомленной генерации может достигаться не только за счет увеличения масштаба языковой модели, но и за счет более рационального формирования входной научной информации. Практическое значение предложенного подхода связано с возможностью сокращения объема данных, обрабатываемых LLM, и применения моделей меньшего масштаба при сохранении сопоставимого качества генерации. Это расширяет возможности построения ресурсоэффективных систем автоматизированного формирования научных обзоров без изменения архитектуры используемых языковых моделей.