Методика предварительной оценки и отбора цитатных фрагментов для повышения эффективности генерации научных обзорных текстов
Таблица 3 - Медианные значения критериев качества генерации обзоров при сравнении с альтернативными подходами
Модель | Подход | Правдоподобность | Покрытие | Фактологическая Согласованность | ЛЛМ-оценка |
Qwen3 4B | П3 | 0,6827 | 0,8076 | 0,7371 | 0, 7249 |
Случайный отбор | 0,6352 | 0,7513 | 0,6925 | 0,6819 | |
BM-25 | 0,6534 | 0,7701 | 0,7114 | 0,6947 | |
Qwen3 8B | П3 | 0,7473 | 0,8376 | 0,8024 | 0,7695 |
Случайный отбор | 0,6716 | 0,7936 | 0,7524 | 0,7278 | |
BM-25 | 0,7134 | 0,8214 | 0,7747 | 0,7521 | |
Qwen3 14B | П3 | 0,7597 | 0,8439 | 0,8193 | 0,7912 |
Случайный отбор | 0,7398 | 0,8251 | 0,7917 | 0,7793 | |
BM-25 | 0,7469 | 0,8312 | 0,7934 | 0,7845 | |
Qwen3 32B | П3 | 0,7719 | 0,8618 | 0,8395 | 0,8251 |
Случайный отбор | 0,7619 | 0,8479 | 0,8145 | 0,8023 | |
BM-25 | 0,7654 | 0,8534 | 0,8257 | 0,8147 | |
Llama 3.1 8B | П3 | 0,7494 | 0,8406 | 0,8115 | 0,7715 |
Случайный отбор | 0,7067 | 0,8234 | 0,7793 | 0,7564 | |
BM-25 | 0,7273 | 0,8241 | 0,7867 | 0,7566 | |
Llama 3.1 70B | П3 | 0,8257 | 0,8947 | 0,8832 | 0,8632 |
Случайный отбор | 0,7982 | 0,8892 | 0,8693 | 0,8473 | |
BM-25 | 0,8072 | 0,8907 | 0,8732 | 0,8511 | |
Llama 3.1 405B | П3 | 0,8443 | 0,9136 | 0,9259 | 0,8879 |
Случайный отбор | 0,8291 | 0,9008 | 0,9097 | 0,8654 | |
BM-25 | 0,8355 | 0,9013 | 0,9094 | 0,8723 |
