Методика предварительной оценки и отбора цитатных фрагментов для повышения эффективности генерации научных обзорных текстов
Медианные значения критериев качества генерации обзоров для рассматриваемых моделей и подходов
Модель | Подход к генерации | Правдоподобность | Покрытие | Фактологическая согласованность | LLM-оценка |
Qwen3 4B | П1 | 0,5781 | 0,7241 | 0,643 | 0,6341 |
П2 | 0,6257 | 0,7439 | 0,7082 | 0,6762 | |
П3 | 0,6827 | 0,8076 | 0,7371 | 0,7249 | |
Qwen33 8B | П1 | 0,6562 | 0,7684 | 0,7014 | 0,6942 |
П2 | 0,6897 | 0,8109 | 0,7561 | 0,7352 | |
П3 | 0,7473 | 0,8376 | 0,8024 | 0,7695 | |
Qwen3 14B | П1 | 0,7052 | 0,8017 | 0,7361 | 0,7448 |
П2 | 0,7353 | 0,8247 | 0,7805 | 0,7781 | |
П3 | 0,7597 | 0,8439 | 0,8193 | 0,7912 | |
Qwen3 32B | П1 | 0,7398 | 0,8236 | 0,8053 | 0,7787 |
П2 | 0,7578 | 0,8462 | 0,8127 | 0,8047 | |
П3 | 0,7719 | 0,8618 | 0,8395 | 0,8251 | |
Llama 3.1 8B | П1 | 0,6575 | 0,7738 | 0,7427 | 0,7014 |
П2 | 0,6911 | 0,8127 | 0,7673 | 0,7412 | |
П3 | 0,7494 | 0,8406 | 0,8115 | 0,7715 | |
Llama 3.1 70B | П1 | 0,7764 | 0,8667 | 0,8317 | 0,8293 |
П2 | 0,7892 | 0,8882 | 0,8646 | 0,8421 | |
П3 | 0,8257 | 0,8947 | 0,8832 | 0,8632 | |
Llama 3.1 405B | П1 | 0,7986 | 0,8883 | 0,8712 | 0,8497 |
П2 | 0,8251 | 0,8995 | 0,8918 | 0,8583 | |
П3 | 0,8443 | 0,9136 | 0,9259 | 0,8879 |
