Вернуться к статье

Методика предварительной оценки и отбора цитатных фрагментов для повышения эффективности генерации научных обзорных текстов

Таблица 3 - Медианные значения критериев качества генерации обзоров при сравнении с альтернативными подходами

Модель

Подход

Правдоподобность

Покрытие

Фактологическая Согласованность

ЛЛМ-оценка

Qwen3 4B

П3

0,6827

0,8076

0,7371

0, 7249

Случайный отбор

0,6352

0,7513

0,6925

0,6819

BM-25

0,6534

0,7701

0,7114

0,6947

Qwen3 8B

П3

0,7473

0,8376

0,8024

0,7695

Случайный отбор

0,6716

0,7936

0,7524

0,7278

BM-25

0,7134

0,8214

0,7747

0,7521

Qwen3 14B

П3

0,7597

0,8439

0,8193

0,7912

Случайный отбор

0,7398

0,8251

0,7917

0,7793

BM-25

0,7469

0,8312

0,7934

0,7845

Qwen3 32B

П3

0,7719

0,8618

0,8395

0,8251

Случайный отбор

0,7619

0,8479

0,8145

0,8023

BM-25

0,7654

0,8534

0,8257

0,8147

Llama 3.1 8B

П3

0,7494

0,8406

0,8115

0,7715

Случайный отбор

0,7067

0,8234

0,7793

0,7564

BM-25

0,7273

0,8241

0,7867

0,7566

Llama 3.1 70B

П3

0,8257

0,8947

0,8832

0,8632

Случайный отбор

0,7982

0,8892

0,8693

0,8473

BM-25

0,8072

0,8907

0,8732

0,8511

Llama 3.1 405B

П3

0,8443

0,9136

0,9259

0,8879

Случайный отбор

0,8291

0,9008

0,9097

0,8654

BM-25

0,8355

0,9013

0,9094

0,8723