Return to article

Методика предварительной оценки и отбора цитатных фрагментов для повышения эффективности генерации научных обзорных текстов

Медианные значения критериев качества генерации обзоров для рассматриваемых моделей и подходов

Модель

Подход к генерации

Правдоподобность

Покрытие

Фактологическая согласованность

LLM-оценка

Qwen3 4B

П1

0,5781

0,7241

0,643

0,6341

П2

0,6257

0,7439

0,7082

0,6762

П3

0,6827

0,8076

0,7371

0,7249

Qwen33 8B

П1

0,6562

0,7684

0,7014

0,6942

П2

0,6897

0,8109

0,7561

0,7352

П3

0,7473

0,8376

0,8024

0,7695

Qwen3 14B

П1

0,7052

0,8017

0,7361

0,7448

П2

0,7353

0,8247

0,7805

0,7781

П3

0,7597

0,8439

0,8193

0,7912

Qwen3 32B

П1

0,7398

0,8236

0,8053

0,7787

П2

0,7578

0,8462

0,8127

0,8047

П3

0,7719

0,8618

0,8395

0,8251

Llama 3.1 8B

П1

0,6575

0,7738

0,7427

0,7014

П2

0,6911

0,8127

0,7673

0,7412

П3

0,7494

0,8406

0,8115

0,7715

Llama 3.1 70B

П1

0,7764

0,8667

0,8317

0,8293

П2

0,7892

0,8882

0,8646

0,8421

П3

0,8257

0,8947

0,8832

0,8632

Llama 3.1 405B

П1

0,7986

0,8883

0,8712

0,8497

П2

0,8251

0,8995

0,8918

0,8583

П3

0,8443

0,9136

0,9259

0,8879