АНАЛИЗ ВЛИЯНИЯ КОНТЕКСТА ПРОЕКТА НА МОДЕЛЬ ПРОГНОЗИРОВАНИЯ ТРУДОЗАТРАТ
Результаты моделей, обученных по сценарию 2
Project_ID | Кол-во задач | XGBoost | CatBoost | Нейронная сеть | |||||||||
Без эмбеддингов | С эмбеддингами | Без эмбеддингов | С эмбеддингами | Без эмбеддингов | С эмбеддингами | ||||||||
MAE | Accuracy | MAE | Accuracy | MAE | Accuracy | MAE | Accuracy | MAE | Accuracy | MAE | Accuracy | ||
1 | 3427 | 1,55 | 29,74 | 1,61 | 30,90 | 1,58 | 28,28 | 1,52 | 32,22 | 1,72 | 25,66 | 1,67 | 29,74 |
2 | 205 | 1,74 | 21,95 | 1,58 | 26,83 | 1,81 | 21,95 | 1,69 | 19,51 | 1,76 | 26,83 | 1,44 | 21,95 |
3 | 1763 | 0,85 | 32,01 | 0,79 | 33,71 | 0,74 | 31,73 | 0,73 | 32,29 | 0,75 | 31,73 | 0,74 | 32,01 |
4 | 3206 | 1,36 | 34,74 | 1,34 | 31,78 | 1,29 | 35,98 | 1,29 | 34,42 | 1,36 | 35,20 | 1,31 | 34,74 |
5 | 470 | 0,92 | 51,06 | 0,79 | 54,26 | 0,79 | 55,32 | 0,76 | 59,57 | 0,92 | 50,00 | 0,89 | 51,06 |
6 | 197 | 1,98 | 42,50 | 2,08 | 35,00 | 1,90 | 37,50 | 1,83 | 45,00 | 1,77 | 42,50 | 2,07 | 42,50 |
7 | 292 | 1,54 | 40,68 | 1,64 | 30,51 | 1,51 | 30,51 | 1,47 | 32,20 | 1,57 | 33,90 | 1,41 | 40,68 |
8 | 819 | 3,32 | 31,10 | 3,21 | 41,46 | 3,03 | 40,85 | 3,28 | 42,07 | 3,77 | 35,37 | 3,98 | 31,10 |
9 | 350 | 1,63 | 30,00 | 1,72 | 24,29 | 1,47 | 41,43 | 1,45 | 41,43 | 1,57 | 31,43 | 1,58 | 30,00 |
10 | 229 | 4,47 | 21,74 | 3,98 | 23,91 | 3,95 | 32,61 | 3,75 | 30,43 | 3,96 | 26,09 | 4,48 | 21,74 |
11 | 1219 | 1,92 | 26,23 | 1,87 | 33,20 | 1,89 | 28,69 | 1,81 | 30,74 | 2,12 | 25,41 | 2,07 | 26,23 |
12 | 4191 | 2,22 | 32,90 | 2,22 | 35,88 | 2,17 | 35,40 | 2,20 | 35,76 | 2,39 | 30,99 | 2,36 | 32,90 |
13 | 3257 | 1,83 | 44,17 | 1,74 | 48,31 | 1,72 | 46,78 | 1,74 | 46,93 | 1,85 | 45,40 | 1,90 | 44,17 |
14 | 499 | 1,04 | 35,00 | 1,02 | 30,00 | 0,92 | 40,00 | 0,91 | 38,00 | 0,96 | 36,00 | 1,00 | 35,00 |
15 | 359 | 2,34 | 22,22 | 2,16 | 25,00 | 2,09 | 15,28 | 1,94 | 25,00 | 2,56 | 8,33 | 2,05 | 22,22 |
16 | 209 | 1,01 | 23,81 | 0,84 | 21,43 | 0,83 | 28,57 | 0,82 | 26,19 | 0,83 | 30,95 | 0,88 | 23,81 |
17 | 209 | 1,25 | 7,14 | 1,18 | 16,67 | 1,49 | 16,67 | 1,24 | 11,90 | 1,33 | 11,90 | 1,45 | 7,14 |
18 | 361 | 1,78 | 32,88 | 1,60 | 36,99 | 1,31 | 54,79 | 1,30 | 54,79 | 1,75 | 43,84 | 1,69 | 32,88 |
19 | 281 | 1,90 | 28,07 | 1,71 | 31,58 | 1,56 | 31,58 | 1,71 | 31,58 | 1,55 | 24,56 | 1,67 | 28,07 |
20 | 309 | 1,67 | 37,10 | 1,85 | 27,42 | 1,66 | 30,65 | 1,72 | 30,65 | 1,64 | 37,10 | 1,68 | 37,10 |
21 | 333 | 1,26 | 37,31 | 1,05 | 50,75 | 1,09 | 46,27 | 1,00 | 52,24 | 1,18 | 44,78 | 1,25 | 37,31 |
22 | 639 | 1,25 | 46,09 | 1,21 | 46,88 | 1,16 | 42,97 | 1,16 | 42,97 | 1,44 | 42,19 | 1,28 | 46,09 |
23 | 346 | 0,90 | 48,57 | 0,87 | 44,29 | 0,89 | 40,00 | 0,82 | 52,86 | 0,90 | 47,14 | 0,90 | 48,57 |
24 | 613 | 1,17 | 30,08 | 1,11 | 48,78 | 1,04 | 42,28 | 1,00 | 45,53 | 1,38 | 20,33 | 1,17 | 30,08 |
25 | 672 | 1,66 | 29,63 | 1,56 | 34,81 | 1,47 | 35,56 | 1,51 | 35,56 | 1,56 | 34,07 | 1,64 | 29,63 |
26 | 695 | 1,57 | 33,09 | 1,52 | 38,13 | 1,58 | 32,37 | 1,50 | 33,09 | 1,66 | 31,65 | 1,61 | 33,09 |
27 | 946 | 0,91 | 43,16 | 0,91 | 40,00 | 0,83 | 44,21 | 0,84 | 40,53 | 0,87 | 43,16 | 0,91 | 40,00 |
28 | 18412 | 2,74 | 24,52 | 2,69 | 25,20 | 2,81 | 21,94 | 2,74 | 23,76 | 3,08 | 19,90 | 3,02 | 21,97 |
29 | 635 | 0,86 | 40,16 | 0,79 | 33,86 | 0,84 | 31,50 | 0,77 | 35,43 | 0,82 | 28,35 | 0,74 | 31,50 |
30 | 499 | 1,45 | 36,00 | 1,42 | 38,00 | 1,33 | 39,00 | 1,21 | 45,00 | 1,34 | 39,00 | 1,28 | 34,00 |
31 | 208 | 0,53 | 54,76 | 0,55 | 47,62 | 0,56 | 42,86 | 0,50 | 47,62 | 0,67 | 28,57 | 0,64 | 40,48 |
33 | 725 | 1,27 | 31,72 | 1,23 | 29,66 | 1,16 | 32,41 | 1,14 | 35,86 | 1,23 | 31,03 | 1,22 | 33,10 |
34 | 1451 | 5,91 | 26,46 | 5,64 | 25,77 | 5,33 | 24,40 | 5,37 | 23,37 | 6,24 | 19,59 | 6,15 | 19,59 |
35 | 451 | 1,76 | 26,37 | 1,51 | 32,97 | 1,58 | 31,87 | 1,48 | 26,37 | 1,70 | 25,27 | 1,67 | 28,57 |
36 | 3556 | 2,19 | 28,23 | 2,16 | 29,21 | 2,14 | 31,18 | 2,09 | 29,49 | 2,23 | 28,79 | 2,19 | 28,09 |
42 | 2504 | 0,65 | 47,11 | 0,64 | 45,91 | 0,61 | 43,11 | 0,63 | 43,51 | 0,68 | 42,32 | 0,69 | 41,12 |
43 | 5024 | 0,71 | 38,01 | 0,70 | 38,61 | 0,68 | 38,21 | 0,68 | 36,92 | 0,73 | 36,62 | 0,73 | 36,32 |
44 | 345 | 1,52 | 47,83 | 1,67 | 39,13 | 1,30 | 57,97 | 1,30 | 57,97 | 1,44 | 47,83 | 1,48 | 49,28 |
