АНАЛИЗ ВЛИЯНИЯ КОНТЕКСТА ПРОЕКТА НА МОДЕЛЬ ПРОГНОЗИРОВАНИЯ ТРУДОЗАТРАТ

Процесс разработки программного обеспечения может быть рассмотрен как сложная организационно-техническая система, состоящая из множества взаимодействующих подсистем (проектов, доменов, команд). Каждая такая подсистема генерирует потоки данных, характеризующих её состояние и динамику, включая метрики выполнения задач (трудозатраты), которые являются ключевым параметром для анализа эффективности системы в целом.

При построении математических моделей для обработки информации и прогнозирования состояния подобных систем широко используется подход, основанный на объединении данных от различных подсистем в единый обучающий набор данных. Такой подход подразумевает статистическую гомогенность (однородность) этих данных и предполагает, что модель способна выделить инвариантные закономерности, общие для всего набора. Однако на практике каждая подсистема обладает уникальными характеристиками: спецификой решаемых задач, распределением ролей, внутренними процессами и метриками учета.

Целью настоящего исследования является проверка гипотезы о гомогенности данных в многокомпонентной системе разработки ПО и оценка степени влияния доменного контекста (принадлежности к конкретной подсистеме) на метрики и инвариантность регрессионной модели машинного обучения. В работе решается задача количественной оценки вариативности характеристик модели при смене домена, что имеет фундаментальное значение для развития методов обработки информации в условиях гетерогенных источников данных. Полученные результаты направлены на обоснование необходимости предварительного анализа структуры данных и применения методов доменной адаптации как обязательного этапа системного анализа.

Задача прогнозирования трудозатрат при разработке программного обеспечения остаётся одной из наиболее актуальных в области программной инженерии. По данным масштабных исследований, охватывающих тысячи крупных ИТ-проектов, значительная их доля завершается с существенным превышением бюджета и сроков. Согласно анализу статистики управления проектами за 2023 год, около 47% Agile-проектов сталкиваются с задержками, перерасходом средств или снижением удовлетворённости заказчика

В современных Agile-проектах оценка трудозатрат традиционно выражается в единицах Story Points, отражающих относительную сложность задачи. Обзорные работы последних лет фиксируют устойчивый переход от экспертных методов (Planning Poker, оценка по аналогии) к автоматизированным подходам на основе машинного обучения

Среди ансамблевых методов, применяемых для оценки Story Points, особое место занимают алгоритмы градиентного бустинга. Широкомасштабное сравнительное исследование Yalciner et al. (2024), опубликованное в журнале Applied Sciences, продемонстрировало, что гибридная модель на основе SBERT и алгоритмов градиентного бустинга достигает MAE = 2,15 и MdAE = 1,85, превосходя ряд существующих методов

Проблема гетерогенности данных и доменной адаптации в контексте программной инженерии рассматривается в ряде актуальных публикаций. Singhal (2023) в обзоре «Domain Adaptation: Challenges, Methods, Datasets and Applications», опубликованном в IEEE Access, систематизируют подходы к сокращению доменного сдвига, включая методы согласования признакового пространства, перевзвешивания экземпляров и многозадачного обучения

Таким образом, анализ современной литературы свидетельствует о следующем. Во-первых, задача автоматической оценки трудозатрат в Agile-проектах остаётся актуальной и широко исследуемой, при этом методы машинного обучения последовательно вытесняют экспертные подходы. Во-вторых, проблема межпроектной переносимости моделей и статистической гетерогенности данных признаётся исследовательским сообществом существенной, однако комплексный количественный анализ её проявлений на крупных многопроектных наборах данных (таких как TAWOS) представлен в литературе недостаточно полно. Настоящая работа заполняет этот пробел, предоставляя систематические эмпирические свидетельства статистической индивидуальности проектов и количественно оценивая снижение качества прогнозирования при игнорировании доменного контекста.

В качестве объекта исследования выбрана многокомпонентная система, представленная открытым набором данных TAWOS, который содержит сведения о более чем 450 тысячах задач из 39 различных проектов по разработке программного обеспечения

В таблице 1 представлены данные о признаках задач, использованных для обучения регрессионной модели.

Для обучения моделей были взяты только те данные, у которых заполнено значение Story_Point (всего 59906 записей). Кроме того, из выборки удален проект с идентификатором 32, поскольку лишь 6 из 232 имеют значение, отличное от 1.

Методология эксперимента построена как исследование сходимости регрессионной модели в условиях различной степени репрезентативности обучающей выборки. Алгоритм обработки информации и построения модели представлен на рисунке 1.

Алгоритм экспериментального исследования влияния гетерогенности данных на метрики регрессионной модели

DOI:10.60797/IRJ.2026.168.1.2

Открыть в полном размереСкачать рисунок

На этапе предварительной обработки выполняется унификация входного пространства признаков. Категориальные переменные с умеренной кардинальностью преобразуются методом LabelEncoder

[4]

,

[5]

,

[6]

,

[7]

. После обработки данных с использованием LabelEncoder в наборе данных осталось 9 признаков.

Были реализованы и сравнены две регрессионные модели для оценки Story Point’ов по задачам: градиентный бустинг (XGBoost и CatBoost) и нейронная сеть (MLP). Для XGBoost и CatBoost использовались фиксированные гиперпараметры: 300 деревьев решений, максимальная глубина 9, скорость обучения 0.1, функция потерь — среднеквадратичная ошибка. Для нейронной сети была использована следующая архитектура: входной слой (размерность признакового пространства), два скрытых слоя на 128 и 64 нейрона соответственно, выходной линейный слой

Обе модели обучались на двух наборах признаков — базовом (без эмбеддингов) и расширенном, включающем эмбеддинги текстовых описаний задач, полученные с помощью языковой модели bge-small-en-v1.5, и сжатые с помощью метода PCA

Перед обучением для каждого проекта независимо удалялись выбросы целевой переменной: отсекались значения ниже 5-го и выше 95-го процентилей. Обучение выполнялось отдельно по каждому проекту, с разбиением выборки на обучающую (80%) и тестовую (20%). Качество оценивалось по метрикам MAE и accuracy (доле предсказаний, попадающих в интервал ±25% от истинного значения). Сравнение двух моделей на проектах с разным объёмом задач позволяет оценить вклад текстовых эмбеддингов и устойчивость каждого алгоритма к шуму и малым выборкам.

Эксперимент включает два сценария:

1. Оценка на смешанной выборке: стандартное разделение всех данных в пропорции 80/20 для обучения и тестирования. Этот сценарий моделирует ситуацию, когда данные всех подсистем рассматриваются в единой совокупности.

2. Оценка в рамках изолированной подсистемы: для каждого проекта в наборе данных модель обучается и тестируется исключительно на её внутренних данных (разбиение 80/20).

Результаты первого сценария представлены в таблице 2.

Как можно увидеть, модели, построенные в рамках первого сценария, показали низкие значения метрик, что свидетельствует об их неприменимости для прогнозирования трудозатрат по задачам.

Однако результаты второго сценария (табл. 3) выявили принципиально иную картину. При обучении и тестировании в рамках изолированных подсистем качество предсказаний ожидаемо возрастает, но главное — обнаруживается высокая вариативность метрик между проектами. Значения MAE варьируются от 0,53 (проект 31) до 5,91 (проект 34) для градиентного бустинга без эмбеддингов, а accuracy — от 14,29% (проект 17) до 54,76% (проект 31).

Наиболее показательным является сравнение результатов смешанного и изолированного подходов. В первом сценарии лучшая модель (XGBoost без эмбеддингов) демонстрирует MAE = 3,37 и accuracy = 28,67%. Во втором сценарии для многих проектов достигается существенно более высокая точность. Например, проект 5: MAE = 0,92 и accuracy = 54,26%, проект 31: MAE = 0,53, accuracy = 54,76%. проект 42: MAE = 0,65, accuracy = 47,11%. Эти результаты демонстрируют, что модель способна достаточно точно прогнозировать трудозатраты внутри отдельной подсистемы, но переносимые на всю совокупность закономерности отсутствуют.

Объём обучающей выборки не является единственным фактором успеха. Так, проект 28 содержит 18412 задач — самый большой массив данных, однако его метрики (MAE = 2,74, accuracy = 24,52%) заметно хуже, чем у проектов с гораздо меньшим количеством наблюдений. Это указывает на внутреннюю неоднородность процессов даже внутри крупных проектов или на высокий уровень шума в данных.

Сравнение двух типов моделей показывает, что градиентный бустинг XGBoost в целом превосходит нейронную сеть как по MAE, так и по accuracy на большинстве проектов. Например, для проекта 24 XGBoost без эмбеддингов даёт accuracy = 30,08%, тогда как нейронная сеть без эмбеддингов — лишь 20,33%. Однако есть исключения: проект 14 (нейросеть без эмбеддингов: MAE = 0,96 против 1,04 у бустинга). Это говорит об отсутствии универсального лидера — выбор оптимальной модели также зависит от доменного контекста.

Сравнение CatBoost с XGBoost показывает схожую картину: градиентный бустинг (обе реализации) стабильно превосходит нейронную сеть на большинстве проектов, однако универсального лидера между XGBoost и CatBoost не наблюдается. Например, на проекте 18 CatBoost без эмбеддингов достигает accuracy = 54,79% против 32,88% у XGBoost, тогда как на проекте 31 XGBoost показывает лучший результат (54,76% против 42,86% у CatBoost). Таким образом, выбор оптимального алгоритма также зависит от доменного контекста, что усиливает основной вывод о статистической индивидуальности проектов.

Добавление PCA-эмбеддингов текстовых описаний не даёт однозначного улучшения. В ряде проектов (5, 21) эмбеддинги повышают точность, в других (1, 31, 43) — снижают, а в некоторых (27, 42) — не меняют метрики. Например, для проекта 5 accuracy бустинга возрастает с 51,06% до 54,26%, а для проекта 1 — падает с 35,71% до 30,90%. Следовательно, информативность текстовых описаний существенно различается между подсистемами: в одних проектах текст задачи содержит сильный сигнал о трудозатратах, в других — преимущественно шум или дублирует уже имеющиеся категориальные признаки.

Отдельного внимания заслуживают проекты с высокими значениями метрик при малой выборке, как например проект 31: при всего 208 задачах XGBoost без эмбеддингов демонстрирует MAE = 0,53 и accuracy = 54,76% — аномально высокий результат для малой выборки. Предварительный анализ показывает, что в этом проекте значения Story Point’ов сосредоточены в узком диапазоне (в основном 2) и сильно коррелируют с типом задачи (Type), что создаёт зависимость, легко улавливаемую бустингом.

Проведенный тест Левена показал выраженную неоднородность дисперсий между 38 проектами. Для всех проанализированных числовых признаков, включая тип задачи (Type), приоритет (Priority), оценку Story Point и дату создания (Creation_Date), значение p-value оказалось практически нулевым (p < 0.001). Доля признаков с неоднородными дисперсиями составила 100%, что убедительно свидетельствует: разброс значений внутри проектов статистически значимо различается. Это означает, что вариативность трудозатрат и сопутствующих атрибутов задач существенно зависит от контекста конкретного проекта.

Результаты однофакторного дисперсионного анализа (ANOVA) полностью подтверждают выводы теста Левина, дополняя их картиной различий в центральных тенденциях. Для каждого из признаков нулевая гипотеза о равенстве средних между проектами была отвергнута при p < 0.001, а доля признаков с различными средними также составила 100%. Особенно высокие значения F-статистики (например, 5275 для Priority) указывают на то, что межгрупповая вариация многократно превышает внутригрупповую. Следовательно, проекты смещены относительно друг друга не только по разбросу, но и по типичным значениям ключевых характеристик.

В ходе исследования выполнен анализ влияния гетерогенности данных, генерируемых различными подсистемами сложной организационно-технической системы, на инвариантность регрессионных моделей машинного обучения. На примере открытого набора данных TAWOS экспериментально подтверждена статистическая неоднородность данных как по дисперсиям, так и по средним значениям ключевых признаков. Гипотеза о возможности построения единой модели, способной прогнозировать трудозатраты без учёта доменного контекста, была опровергнута: модель, обученная на агрегированной выборке, демонстрирует низкое качество (MAE = 3,37, Accuracy ±25% = 28,67 % для лучшей конфигурации).

Проведённый эксперимент показал, что приемлемая точность прогноза достигается исключительно при обучении и тестировании в пределах одной подсистемы, однако метрики крайне вариативны (MAE от 0,53 до 5,91; Accuracy ±25% от 14,29% до 54,76%), что отражает «статистическую индивидуальность» каждого проекта. Тесты Левена и однофакторный дисперсионный анализ подтвердили значимую неоднородность дисперсий и средних (p < 0.001) для всех рассмотренных числовых признаков. Сравнение градиентного бустинга и нейронной сети выявило преимущество XGBoost на большинстве проектов, однако универсально лучший алгоритм отсутствует — выбор оптимальной модели также зависит от доменного контекста. Добавление текстовых эмбеддингов не привело к однозначному улучшению, что свидетельствует о различной информативности описаний задач в разных подсистемах.

Полученные результаты имеют следующее значение для развития методов системного анализа и обработки информации в многокомпонентных средах:

1. Показана необходимость обязательной предварительной проверки статистической однородности выборок, объединяемых из разнородных источников. Игнорирование гетерогенности ведёт к построению моделей, не отражающих истинные закономерности отдельных подсистем, и делает их неприменимыми для практических задач поддержки принятия решений.

2. Результаты обосновывают необходимость внедрения методов доменной адаптации или многоуровневого моделирования (с общими и доменно-специфичными компонентами) как обязательного этапа предобработки данных при смене объекта исследования.

Таким образом, исследование демонстрирует, что проблема переносимости моделей в многокомпонентных системах является не техническим ограничением, а фундаментальным свойством, обусловленным гетерогенностью порождаемых данных. Учёт этого свойства, включая предварительный анализ гомогенности выборки и адаптацию к условиям конкретной подсистемы, представляет собой необходимое условие корректной обработки информации и принятия обоснованных управленческих решений в сложных организационно-технических системах.