AUTOMATION OF THE PROCESS OF TESTING CONFIGURATIONS “1C:ERP ENTERPRISE MANAGEMENT” OF AN INTEGRATOR COMPANY
AUTOMATION OF THE PROCESS OF TESTING CONFIGURATIONS “1C:ERP ENTERPRISE MANAGEMENT” OF AN INTEGRATOR COMPANY
Abstract
The article discusses an approach to automating the process of testing configurations of the 1C:ERP Enterprise Management information system in an integrator company. The purpose of the study is to improve the efficiency of the configuration testing process and the quality of the final software product. The objectives of the study include analyzing current testing methods, identifying problems in the manual testing process, and developing and implementing automated testing. The results of the study demonstrate that the use of automated testing of 1C:ERP configurations using the Jenkins system leads to a significant improvement in key performance indicators, which confirms the feasibility of switching to automated testing. This made it possible to significantly reduce the costs of the integrator company, improve the quality of the delivered solutions, and speed up the release of updates to the market.
1. Введение
Современные ИТ-экосистемы характеризуются сложной интеграцией программных и аппаратных компонентов, которые взаимодействуют в корпоративных системах. Особую значимость это приобретает в контексте корпоративных систем управления, где функциональные ошибки могут привести к существенным финансовым и репутационным потерям
. Промежуточные среды играют важную роль в жизненном цикле разработки программного обеспечения, предоставляя платформу для сборки, тестирования и валидации новых версий перед их развёртыванием в промышленную эксплуатацию. Данные среды включают в себя не только программное обеспечение, но и инфраструктурные компоненты, а также конфигурации, критически важные для правильного функционирования системы .Промежуточные среды, безусловно, важны на этапах разработки (DEV), тестирования (TST) и валидации актуальных версий перед их эксплуатацией (PRD). Однако для обеспечения надежной и стабильной работы системы в условиях реальной эксплуатации критически важно провести полноценное тестирование всех аспектов программного обеспечения, включая модульные (Мт), дымовые (Дт), регрессионные (Рт) и ручные функциональные (РФТ) методы тестирования
. Эти методы позволяют выявить потенциальные ошибки и несовместимости на более глубоком уровне, чем тестирование в промежуточных средах, минимизируя риски возникновения сбоев в рабочей системе . Промежуточные среды могут выявить лишь часть проблем, в то время как полноценное тестирование охватывает все ключевые аспекты функционирования и гарантирует высокое качество конечного программного продукта, особенно в крупных организациях с несколькими проектными группами и сложными конфигурациями.Актуальность исследования обусловлена трудностями управления конфигурациями корпоративной информационной системы «1С:ERP Управление предприятием» (ИС 1С:ERP), разнообразием методов их развёртывания и необходимостью интеграции ручных и автоматизированных процессов тестирования. Повышение эффективности тестирования конфигураций ИС 1С:ERP требует системного подхода и постоянного улучшения методов обеспечения качества, особенно в условиях растущей сложности корпоративных информационных систем и повышенных требований к качеству программного обеспечения.
Целью исследования является разработка и внедрение эффективного автоматизированного процесса тестирования конфигураций ИС 1С:ERP на основе концепции непрерывного развертывания и доставки
, направленного на снижение трудозатрат, оптимизацию использования вычислительных ресурсов и повышение качества конечного программного продукта (ПП).В условиях постоянных изменений, происходящих в промежуточных средах, критически важно обеспечить их стабильность и правильность конфигураций. Архитектура процесса разработки, тестирования, поставки и обновления ПП в компании-агрегаторе представлена на рисунке 1.
Рисунок 1 - Архитектура процесса разработки, тестирования, поставки и обновления прикладных решений ИС 1С:ERP
– Анализ метрик по видам и методам тестирования модулей конфигураций системы 1С:ERP — это поможет оценить эффективность существующих подходов к тестированию и выявить возможные улучшения.
– Сравнение использования вычислительных ресурсов — важно провести анализ для оптимизации процессов разработки и тестирования, что обеспечит стабильность и правильность конфигураций.
2. Методы и принципы исследования
2.1. Методы исследования
В ходе исследования были применение следующие методы: системный анализ существующей документации и процессов тестирования в компании-агрегаторе; структурированное интервьюирование специалистов по тестированию и разработке; моделирование бизнес-процессов с использованием нотации BPMN , методология интеграции CI/CD , .
В качестве объекта тестирования выступали следующие подсистемы и их функции ИС 1С:ERP:
– CRM и маркетинг.
– Продажи. Закупки.
– Склад и доставка.
– Производство.
– Зарплата.
– Казначейство.
– Финансовый контроллинг.
– Внеоборотные активы.
– Международный финансовый учет.
2.2. Состояние вопроса по видам и методам тестирования
Анализ существующих подходов к автоматизации тестирования конфигураций и управления зависимостями программного обеспечения показал, что основные методы тестирования сосредоточены на создании инструментов для контроля версий и развёртывания приложений
. Однако вопрос проактивного управления конфигурациями и минимизации ручного вмешательства остаётся актуальным .ИС 1С:ERP является комплексным решением, которое позволяет автоматизировать процессы управления различными аспектами деятельности предприятия. Для обеспечения проверки корректности конфигураций в промежуточных средах DEV и TST была разработана стратегия, включающая как ручное, так и автоматизированное тестирование. Эта стратегия охватывает ключевые аспекты развертывания информационной системы 1С:ERP в компании-интеграторе.
3. Основные результаты
3.1. Ручное тестирование ИС 1С:ERP
Проводится в рамках единой промежуточной среды TST. Команда тестировщиков обновляет тестовые стенды и производит подготовительные настройки, последовательно выполняет Мт-тестирование функционала модулей конфигурации ИС 1С:ERP на работоспособность с помощью Дт, и Рт-тестирований. После завершения проверки существующего функционала проводится ручное тестирование нового функционала с учетом выявленных неуспешных тестов. Этот процесс включает переключение задачи в статус «Тестирование», написание тестовой документации и проведение РФТт-тестирования. После этого команда тестировщиков формирует отчет о проделанной работе и завершает процесс тестирования. На рисунке 2 представлен процесс ручного тестирования ИС 1С:ERP в нотации BPMN.
Рисунок 2 - Процесс ручного тестирования конфигураций ПП ИС 1С:ERP
Интеграция непрерывной доставки в процессе тестирования и вывода ПП ИС 1С:ERP в релиз, позволила реализовать новые возможности в организации автоматизированного тестирования конфигураций 1С:ERP в компании-интеграторе. Процесс реализации автоматизированного тестирования командой тестировщиков представлен на рисунке 3.
Рисунок 3 - Этапы выполнения процесса автоматизированного тестирования конфигураций ИС 1С:ERP
В автоматизированном процессе тестирования роль тестировщика в процессах тестирования модулей конфигурации ИС 1С:ERP сведена к анализу отчета о прохождение тестов в конвейере Jenkins.
Анализ ручного и автоматизированного тестирований в компании-интеграторе позволил выявить конфликты промежуточных конфигураций предрелизных сборок, полученных в течение 24 часов, а также уровень эффективности полученных метрик тестирования. Метрики тестирований сведены в таблице 1.
Таблица 1 - Анализ метрик по видам и методам процесса тестирования модулей конфигураций ИС 1С:ERP
Метрики\виды тестирования | Рт | Дт | Мт | РФТ | ||||
Метод тестирования | Р | А | Р | А | Р | А | Р | А |
Время выполнения тестов, часы | 1 | 1 | 3 | 3 | 24 | 24 | 1 | 1 |
Использование оперативной памяти, ГБ | 1 | 0,85 | 1 | 0,33 | 0,5 | 0,08 | 0,67 | 0,66 |
Успешные тесты, шт/час | 0,62 | 5,91 | 7,39 | 100 | 3,08 | 15,9 | 0,37 | 0,59 |
Выявленные критические ошибки, шт/час | 2 | 5 | 5 | 12 | 3 | 7 | 1 | 4 |
Количество тестов на модуль, шт/час | 12 | 101 | 133 | 4885 | 53 | 1560 | 6 | 17 |
Простои, часы | 2 | 0,6 | 0,2 | 0,012 | 0,25 | 0,021 | 3 | 1,5 |
Примечание: Р – ручной этап тестирования модулей конфигурации ИС 1С:ERP с участием тестировщика; А – автоматический этап тестирования модулей конфигурации ИС 1С:ERP
В результате перехода с ручного на автоматизированное тестирование конфигураций 1С:ERP с использованием Jenkins были получены показатели, которые представлены в таблице 2.
Таблица 2 - Средние показатели эффективности автоматизации тестирования ИС 1С:ERP
Параметр | Среднее улучшение ИПМ (раз) |
Время выполнения тестов | 1,00 |
Покрытие тестами | 19,30 |
Выявление критических ошибок | 2,80 |
Эффективность выполнения тестов | 7,45 |
Время на подготовку промежуточной среды TST | 2,86 |
Сокращение простоев | 8,50 |
– Время выполнения полного цикла тестирования осталось неизменным (соотношение 1:1), что обеспечивает стабильность процесса.
– Покрытие тестами на основе оценки с помощью метрики количества тестов на модуль увеличилось в среднем в 19,3 раза.
– Выявление критических ошибок улучшилось в среднем в 2,8 раза.
– Эффективность выполнения тестов на основе оценки с помощью метрики количества успешных тестов в час повысилась в среднем в 7,45 раза.
– Время на подготовку тестовой промежуточной среды TST сократилось в среднем в 2,86 раза.
– Простои в процессе тестирования сократились в среднем в 8,5 раз.
Общая формула для определения эффективности автоматизации тестирования на основе расчетов средних показателей по каждому критерию имеет вид:
где:
ИПМ – интегральный показатель метрики;
П_А – значение для автоматического тестирования;
П_Р – значение для ручного тестирования;
КТТ – количество типов тестирования, равно 4 (Дт, Мт, Рт, РФТ).
Автоматизированный процесс тестирования позволил существенно повысить качество и эффективность процесса тестирования конфигураций ИС 1С:ERP в компании-интеграторе, особенно в части охвата тестирования и сокращения простоев.
3.3. Описание аппаратной базы для проведения исследований
Исследование с использованием системы автоматизации Jenkins проводилось на выделенном сервере, оснащенном процессором Intel Xeon Gold 2x 5218 v4 с тактовой частотой 3,2 ГГц и поддержкой многопоточности, обеспечивающим 24 потока и 32 ядра. Сервер имеет 128 ГБ оперативной памяти, а также 6 ТБ жесткий диск SAS с конфигурацией RAID 1+0 для повышения надежности и производительности.
Количественная оценка использования аппаратного оборудования серверной станции во время автоматизированного тестирования модулей конфигурации ИС 1С:ERP, приведены в таблице 3.
Таблица 3 - Сравнение использования вычислительных ресурсов
Метрика | Ручное тестирование | Автоматизированное тестирование | Коэффициент снижения (при переходе к автоматизированному тестированию) |
Количество рабочих станций, шт. | 2,5 | 1 | 2,5 |
Загрузка CPU, % | 34-46 | 10-15 | 3,1 |
Использование оперативной памяти, ГБ | 3,17 | 1,92 | 1,65 |
Пространство на диске для тестовых баз, ГБ | 100-150 | 50-75 | 2 |
Трафик, МБ/час | 40-250 | 15-150 | 1,67 |
Время развертывания тестовой промежуточной среды TST, мин. | 40-60 | 15-20 | 2,75 |
Время восстановления после сбоя, мин. | 25-30 | 5-10 | 3,5 |
Общая формула для расчета коэффициента снижения имеет следующий вид:
где:
КС – коэффициент снижения;
min_Р – минимальное значение метрики в период ручного тестирования;
max_Р – максимальное значение метрики в период ручного тестирования;
min_A – минимальное значение метрики в период автоматизированного тестирования;
max_A – максимальное значение метрики в период автоматизированного тестирования.
На основе полученных значений коэффициентов снижения (см. таблицу 3) достигнута максимальная оптимизация вычислительных ресурсов, которую можно проиллюстрировать с помощью следующих показателей:
– Восстановление работоспособности системы после сбоев сократилось в 3,5 раза.
– Потребление процессорной мощности уменьшилось в 3,1 раза.
– Скорость развертывания промежуточной среды TST выросла в 2,75 раза.
4. Заключение
По итогам выполненного исследования выявлены значительные преимущества автоматизации процесса тестирования конфигураций «1С:ERP Управление предприятием» в компании-интеграторе. С применением системного подхода, основанного на концепции непрерывной интеграции и доставки CI/CD с использованием Jenkins, было достигнуто заметное улучшение ключевых показателей эффективности. Переход от ручного к автоматизированному тестированию привел к значительному сокращению простоев в 8,5 раз и увеличению покрытия тестами в 19,3 раза.
Эти результаты не только позволили снизить операционные расходы, но и повысили качество поставляемых решений, способствуя более быстрому выводу обновлений программного обеспечения на рынок.
По итогам исследования подтверждена важность эффективного управления конфигурациями в сложных корпоративных информационных системах на основе интеграции как ручных, так и автоматизированных процессов тестирования.
В целом, результаты исследования подтверждают целесообразность ориентации на стратегию внедрения методологий автоматизированного тестирования как средства оптимизации использования ресурсов и обеспечения высокого качества программных продуктов в условиях быстрых изменений конфигураций, задаваемых заказчиками услуг и продуктов компании-интегратора.