Return to article
Архитектура системы сбора и хранения метрик использования ресурсов Spark-приложений в кластерных системах обработки больших данных
Таблица 2 - Сводное сравнение подходов сбора метрик Spark-приложений
Подход | Уровень детализации | Нагрузка на систему | Гибкость настройки | Требования к инфраструктуре |
Spark UI / Spark Rest API | Низкий | Низкая | Низкая | Инфраструктура хранения, сервис сбора метрик |
Listener | Высокий | Средняя | Высокая | Инфраструктура хранения, требуется реализация слушателя и подключение ко всем приложениям |
Встроенный Connector | Высокий | Низкая | Средняя | Требуется инфраструктура для приема и хранения |