Return to article
Классификация и сравнительный анализ подходов к сбору колоночного уровня data lineage на базе Apache Spark
Таблица 1 - Структура хранилищ метаданных
Слой метаданных | Описание | Примеры информации |
Технический | Информация использующаяся big data движками для оптимизации внутренних вычислений | Соотношение имени схемы-таблицы к физическому месту хранению данных. Структура, партиционирование и список доступных партиций. Предварительно созданные конфигурации чтения данных для движков. |
Операционный | Логи и журналы обращения к данным | Журналы выполненных задач. Параметры запусков. Метрики чтения и записи. |
Бизнес | Воспринимаемые пользователями сведения о данных | Смысловые описания атрибутов, бизнес-правила, соответствие полей отчётам и показателям. |
