Вернуться к статье

Классификация и сравнительный анализ подходов к сбору колоночного уровня data lineage на базе Apache Spark

Таблица 1 - Структура хранилищ метаданных

Слой метаданных

Описание

Примеры информации

Технический

Информация использующаяся big data движками для оптимизации внутренних вычислений

Соотношение имени схемы-таблицы к физическому месту хранению данных.

Структура, партиционирование и список доступных партиций.

Предварительно созданные конфигурации чтения данных для движков.

Операционный

Логи и журналы обращения к данным

Журналы выполненных задач.

Параметры запусков.

Метрики чтения и записи.

Бизнес

Воспринимаемые пользователями сведения о данных

Смысловые описания атрибутов, бизнес-правила, соответствие полей отчётам и показателям.