Разбираем новые термины 📚

Всем привет! 

Мир больших данных постоянно развивается, и вместе с ним появляются новые понятия. Чтобы помочь вам разобраться, мы подготовили краткий обзор по ключевым из них: Lakehouse, Data Lineage, Дата-контракты и Дата-продукты.

🌟 Lakehouse – это современная архитектура хранения и обработки данных, которая объединяет в себе ключевые преимущества двух классических подходов: Data Lake (озеро данных, которое предназначено для хранения неструктурированных данных) и Data Warehouse (хранилище данных). Такой подход позволяет эффективно обрабатывать различные типы данных и решать задачи от BI (бизнес-аналитики) до ML и AI.

🌟Data Lineage – это история жизни данных от источника до конечного результата. Это как след, который оставляют данные на своем пути, позволяющий отследить их преобразования и понять их происхождение: источник данных (база данных, файл, API и т.д.), все этапы обработки, очистки, агрегации и трансформации данных, кто и когда использовал данные (пользователи, приложения, процессы).

🌟 Дата-контракты – это соглашение о качестве, формате и структуре данных между «поставщиком» данных и «потребителем» данных. В них указываются: какие данные будут предоставлены (например, информация о клиентах), в каком формате они будут, с какой частотой будут обновляться (например, ежедневно или ежечасно) и какие требования к качеству должны быть соблюдены (например, количество пропущенных значений не должно превышать 1%). Дата-контракты устанавливают четкие правила взаимодействия, делая процесс обмена данными понятным для всех участников. 

🌟 Дата-продукты – это готовые к использованию наборы данных или аналитические решения, созданные с учетом потребностей конкретного пользователя или команды. Это могут быть настроенные дашборды, API с актуальными данными или автоматические отчеты. Их цель – дать пользователям простой доступ к нужной информации, без необходимости разбираться в технических тонкостях, что в итоге помогает принимать более обоснованные решения. 

Была ли рубрика полезна для вас?