Архитектура медальона. Проектирование с помощью Delta Lake и Spark

Питхейн Стренгхольт

Серия: Библиотека программиста

Объёмы данных растут экспоненциально, а опасность оказаться в «болоте данных» (data swamp) подстерегает на каждом шагу? Чтобы получить ценную аналитику, которая обеспечит конкурентное преимущество, можно обратиться к проверенной модели архитектуры медальона. Однако реализовать надёжную архитектуру данных довольно сложно, особенно бронзовый, серебряный и золотой уровни.

Опираясь на свой богатый практический опыт, Питхейн Стренгхольт развеивает распространённые заблуждения и объясняет сложные проблемы, с которыми вы столкнётесь, начиная работу над новой архитектурой данных. Архитекторы и инженеры любого профиля найдут здесь ответы на свои частые вопросы, а также юзкейсы реальных компаний с примерами того, что сработало, а что нет и почему.

Вы получаете не очередную «теорию уровней», а полное практическое руководство, позволяющее разобраться, как правильно проектировать и реализовывать каждый уровень на Microsoft Fabric и Azure Databricks (с готовыми примерами кода и GitHub-репозиторием); реальные кейсы внедрения в AP Pension, Amadeus и ZEISS; рекомендации о том, как вписать медальон в data mesh; разбор таких вопросов, как контракты данных, безопасность и генеративный ИИ (включая RAG и работу с неструктурированными данными).

Для дата-инженеров, архитекторов данных, глав дата-офисов и всех, кто устал от «ещё одного озера, которое никто не может использовать».