Описание
Основополагающая книга по паттернам проектирования систем инженерии данных. Рассматриваются различные шаблоны и рецепты для решения типичных задач в области инженерии данных, организации конвейеров данных, очистки, классификации и отслеживания данных в высоконагруженных системах. Материал сопровождается архитектурными диаграммами и минимальными примерами кода, иллюстрирующими каждый паттерн.
Для специалистов в области данных
Проекты, связанные с обработкой данных, сегодня являются органичной частью любой технической экосистемы. Но во многих компаниях специалисты по инженерии данных занимаются решением проблем, которые уже решены. В этом прикладном руководстве показано, как предоставлять максимально ценные данные, фокусируясь на различных аспектах инженерии данных, а именно: поглощении данных, качестве данных, идемпотентности и многих других.
Автор от начала и до конца демонстрирует весь цикл создания надежного проекта в области инженерии данных, от сбора данных до их мониторинга. В книге собраны реальные паттерны проектирования, то есть, предложены способы решения типичных бизнес-задач. Применяя паттерны, можно добиться безопасной работы с учётом оптимального расхода дискового пространства. При разборе каждого паттерна проблема описывается с точки зрения пользователя, далее предлагается ее решение и рассказывается о результатах применения каждого паттерна в реалистичных сценариях.
Вы узнаете:
- С какими вызовами приходится сталкиваться дата-инженеру, и как они сказываются на проектируемых системах
- Как эти вызовы соотносятся с различными компонентами систем обработки данных
- Полезные примеры применения паттернов инженерии данных
- Как выявлять и решать проблемы, возникающие в уже имеющихся компонентах данных
- Решения, применимые с различными технологиями, как для новых, так и уже существующих проектов обработки данных, сопровождаемые примерами реализации с открытым исходным кодом
Работая с книгой, вы будете пользоваться инструментарием для обработки данных с открытым исходным кодом и общедоступными облачными сервисами.
«Это эпохальная книга о будущем инженерии данных и паттернах проектирования для этой области. Обязательна к прочтению для любого профессионала по обработке данных. По значению сопоставима со знаменитой книгой «Банды четырёх» при изучении проектирования программ».
Скотт Хейнс, соавтор книги «Delta Lake: The Definitive Guide»
«Порой кажется, что при инженерии данных раз за разом возникают одни и те же проблемы. Исправить такую ситуацию поможет книга Бартоша Конечны. Он подробно рассматривает темы от идемпотентности до обработки ошибок и отслеживания данных. Это незаменимое руководство по построению отказоустойчивых конвейеров данных с применением многократно используемых, проверенных паттернов проектирования».
Ади Полак, директор компании Confluent
Бартош Конечны ,разработчик-фрилансер, программирующий с 2010 г. Занимал различные руководящие должности, что позволило ему работать над множеством задач в области обработки данных в пакетном и потоковом режимах
Отзывы
Отзывов пока нет.