Курс для тех, кто хочет навести порядок в архитектуре данных и освоить ключевые инструменты дата-инженера на практике.
Александр Зинич
Data Team Lead в Grid Dynamics
6 лет опыта в IT
9 недель
18 онлайн-занятий[каждый вторник и четверг]
На курсе вы детально изучите все этапы обработки данных, будете строить ETL-системы и хранилища, настраивать автоматическое обновление дата-пайплайнов и успешно обрабатывать 1 Пбайт данных.
* курс преподается на украинском языке
чтобы погрузиться в процесс обработки данных, освоить ключевые инструменты, среди которых Apache Airflow, Apache Hadoop, Apache Spark, и сменить профессию на Big Data Engineer.
чтобы не просто анализировать данные, но и выстраивать процессы загрузки/выгрузки, проектировать хранилища, настраивать автоматическое обновление дата-пайплайнов и упростить себе работу.
чтобы навести порядок в данных, научиться проектировать понятную архитектуру под задачи бизнеса и оперативно обрабатывать до 1 Пбайт данных.
Существует миф, что дата-инженер делает всю «грязную» работу с данными — «вытаскивает» их из хранилищ, сортирует «сырые» данные, а затем передает аналитикам и дата-сайентистам, которые творят с ними настоящую магию. Но магии не будет, если подготовить данные неправильно.
На этом курсе мы начнем с базовых выражений Python и SQL, которые помогут находить корректные данные. Затем ― научимся настраивать ETL-процессы и передавать данные между системами, будем запускать автоматическое обновление дата-пайплайнов и строить Big Data Platforms, которые способны масштабироваться. В результате вы освоите 6 ключевых инструментов инженера данных и будете передавать корректные показатели для принятия эффективных бизнес-решений.
Вы разберете существующие решения обработки big data на части, рассмотрите и повторите каждую. В результате ― узнаете, что учитывать при разработке и как не паниковать, если требования к системе меняются.
Разберетесь в интерфейсе и научитесь пользоваться Hadoop, Apache Airflow, Apache Spark, SparkSQL, HDFS, MapReduce.
Построите собственную Big Data Platform, которая способна масштабироваться, и добавите кейс в свое портфолио.
Откроете новый подход в работе с big data, получите рекомендации по трудоустройству и начнете путь в Data Engineering.