DATA ENGINEERING
Постройте собственную систему для обработки данных.
Денис Кулемза
Big Data Engineer в
Intellias
ex Grid Dynamics и N-iX
О КУРСЕ
На курсе вы:
-
научитесь искать корректные данные в массивах, используя знания Python и SQL;
-
узнаете, как настраивать ETL-процессы и передавать информацию между системами;
-
будете запускать автоматическое обновление дата-пайплайнов и научитесь строить Big Data Platforms, которые способны масштабироваться;
-
овладеете 6 ключевыми инструментами инженера данных и сможете передавать корректные показатели для принятия эффективных бизнес-решений;
-
разработайте два пайплайна данных для анализа продаж как курсовой проект.
в программу курса входят
-
01
ТЕОРИЯ
Разберете существующие решения обработки Big Data, узнаете, что учитывать при разработке системы и как не паниковать, если требования изменяются.
-
02
ИНСТРУМЕНТЫ
Разберетесь в интерфейсе и научитесь воспользоваться Hadoop, Apache Airflow, Apache Spark, SparkSQL, HDFS.
-
03
ПРОЕКТ
Построите два пайплайна данных для анализа продаж в Google Cloud или PySpark и добавите кейс в свое портфолио.
лектор
Денис Кулемза
Big Data Engineer в Intellias
-
4+ года опыта работы с Big Data, в частности с такими технологиями, как Python, SQL, Spark, AWS, Snowflake, Airflow и Hadoop
-
работал с крупными международными заказчиками типа Jabil и Inspire Brands
-
занимался оптимизацией процессов обработки больших данных, построением хранилищ данных и созданием ETL-процессов
-
разрабатывал решения в сфере логистики и производства
Программа
-
01 занятие19.09.2024 четверг
Введение в Data Engineering
- Выясните все, что хотели знать о профессии Data Engineer: цели, направления, задачи, обязанности и функции в команде.
- Узнаете историю инженерии данных и Big Data.
- Разберете отличия между Data Engineer и Big Data Engineer.
- Получите обзор инструментов для работы с Big Data: базы данных, Hadoop Stack, брокеры сообщений, облачные решения.
- Ознакомитесь с технологиями, с которыми будете работать во время курса.
-
02 занятие23.09.2024 понедельник
Python для Data Engineering
- Научитесь правильно строить сервис на Python для обработки данных.
- Узнаете, какие источники данных бывают.
- Научитесь правильно работать с API источников данных.
- Научитесь работать в Jupyter Notebook и разберетесь с библиотекой Pandas.
-
03 занятие26.09.2024 четверг
SQL для Data Engineering
- Узнаете, для чего используют SQL в Big Data.
- Научитесь объединять наборы данных с помощью SQL: JOIN, UNION, EXCEPT.
- Начнете использовать SQL для аналитических запросов: аналитические функции, группирование данных, оконные функции.
- Поймете, как оптимально написать SQL-запрос.
-
04 занятие30.09.2024 понедельник
Аналитические базы данных
- Выявите разницу между системами OLTP и OLAP.
- Поймете техническую реализацию баз данных для OLTP и OLAP на примере PostgreSQL и Google BigQuery.
- Узнаете, как правильно писать SQL-запросы для транзакционных и аналитических баз данных, и разберете самые распространенные ошибки при построении SQL-запроса.
-
05 занятие03.10.2024 четверг
Проектирование хранилищ данных
- Узнаете о назначении хранилищ данных и подходах к их проектированию.
- Узнаете, что такое Data Warehouse (DWH), Data Lake (DL) и Data Swamp (DS).
- Поймете, как можно проектировать аналитический слой DWH.
- Рассмотрите подходы к проектированию Кимбала и Инмана.
- Узнаете, что такое витрины данных, и научитесь представлять данные в виде витрин.
- Разберете примеры имеющихся хранилищ данных.
-
06 занятие07.10.2024 понедельник
Передача данных между системами: ETL- и ELT-процессы
- Узнаете, почему ETL — самый популярный способ обеспечения работы хранилищ данных.
- Поймете, как пересылаются данные между системами.
- Научитесь получать данные из внешних источников, трансформировать и очищать их.
- Научитесь создавать, запускать и мониторить процессы ETL.
- Разберете особенности разных форматов файлов: CSV, JSON, JSONLine, Avro, Parquet, ORC.
-
07 занятие10.10.2024 четверг
Оркестрация процессов обработки данных в Apache Airflow
- Получите подробный обзор Apache Airflow для управления процессами ETL.
- Изучите Directed Acyclic Graph (направленный ациклический граф) для описания пайплайнов.
- Просмотрите самые популярные операторы в Apache Airflow и научитесь писать свои.
- Узнаете, что такое хуки, провайдеры и переменные.
- Получите best practices для работы с Apache Airflow.
-
08 занятие14.10.2024 понедельник
Распределенные вычисления
- Разберетесь с понятием распределенных систем и вычислений.
- Узнаете, какие задачи они решают и какие готовые решения уже есть.
- Выявите отличия распределенных систем от обычных, рассмотрите их преимущества и недостатки.
- Разберетесь в САР-теореме.
- Узнаете, на что следует обратить внимание на протяжении построения распределенных систем и чем можно пожертвовать при решении конкретной задачи.
-
09 занятие17.10.2024 четверг
Экосистема Hadoop для распределенной работы с файлами
- Научитесь пользоваться экосистемой Hadoop.
- Узнаете, в чем предназначение каждой технологии в рамках экосистемы Hadoop.
- Изучите альтернативы Hadoop.
- Начнете использовать Hadoop Distributed File System.
-
10 занятие21.10.2024 понедельник
Распределенные файловые системы: HDFS, S3 и GCS
- Изучите внутреннюю архитектуру HDFS и особенности ее реализации.
- Научитесь работать с HDFS: управлять файлами, загружать и скачивать данные.
- Научитесь работать с Amazon S3 и Google Cloud Storage.
-
11 занятие24.10.2024 четверг
BigData-архитектуры
- Ознакомитесь с тремя поколениями архитектуры Big Data и узнаете, зачем они нужны.
- Разберетесь, какие технологии имеют и какие проблемы решают разные поколения архитектур.
-
12 занятие28.10.2024 понедельник
Распределенные вычисления с помощью Apache Spark
- Получите обзор технологии Apache Spark и узнаете, какие задачи она решает. Выявите ее отличия от MapReduce.
- Поймете, почему Apache Spark стала флагманской технологией в мире BigData.
- Научитесь использовать Apache Spark для создания больших данных.
- Изучите варианты использования Apache Spark: способы организации данных RDD, Data Frame и Dataset ― и узнаете, в каких случаях и с какими данными используют каждый из этих подходов.
-
13 занятие31.10.2024 четверг
Работа со структурированными данными с помощью SparkSQL. Part 1
- Начнете знакомство со SparkSQL ― одним из синтаксисов Apache Spark.
- Научитесь скачивать данные в Spark.
- Изучите работу Spark с внешними источниками данных.
- Разберетесь в базовых операциях Spark DataFrame для трансформации структурированных данных.
-
14 занятие04.11.2024 понедельник
Работа со структурированными данными с помощью SparkSQL. Part 2
- Узнаете, как выгружать данные из Spark.
- Научитесь проводить аналитику на структурированных данных в Spark.
-
15 занятие07.11.2024 четверг
Оптимизация выполнения задач в Apache Spark
- Поймете, как написать эффективный код и ускорить обработку больших данных в Apache Spark.
- Научитесь выявлять основные проблемы производительности Spark, устраните их.
- Организуете данные в кластере Apache Spark.
-
16 занятие11.11.2024 понедельник
Потоки данных Apache Spark
- Поймете, чем отличается обработка поточных данных от статических.
- Научитесь обрабатывать потоки данных с помощью Spark Streaming.
- Разберете пример программы анализа поточных данных.
-
17 занятие14.11.2024 четверг
Обзор инструментов Google Cloud для инженерии данных. Part 1
- Ознакомитесь с BigQuery — аналитической распределенной базой для сотен Пбайт данных.
- Получите обзор профессиональных инструментов аналитики и визуализации Data Studio и Looker.
- Узнаете, как работать с Google Storage (GCS).
- Разберетесь в контейнерных средах выполнения: GKE и современные безоперационные среды Cloud Functions и Cloud Run.
-
18 занятие18.11.2024 понедельник
Обзор инструментов Google Cloud для инженерии данных. Part 2
- Получите обзор Google Composer.
- Узнаете, как работать с децентрализованной бессерверной системой обмена сообщениями PubSub.
- Ознакомитесь с Dataflow.
- Рассмотрите облачные решения Hadoop от Google: DataProc и DataProc Batches.
регистрация
Оставляйте заявку и растите в работе с большими данными.