DATA ENGINEERING
Опануйте ключові інструменти дата-інженера, щоб побудувати власну систему для обробки даних.
Денис Кулемза
Big Data Engineer в
Intellias
ex Grid Dynamics і N-iX
ПРО КУРС
На курсі ви:
-
навчитеся шукати коректні дані у масивах, застосовуючи знання Python та SQL;
-
дізнаєтеся, як налаштовувати ETL-процеси й передавати інформацію між системами;
-
запускатимете автоматичне оновлення дата-пайплайнів і навчитеся будувати Big Data Platforms, які здатні масштабуватися;
-
опануєте 6 ключових інструментів інженера даних та зможете передавати коректні показники для ухвалення ефективних бізнес-рішень;
-
розробите два пайплайни даних для аналізу продажів як курсовий проєкт.
до програми курсу входять
-
01
ТЕОРІЯ
Розберете наявні рішення обробки Big Data, дізнаєтеся, на що зважати під час розробки системи та як не панікувати, коли вимоги змінюються.
-
02
ІНСТРУМЕНТИ
Розберетеся в інтерфейсі та навчитеся користуватися Hadoop, Apache Airflow, Apache Spark, SparkSQL, HDFS.
-
03
ПРОЄКТ
Побудуєте два пайплайни даних для аналізу продажів на Google Cloud або PySpark і додасте кейс у своє портфоліо.
лектор
Денис Кулемза
Big Data Engineer в Intellias
-
4+ роки досвіду роботи з Big Data, зокрема з такими технологіями, як-от Python, SQL, Spark, AWS, Snowflake, Airflow та Hadoop
-
працював з великими міжнародними замовниками типу Jabil та Inspire Brands
-
займався оптимізацією процесів обробки великих даних, побудовою сховищ даних та створенням ETL-процесів
-
запроваджував рішення у сфері логістики та виробництва
Програма
-
01 заняття19.09.2024 четвер
Вступ до Data Engineering
- З’ясуєте все, що хотіли знати про професію Data Engineer: цілі, напрямки, завдання, обов’язки та функції у команді.
- Дізнаєтеся історію інженерії даних і Big Data.
- Розберете відмінності між Data Engineer та Big Data Engineer.
- Отримаєте огляд інструментів для роботи з Big Data: бази даних, Hadoop Stack, брокери повідомлень, хмарні рішення.
- Ознайомитеся з технологіями, з якими працюватимете під час курсу.
-
02 заняття23.09.2024 понеділок
Python для Data Engineering
- Навчитеся правильно будувати сервіс на Python для обробки даних.
- Дізнаєтесь, які бувають джерела даних.
- Навчитеся правильно працювати з API джерел даних.
- Навчитеся працювати в Jupyter Notebook та розберетеся з бібліотекою Pandas.
-
03 заняття26.09.2024 четвер
SQL для Data Engineering
- Дізнаєтеся, для чого використовують SQL у Big Data.
- Навчитеся об’єднувати набори даних за допомогою SQL: JOIN, UNION, EXCEPT.
- Почнете використовувати SQL для аналітичних запитів: аналітичні функції, групування даних, віконні функції.
- Зрозумієте, як написати SQL-запит оптимально.
-
04 заняття30.09.2024 понеділок
Аналітичні бази даних
- Виявите відмінність між системами OLTP та OLAP.
- Зрозумієте технічну реалізацію баз даних для OLTP та OLAP на прикладі PostgreSQL та Google BigQuery.
- Дізнаєтеся, як правильно писати SQL-запити для транзакційних та аналітичних баз даних, і розберете найпоширеніші помилки під час побудови SQL-запиту.
-
05 заняття03.10.2024 четвер
Проєктування сховищ даних
- Дізнаєтеся про призначення сховищ даних та підходи до їхнього проєктування.
- Дізнаєтеся, що таке Data Warehouse (DWH), Data Lake (DL) та Data Swamp (DS).
- Зрозумієте, як проєктувати аналітичний шар DWH.
- Розглянете підходи до проєктування Кімбала та Інмана.
- Дізнаєтеся, що таке вітрини даних, і навчитеся подавати дані у вигляді вітрин.
- Розберете приклади наявних сховищ даних.
-
06 заняття07.10.2024 понеділок
Передача даних між системами: ETL- та ELT-процеси
- Дізнаєтеся, чому ETL ― найпопулярніший спосіб забезпечення роботи сховищ даних.
- Зрозумієте, як дані пересилають між системами.
- Навчитеся отримувати дані із зовнішніх джерел, трансформувати та очищати їх.
- Навчитеся створювати, запускати та моніторити ETL-процеси.
- Розберете особливості різних форматів файлів: CSV, JSON, JSONLine, Avro, Parquet, ORC.
-
07 заняття10.10.2024 четвер
Оркестрація процесів обробки даних в Apache Airflow
- Отримаєте детальний огляд Apache Airflow для керування процесами ETL.
- Вивчите Directed Acyclic Graph (спрямований ациклічний граф) для опису пайплайнів.
- Переглянете найпопулярніші оператори в Apache Airflow і навчитеся писати свої.
- Дізнаєтеся, що таке хуки, провайдери та змінні.
- Отримаєте best practices для роботи з Apache Airflow.
-
08 заняття14.10.2024 понеділок
Розподілені обчислення
- Розберетеся з поняттям розподілених систем та обчислень.
- Дізнаєтесь, які завдання вони розв’язують та які готові рішення вже є.
- Виявите відмінності розподілених систем від звичайних, розглянете їхні переваги та недоліки.
- Розберетеся в САР-теоремі.
- Дізнаєтеся, на що варто звернути увагу впродовж побудови розподілених систем і чим можна пожертвувати під час розв’язання конкретного завдання.
-
09 заняття17.10.2024 четвер
Екосистема Hadoop для розподіленої роботи з файлами
- Навчитеся користуватися екосистемою Hadoop.
- Дізнаєтесь, у чому призначення кожної технології в межах екосистеми Hadoop.
- Вивчите альтернативи Hadoop.
- Почнете використовувати Hadoop Distributed File System.
-
10 заняття21.10.2024 понеділок
Розподілені файлові системи: HDFS, S3 та GCS
- Вивчите внутрішню архітектуру HDFS та особливості її реалізації.
- Навчитеся працювати з HDFS: керувати файлами, завантажувати та вивантажувати дані.
- Навчитеся працювати з Amazon S3 та Google Cloud Storage.
-
11 заняття24.10.2024 четвер
BigData-архітектури
- Ознайомитеся з трьома поколіннями архітектури Big Data та дізнаєтеся, навіщо вони потрібні.
- Розберетеся, які технології мають та які проблеми розв’язують різні покоління архітектур.
-
12 заняття28.10.2024 понеділок
Розподілені обчислення за допомогою Apache Spark
- Отримаєте огляд технології Apache Spark і дізнаєтесь, які завдання вона розв’язує. Виявите її відмінності від MapReduce.
- Зрозумієте, чому Apache Spark стала флагманською технологією у світі BigData.
- Навчитеся використовувати Apache Spark для створення великих даних.
- Вивчите варіанти використання Apache Spark: способи організації даних RDD, Data Frame та Dataset ― і дізнаєтеся, у яких випадках та з якими даними використовують кожен із цих підходів.
-
13 заняття31.10.2024 четвер
Робота зі структурованими даними за допомогою SparkSQL. Part 1
- Почнете знайомство зі SparkSQL ― одним із синтаксисів Apache Spark.
- Навчитеся завантажувати дані в Spark.
- Вивчите роботу Spark із зовнішніми джерелами даних.
- Розберетеся в базових операціях Spark DataFrame для трансформації структурованих даних.
-
14 заняття04.11.2024 понеділок
Робота зі структурованими даними за допомогою SparkSQL. Part 2
- Дізнаєтеся, як вивантажувати дані зі Spark.
- Навчитеся проводити аналітику на структурованих даних у Spark.
-
15 заняття07.11.2024 четвер
Оптимізація виконання завдань в Apache Spark
- Зрозумієте, як написати ефективний код і прискорити обробку великих даних в Apache Spark.
- Навчитеся виявляти основні проблеми продуктивності Spark, усунете їх.
- Організуєте дані в кластері Apache Spark.
-
16 заняття11.11.2024 понеділок
Потоки даних Apache Spark
- Зрозумієте, чим відрізняється обробка потокових даних від статичних.
- Навчитеся обробляти потоки даних за допомогою Spark Streaming.
- Розберете приклад програми аналізу потокових даних.
-
17 заняття14.11.2024 четвер
Огляд інструментів Google Cloud для інженерії даних. Part 1
- Ознайомитеся з BigQuery ― аналітичною розподіленою базою для сотень Пбайт даних.
- Отримаєте огляд професійних інструментів аналітики та візуалізації — Data Studio та Looker.
- Дізнаєтеся, як працювати з Google Storage (GCS).
- Розберетеся в контейнерних середовищах виконання: GKE та сучасні безопераційні середовища Cloud Functions та Cloud Run.
-
18 заняття18.11.2024 понеділок
Огляд інструментів Google Cloud для інженерії даних. Part 2
- Отримаєте огляд Google Composer.
- Дізнаєтеся, як працювати з децентралізованою безсерверною системою обміну повідомленнями PubSub.
- Ознайомитеся з Dataflow.
- Розглянете хмарні рішення Hadoop від компанії Google: DataProc та DataProc Batches.
реєстрація
Залишайте заявку та зростайте у роботі з великими даними.