DATA ENGINEERING
Опануйте інструменти й підходи для побудови масштабованих data-систем, автоматизації обробки даних і роботи з cloud stack у бізнес-задачах.
Ілля Хороших
6+ років у Data Engineering, досвід у
Lyft, EPAM, Luxoft
Курс для тих, хто знає основи Python, SQL та Git
-
DATA ANALYSTS
Щоб вийти за межі Excel, BI та базового SQL, автоматизувати підготовку даних і перейти в Data Engineering для складніших data-проєктів.
-
DATA ENGINEERS
Щоб глибше зрозуміти Big Data архітектуру, прокачати Spark, Databricks, Airflow, Docker та AWS і посилити експертизу для вищої позиції.
-
DEVELOPERS
Щоб використати досвід у Java, Python чи SQL як базу для переходу в Data Engineering і навчитися будувати масштабовані data pipelines.
ПРОГРАМА КУРСУ DATA ENGINEERING
-
01 заняття13.07.2026 19:30
Intro до курсу Data Engineering
- дізнаєтесь, як розвивались data engineering та Big Data
- зрозумієте, чим займається Data Engineer і за що відповідає в команді
- розберете технології, з якими працюватимете на курсі
- побачите, які задачі закривають основні Big Data інструменти
-
02 заняття15.07.2026 19:30
Python для Data Engineering
- навчитеся завантажувати дані з зовнішніх джерел через Python
- попрацюєте з Jupyter Notebook, Pandas і Polars
- розберете основні формати даних: Parquet, Avro, ORC, JSON, CSV
- зберете локальний ETL pipeline на Python
-
03 заняття20.07.2026 19:30
SQL для Data Engineering
- зрозумієте, як SQL використовують у Big Data задачах
- попрацюєте з window functions, recursive queries та аналітичними запитами
- розберете query plan і команду EXPLAIN
- створите першу dbt model і додасте schema tests
-
04 заняття22.07.2026 19:30
Аналітичні бази даних
- розберете різницю між OLTP- та OLAP-системами
- зрозумієте, як влаштовані аналітичні СУБД
- познайомитеся з NoSQL-підходами та їхніми use cases
- попрацюєте з DuckDB для локальної OLAP-аналітики
-
05 заняття27.07.2026 19:30
Проєктування сховищ даних. Частина 1: огляд і архітектура
- розберете, як влаштовані шари даних
- зрозумієте різницю між DWH, Data Lake, Lakehouse та Data Mesh
- ознайомитеся зі схемами «зірка» та «сніжинка»
- вивчите medallion architecture: Bronze, Silver, Gold
-
06 заняття29.07.2026 19:30
Проєктування сховищ даних. Частина 2: рух даних та ETL/ELT-процеси
- розберете різницю між ETL та ELT
- навчитеся передавати дані між системами й трансформувати їх
- ознайомитеся зі Slowly Changing Dimensions у роботі з історичними даними
- зрозумієте базові принципи Data Governance
-
07 заняття03.08.2026 19:30
Контейнери
- дізнаєтеся, що таке контейнеризація та навіщо вона потрібна
- зрозумієте різницю між контейнерами та virtual machines
- побачите, як працюють системи контейнеризації
- розгорнете локальний dev-стек через Docker Compose
-
08 заняття05.08.2026 19:30
Оркестрація процесів обробки даних: Apache Airflow
- розберете Apache Airflow як інструмент для ETL orchestration
- запустите Airflow локально через Docker Compose
- навчитеся створювати, моніторити й дебажити pipeline
- попрацюєте з операторами та підключеннями до зовнішніх джерел
-
09 заняття10.08.2026 19:30
Розподілені обчислення. Hadoop як приклад розподіленої системи. Демо AWS EMR
- зрозумієте базові принципи розподілених систем і обчислень
- розберете Hadoop, HDFS і MapReduce
- ознайомитеся з CAP-теоремою та її значенням для дата-інженера
- подивитеся демо AWS EMR у роботі
-
10 заняття12.08.2026 19:30
Розподілені сховища даних і table formats
- розберете file, block та object storage та їхні use cases
- попрацюєте з HDFS та Amazon S3
- зрозумієте, навіщо потрібні Apache Iceberg і Delta Lake
- навчитеся працювати з time travel і schema evolution
-
11 заняття17.08.2026 19:30
Apache Spark: теоретичні основи та архітектура
- зрозумієте, які задачі розв’язує Apache Spark
- розберете його відмінності від MapReduce
- вивчите архітектуру Spark: driver, executors, cluster manager
- ознайомитеся з lazy evaluation і DAG виконання
-
12 заняття19.08.2026 19:30
Робота зі структурованими даними у Spark. Частина 1
- попрацюєте зі SparkSQL і DataFrame API
- зрозумієте різницю між transformations та actions
- навчитеся виконувати базові операції над структурованими даними
- зробите перші трансформації в Spark
-
13 заняття31.08.2026 19:30
Робота зі структурованими даними у Spark. Частина 2
- навчитеся вивантажувати дані зі Spark
- попрацюєте з аналітикою в Spark через SQL та PySpark
- побудуєте transformation layer
- додасте schema tests та lineage даних через dbt
-
14 заняття02.09.2026 19:30
Якість даних
- розберете ключові виміри data quality
- навчитеся виявляти проблеми якості на різних шарах pipeline
- ознайомитеся з Great Expectations
- інтегруєте data quality checks в Airflow DAG
-
15 заняття07.09.2026 19:30
Оптимізація виконання завдань в Apache Spark
- навчитеся писати ефективний код для Spark
- розберете query plans у Spark UI
- зрозумієте, як працюють partitioning, repartitioning і bucketing
- навчитеся знаходити й усувати проблеми продуктивності
-
16 заняття09.09.2026 19:30
Потокова обробка даних. Частина 1: event brokers
- зрозумієте різницю між event streaming та message queues
- розберете архітектуру Kafka
- навчитеся писати producers та consumers на Python
- ознайомитеся зі Schema Registry, Avro та Kafka Connect
-
17 заняття14.09.2026 19:30
Потокова обробка даних. Частина 2: stream processing
- навчитеся працювати з безперервними потоками даних
- розберете Spark Structured Streaming
- зрозумієте різницю між потоковою і статичною обробкою
- ознайомитеся з watermark, late data, Lambda і Kappa architecture
-
18 заняття16.09.2026 19:30
Хмарні платформи та інструменти для Data Engineering. Частина 1
- розберете ключові AWS-інструменти для data engineering
- навчитеся виконувати ad hoc запити через AWS Athena
- ознайомитеся зі Snowflake як хмарним сховищем даних
- зрозумієте різницю між AWS, Databricks і Snowflake
-
19 заняття21.09.2026 19:30
Хмарні платформи та інструменти для Data Engineering. Частина 2
- зрозумієте, що таке Infrastructure as Code
- ознайомитеся з Terraform і базовими IaC-практиками
- навчитеся відтворювати хмарну інфраструктуру через код
- розберете Databricks як PaaS-платформу для обробки даних
-
20 заняття23.09.2026 19:30
AI та Data Engineering
- зрозумієте, як AI-інструменти змінюють щоденну роботу Data Engineer
- попрацюєте з Claude Code, GitHub Copilot і Cursor для DE-задач
- розберете text-to-SQL, vector databases і RAG-системи
- навчитеся критично оцінювати AI-результат і контролювати якість коду й даних
ПРО КУРС:
Data Engineers у топі ринку, бо саме вони перетворюють дані на стабільну й масштабовану інфраструктуру.
На курсі ви розберетеся з Big Data, ETL/ELT, Spark, Airflow, Docker та AWS, щоби будувати надійні data pipelines, прокачати технічну експертизу та зростати в ролі Data Engineer.
-
8 домашніх завдань та 12+ інструментів
-
Індивідуальний фідбек лектора
-
Фінальний проєкт: 2 data pipelines для аналізу продажів
лектор
Ілля Хороших
6+ років у Data Engineering, досвід у Lyft, EPAM, Luxoft
-
працював як на аутсорсі (EPAM, Luxoft, Newxel), так і в продуктових компаніях (Lyft)
-
реалізував серію пайплайнів для одного з найбільших виробників спортивного одягу, яка обробляла декілька терабайтів даних за 30 хвилин
-
брав участь у створенні Big Data-рішень для сервісу з 23+ млн користувачів
-
розробляв систему автоматичного калібрування ML-пайплайнів для компанії у сфері email security
реєстрація
Реєструйтеся на курс, щоб розібратися з Python, SQL, Airflow, Spark і AWS та будувати пайплайни для реальних data-задач.