< онлайн-курс > < 24 заняття >
< власний data pipeline >
< власний data pipeline >
Big Data: обробка та аналітика
Опануйте Spark, Databricks, Kafka, dbt та Airflow, щоб перетворювати великі дані на дієві рішення.
Денис Кулемза
Senior Data Engineer в Intellias
Курс Big Data для:
Data Engineers
які хочуть будувати ефективніші пайплайни зі Spark, Kafka та dbt, шукають стабільніші флоу та можливості кращої оркестрації через Airflow
Data Analysts
які хочуть зрозуміти, який вигляд мають дані за лаштунками: від потоків до моделювання, а також хочуть отримати більше контролю над даними, з якими працюють
Developers
які хочуть перейти в data-напрям, прокачати роботу з логами, подіями, схемами та краще розуміти архітектуру сучасних data-пайплайнів
Після курсу ви:
- навчитеся налаштовувати середовище у Snowflake, зможете реалізовувати ELT/ETL-сценарії
- будете автоматизувати процеси за допомогою Kafka та Airflow
- зрозумієте, як інтегрувати інструменти Big Data у бізнес-процеси
- застосовуватимете найкращі практики роботи з Big Data на основі реальних кейсів
До програми курсу Big Data входять:
01
ІНСТРУМЕНТИ Й ЕКОСИСТЕМА
Опануєте Apache Spark, Databricks, Kafka, Snowflake, dbt, Airflow, AWS Athena, Power BI, щоб проєктувати стабільні системи обробки даних — від збору до візуалізації.
02
DATA PIPELINE ВІД ETL ДО BI
Побудуєте повний цикл обробки даних: збір, трансформація, перевірка якості, збереження та візуалізація.
03
КОНТРОЛЬ ЯКОСТІ ТА ВАЛІДАЦІЯ
Дізнаєтесь, як перевіряти дані на точність, налаштовувати тести в dbt й автоматизувати контроль якості в пайплайнах.
Лектор
Денис Кулемза
Senior Data Engineer в Intellias
5+ років досвіду роботи з Big Data
працював Data Engineer у Grid Dynamics та N-iX
реалізовував дата-рішення для міжнародних компаній: Jabil, Inspire Brands
оптимізував процеси обробки великих даних, будував сховища, створював ETL-процеси
запроваджував Big Data рішення у сферах логістики та виробництва
має сертифікацію з AWS
Програма курсу Big Data
01
Основи аналітики великих даних
- зрозумієте відмінність між сховищами даних, data lakes і lakehouse-архітектурою
- дізнаєтеся про переваги та недоліки кожного підходу залежно від бізнес-сценарію
- вивчите патерни обробки даних — пакетну й потокову — та їхній вплив на архітектуру пайплайна
02
Основи Apache Spark
- зрозумієте розподілену модель виконання в Spark
- навчитеся виконувати базові трансформації та дії з DataFrame
- дізнаєтеся, коли краще використовувати DataFrame API, а коли — Spark SQL
03
Поглиблене вивчення Spark
- дізнаєтеся, як виявляти й усувати проблеми з продуктивністю в Spark
- навчитеся використовувати партиціювання, кешування й broadcast joins для оптимізації
- зрозумієте, як читати Spark UI для покращення виконання завдань і розв’язання проблем зі skew
04
Spark на EMR
- дізнаєтеся, з чого складається AWS EMR та як працюють його компоненти (Hadoop, Spark, Hive тощо)
- навчитеся налаштовувати EMR-кластери для зручної та масштабованої роботи зі Spark
05
Основи Databricks
- навчитеся налаштовувати робоче середовище Databricks в AWS
- зрозумієте життєвий цикл кластерів і як оптимізувати витрати
- дізнаєтеся, як підключати Databricks до хмарних сховищ, зокрема ADLS
06
Databricks SQL для аналітики
- навчитеся писати й виконувати SQL-запити в Databricks
- дізнаєтеся, як використовувати Databricks SQL для BI-аналітики
- зрозумієте, як оптимізувати запити й працювати з продуктивністю
07
Реалізація Data Governance на прикладі Unity Catalog
- дізнаєтеся, як Unity Catalog централізує управління даними в Databricks
- навчитеся налаштовувати каталоги, схеми та доступи для безпеки даних
- зрозумієте можливості аудиту й відстеження походження даних (data lineage)
08
Best-практики роботи з Databricks
- дізнаєтеся, як оцінювати й оптимізувати витрати на Databricks
- навчитеся покращувати продуктивність ноутбуків і дотримуватися best practices
- вмітимете швидко знаходити й усувати проблеми з конфігурацією чи продуктивністю
09
Основи моделювання даних (data modeling)
- зрозумієте відмінність між Star- та Snowflake-схемами
- навчитеся обирати відповідний підхід для моделювання
- вмітимете розробляти базові аналітичні схеми «зірка» та «сніжинка»
10
Знайомство зі Snowflake
- дізнаєтесь основні принципи роботи Snowflake як хмарного DWH
- навчитеся налаштовувати середовище, створювати таблиці та працювати з Warehouse
- зможете завантажувати дані у Snowflake та виконувати SQL-запити
- зрозумієте ключові переваги Snowflake у порівнянні з іншими сховищами
11
Поглиблене вивчення Snowflake
- дізнаєтесь, як автоматизувати процеси в Snowflake за допомогою Tasks і Streams
- навчитеся реалізовувати сценарії ELT/ETL безпосередньо у Snowflake
- ознайомитеся зі способами шерингу даних і налаштуванням доступів
- зрозумієте, як використовувати Time Travel та Zero-Copy Cloning у проєктах
12
Основи моделювання даних за допомогою dbt
- навчитеся організовувати dbt-проєкт за рекомендованою структурою
- розберетесь із синтаксисом Jinja та створенням модульних SQL-шаблонів
- зможете створювати аналітичні моделі у форматі схем зірки або сніжинки за допомогою dbt
13
Розширені можливості dbt та якість даних
- навчитеся створювати тести й макроси для перевірки якості та цілісності даних
- зможете автоматизувати документацію та оповіщення для прозорості процесів
- розберетесь із розширеним синтаксисом Jinja для скорочення повторюваного коду
14
Основи Kafka на прикладі AWS MSK
- навчитеся описувати ключові концепції Kafka — topics, partitions, offsets
- зрозумієте, як Kafka забезпечує обробку даних у реальному часі
- зможете інтегрувати Kafka з іншими системами для подієво-орієнтованих архітектур
15
Spark Structured Streaming
- дізнаєтесь, як реалізувати інкрементну обробку даних у Spark Structured Streaming
- навчитеся працювати з невпорядкованими подіями за допомогою watermarking і windowing
- зможете розгорнути стримінговий конвеєр від Kafka до Delta Lake
16
Потокова обробка в AWS за допомогою Kafka та Spark
- зрозумієте переваги Kafka та Spark для real-time і stateful-обробки даних
- навчитеся створювати та налаштовувати потоки в AWS через Amazon Kinesis Data Analytics
- зможете реалізувати трансформації потоків: вікна, стани й checkpointing
17
Основи NoSQL
- дізнаєтеся про моделі NoSQL: key-value, документну та колонкову
- навчитеся проєктувати ключі партицій для масштабованості
- зрозумієте суть CAP-теореми та компроміси між узгодженістю й доступністю
18
Serverless-обробка за допомогою AWS Athena
- навчитеся здійснювати SQL-запити до даних у дата-озерах
- дізнаєтесь, як Athena масштабується та як оцінити її вартість
- зрозумієте, як партиціювання й зовнішні схеми пришвидшують аналітику
19
Основи Airflow та інтеграція з CI/CD
- навчитеся створювати DAG в Airflow для автоматизації ETL
- зрозумієте, як керувати розгортанням через Git та CI/CD
- дізнаєтесь, як працювати з розкладами, бекфілами та покращувати надійність
20
Інтеграція Airflow із Databricks та dbt
- навчитеся керувати завданнями Databricks через Airflow
- зможете запускати dbt-команди й налаштовувати змінні середовища
- дізнаєтесь, як централізувати розклади, логування та обробку помилок
21
Основи Power BI
- навчитеся підключатися до джерел, трансформувати й візуалізувати дані в Power BI
- дізнаєтесь, у чому відмінності між DirectQuery, Import та Live Connection
22
Інтеграція Power BI з Databricks
- дізнаєтесь, як підключити Power BI до Databricks Lakehouse для аналітики в реальному часі
- навчитеся налаштовувати розклади оновлення та працювати з потоковими наборами даних
- опануєте захист доступу до даних через AWS IAM
23
Q&A-сесія
- розберете всі неточності й отримаєте відповіді на запитання, що виникли під час проходження курсу Big Data
24
Захист курсового проєкту
- реалізуєте та презентуєте data pipeline на базі Lambda-архітектури з використанням Databricks, dbt, Kafka, Snowflake і Power BI
Реєстрація
Реєструйтеся на курс, щоб Big Data почали працювати на вас:
від розв'язання щоденних завдань до
професійного зростання на ринку.
СТАРТ НАВЧАННЯ — У КВІТНІ 2026 РОКУ