< онлайн-курс > < 24 заняття >
< власний data pipeline: від збору до візуалізації >
< власний data pipeline: від збору до візуалізації >
Основи обробки та аналітики Big Data
Опануйте інструменти обробки великих даних, які шукає ринок — Spark, Databricks, Snowflake, dbt
Денис Кулемза
Senior Data Engineer в Intellias
Курс Big Data для:
Data Analysts
які хочуть опанувати інструменти обробки та аналізу Big Data, щоб працювати з різними джерелами даних, масштабувати аналітику та впливати на бізнес-рішення
Data Engineers
які прагнуть вдосконалити свої пайплайни за допомогою найкращих практик, зменшити витрати на обробку даних, оптимізувати архітектуру та підвищити свою цінність на ринку
Developers
щоб ефективніше працювати з великими даними, покращити продуктивність і масштабування рішень, стати більш конкурентними на ринку праці
Після курсу ви:
- опануєте ключові інструменти для обробки й аналізу великих даних: Spark, Databricks, Snowflake, dbt, Airflow, Kafka, AWS Athena, Power BI
- навчитеся працювати з потоковими даними та автоматизувати процеси за допомогою Kafka та Airflow
- зрозумієте, як інтегрувати інструменти Big Data у бізнес-процеси — щоб скоротити час ухвалення рішень і підвищити продуктивність аналітики
- побудуєте власний data pipeline, що поєднує найкращі практики масштабованої обробки та візуалізації даних
До програми курсу Big Data входять:
01
ІНСТРУМЕНТИ Й ЕКОСИСТЕМА
Опануєте Apache Spark, Databricks, Kafka, Snowflake, dbt, Airflow, AWS Athena, Power BI, щоб проєктувати стабільні системи обробки даних — від збору до візуалізації.
02
DATA PIPELINE ВІД ETL ДО BI
Побудуєте повний цикл обробки даних: збір, трансформація, перевірка якості, збереження та візуалізація.
03
КОНТРОЛЬ ЯКОСТІ ТА ВАЛІДАЦІЯ
Дізнаєтесь, як перевіряти дані на точність, налаштовувати тести в dbt й автоматизувати контроль якості в пайплайнах.
Лектор
Денис Кулемза
Senior Data Engineer в Intellias
5+ років досвіду роботи з Big Data
працював Data Engineer у Grid Dynamics та N-iX
реалізовував дата-рішення для міжнародних компаній: Jabil, Inspire Brands
оптимізував процеси обробки великих даних, будував сховища, створював ETL-процеси
запроваджував Big Data рішення у сферах логістики та виробництва
має сертифікацію з AWS
Програма курсу Big Data
01
30.06.2025 19:00
Основи аналітики великих даних- зрозумієте відмінність між сховищами даних, data lakes і lakehouse-архітектурою
- дізнаєтеся про переваги та недоліки кожного підходу залежно від бізнес-сценарію
- вивчите патерни обробки даних — пакетну й потокову — та їхній вплив на архітектуру пайплайна
02
02.07.2025 19:00
Основи Apache Spark- зрозумієте розподілену модель виконання в Spark
- навчитеся виконувати базові трансформації та дії з DataFrame
- дізнаєтеся, коли краще використовувати DataFrame API, а коли — Spark SQL
03
07.07.2025 19:00
Поглиблене вивчення Spark- дізнаєтеся, як виявляти й усувати проблеми з продуктивністю в Spark
- навчитеся використовувати партиціювання, кешування й broadcast joins для оптимізації
- зрозумієте, як читати Spark UI для покращення виконання завдань і розв’язання проблем зі skew
04
09.07.2025 19:00
Spark на EMR- дізнаєтеся, з чого складається AWS EMR та як працюють його компоненти (Hadoop, Spark, Hive тощо)
- навчитеся налаштовувати EMR-кластери для зручної та масштабованої роботи зі Spark
05
14.07.2025 19:00
Основи Databricks- навчитеся налаштовувати робоче середовище Databricks в AWS
- зрозумієте життєвий цикл кластерів і як оптимізувати витрати
- дізнаєтеся, як підключати Databricks до хмарних сховищ, зокрема ADLS
06
16.07.2025 19:00
Databricks SQL для аналітики- навчитеся писати й виконувати SQL-запити в Databricks
- дізнаєтеся, як використовувати Databricks SQL для BI-аналітики
- зрозумієте, як оптимізувати запити й працювати з продуктивністю
07
21.07.2025 19:00
Реалізація Data Governance на прикладі Unity Catalog- дізнаєтеся, як Unity Catalog централізує управління даними в Databricks
- навчитеся налаштовувати каталоги, схеми та доступи для безпеки даних
- зрозумієте можливості аудиту й відстеження походження даних (data lineage)
08
23.07.2025 19:00
Best-практики роботи з Databricks- дізнаєтеся, як оцінювати й оптимізувати витрати на Databricks
- навчитеся покращувати продуктивність ноутбуків і дотримуватися best practices
- вмітимете швидко знаходити й усувати проблеми з конфігурацією чи продуктивністю
09
28.07.2025 19:00
Основи моделювання даних (data modeling)- зрозумієте відмінність між Star- та Snowflake-схемами
- навчитеся обирати відповідний підхід для моделювання
- вмітимете розробляти базові аналітичні схеми «зірка» та «сніжинка»
10
30.07.2025 19:00
Знайомство зі Snowflake- дізнаєтесь основні принципи роботи Snowflake як хмарного DWH
- навчитеся налаштовувати середовище, створювати таблиці та працювати з Warehouse
- зможете завантажувати дані у Snowflake та виконувати SQL-запити
- зрозумієте ключові переваги Snowflake у порівнянні з іншими сховищами
11
04.08.2025 19:00
Поглиблене вивчення Snowflake- дізнаєтесь, як автоматизувати процеси в Snowflake за допомогою Tasks і Streams
- навчитеся реалізовувати сценарії ELT/ETL безпосередньо у Snowflake
- ознайомитеся зі способами шерингу даних і налаштуванням доступів
- зрозумієте, як використовувати Time Travel та Zero-Copy Cloning у проєктах
12
06.08.2025 19:00
Основи моделювання даних за допомогою dbt- навчитеся організовувати dbt-проєкт за рекомендованою структурою
- розберетесь із синтаксисом Jinja та створенням модульних SQL-шаблонів
- зможете створювати аналітичні моделі у форматі схем зірки або сніжинки за допомогою dbt
13
11.08.2025 19:00
Розширені можливості dbt та якість даних- навчитеся створювати тести й макроси для перевірки якості та цілісності даних
- зможете автоматизувати документацію та оповіщення для прозорості процесів
- розберетесь із розширеним синтаксисом Jinja для скорочення повторюваного коду
14
13.08.2025 19:00
Основи Kafka на прикладі AWS MSK- навчитеся описувати ключові концепції Kafka — topics, partitions, offsets
- зрозумієте, як Kafka забезпечує обробку даних у реальному часі
- зможете інтегрувати Kafka з іншими системами для подієво-орієнтованих архітектур
15
18.08.2025 19:00
Spark Structured Streaming- дізнаєтесь, як реалізувати інкрементну обробку даних у Spark Structured Streaming
- навчитеся працювати з невпорядкованими подіями за допомогою watermarking і windowing
- зможете розгорнути стримінговий конвеєр від Kafka до Delta Lake
16
27.08.2025 19:00
Потокова обробка в AWS за допомогою Kafka та Spark- зрозумієте переваги Kafka та Spark для real-time і stateful-обробки даних
- навчитеся створювати та налаштовувати потоки в AWS через Amazon Kinesis Data Analytics
- зможете реалізувати трансформації потоків: вікна, стани й checkpointing
17
01.09.2025 19:00
Основи NoSQL- дізнаєтеся про моделі NoSQL: key-value, документну та колонкову
- навчитеся проєктувати ключі партицій для масштабованості
- зрозумієте суть CAP-теореми та компроміси між узгодженістю й доступністю
18
03.09.2025 19:00
Serverless-обробка за допомогою AWS Athena- навчитеся здійснювати SQL-запити до даних у дата-озерах
- дізнаєтесь, як Athena масштабується та як оцінити її вартість
- зрозумієте, як партиціювання й зовнішні схеми пришвидшують аналітику
19
08.09.2025 19:00
Основи Airflow та інтеграція з CI/CD- навчитеся створювати DAG в Airflow для автоматизації ETL
- зрозумієте, як керувати розгортанням через Git та CI/CD
- дізнаєтесь, як працювати з розкладами, бекфілами та покращувати надійність
20
10.09.2025 19:00
Інтеграція Airflow із Databricks та dbt- навчитеся керувати завданнями Databricks через Airflow
- зможете запускати dbt-команди й налаштовувати змінні середовища
- дізнаєтесь, як централізувати розклади, логування та обробку помилок
21
15.09.2025 19:00
Основи Power BI- навчитеся підключатися до джерел, трансформувати й візуалізувати дані в Power BI
- дізнаєтесь, у чому відмінності між DirectQuery, Import та Live Connection
22
17.09.2025 19:00
Інтеграція Power BI з Databricks- дізнаєтесь, як підключити Power BI до Databricks Lakehouse для аналітики в реальному часі
- навчитеся налаштовувати розклади оновлення та працювати з потоковими наборами даних
- опануєте захист доступу до даних через AWS IAM
23
22.09.2025 19:00
Q&A-сесія- розберете всі неточності й отримаєте відповіді на запитання, що виникли під час проходження курсу Big Data
24
29.09.2025 19:00
Захист курсового проєкту- реалізуєте та презентуєте data pipeline на базі Lambda-архітектури з використанням Databricks, dbt, Kafka, Snowflake і Power BI
Реєстрація
Реєструйтеся на курс, щоб Big Data почали працювати на вас:
від розв’язання щоденних завдань до професійного зростання на ринку
Реєструйтеся на курс, щоб Big Data почали працювати на вас:
від розв’язання щоденних завдань до професійного зростання на ринку