Курс Big Data: навчання з обробки та аналітики даних | robot_dreams
  • онлайн-курс
  • 24 заняття
  • власний data pipeline

Big Data: обробка та аналітика

Опануйте Spark, Databricks, Kafka, dbt та Airflow, щоб перетворювати великі дані на дієві рішення.

Олег Іванов

Data Analytics Architect в

REW Technology

Курс Big Data для:

01

Data Engineers

які хочуть будувати ефективніші пайплайни зі Spark, Kafka та dbt, шукають стабільніші флоу та можливості кращої оркестрації через Airflow

02

Data Analysts

які хочуть зрозуміти, який вигляд мають дані за лаштунками: від потоків до моделювання, а також хочуть отримати більше контролю над даними, з якими працюють

03

Developers

які хочуть перейти в data-напрям, прокачати роботу з логами, подіями, схемами та краще розуміти архітектуру сучасних data-пайплайнів

 

Після курсу ви:

  • навчитеся налаштовувати середовище у Snowflake, зможете реалізовувати ELT/ETL-сценарії

  • будете автоматизувати процеси за допомогою Kafka та Airflow

  • зрозумієте, як інтегрувати інструменти Big Data у бізнес-процеси

  • застосовуватимете найкращі практики роботи з Big Data на основі реальних кейсів

До програми курсу Big Data входять:

  • 01

    ІНСТРУМЕНТИ Й ЕКОСИСТЕМА

    Опануєте Apache Spark, Databricks, Kafka, Snowflake, dbt, Airflow, AWS Athena, Power BI, щоб проєктувати стабільні системи обробки даних — від збору до візуалізації.

  • 02

    DATA PIPELINE ВІД ETL ДО BI

    Побудуєте повний цикл обробки даних: збір, трансформація, перевірка якості, збереження та візуалізація.

  • 03

    КОНТРОЛЬ ЯКОСТІ ТА ВАЛІДАЦІЯ

    Дізнаєтесь, як перевіряти дані на точність, налаштовувати тести в dbt й автоматизувати контроль якості в пайплайнах.

лектор

Олег Іванов

Data Analytics Architect у REW Technology

  • 15+ років досвіду роботи з Big Data

  • 5+ років досвіду співпраці з 5 провідними інвестиційними банками

  • Запроваджував Big Data рішення у сфері фінансів, зовнішнього управління, медицини й транспорту

  • Працював у таких компаніях, як N-iX, GlobalLogic та SoftServe

  • Розробляв архітектуру рішень на базі Google Cloud, AWS та Azure, будував сховища даних і створював ETL-процеси

  • Має практичний досвід міграції екосистем з Azure Data Factory на Microsoft Fabric та побудови пайплайнів у Synapse

Програма

  • 01 заняття
    07.04.2026 19:00

    Основи аналітики великих даних

    • зрозумієте відмінність між сховищами даних, data lakes і lakehouse-архітектурою
    • дізнаєтеся про переваги та недоліки кожного підходу залежно від бізнес-сценарію
    • вивчите патерни обробки даних — пакетну й потокову — та їхній вплив на архітектуру пайплайна
  • 02 заняття
    09.04.2026 19:00

    Основи Apache Spark

    • зрозумієте розподілену модель виконання в Spark
    • навчитеся виконувати базові трансформації та дії з DataFrame
    • дізнаєтеся, коли краще використовувати DataFrame API, а коли — Spark SQL
  • 03 заняття
    14.04.2026 19:00

    Поглиблене вивчення Spark

    • дізнаєтеся, як виявляти й усувати проблеми з продуктивністю в Spark
    • навчитеся використовувати партиціювання, кешування й broadcast joins для оптимізації
    • зрозумієте, як читати Spark UI для покращення виконання завдань і розв’язання проблем зі skew
  • 04 заняття
    16.04.2026 19:00

    Spark на EMR

    • дізнаєтеся, з чого складається AWS EMR та як працюють його компоненти (Hadoop, Spark, Hive тощо)
    • навчитеся налаштовувати EMR-кластери для зручної та масштабованої роботи зі Spark
  • 05 заняття
    21.04.2026 19:00

    Основи Databricks

    • навчитеся налаштовувати робоче середовище Databricks в AWS
    • зрозумієте життєвий цикл кластерів і як оптимізувати витрати
    • дізнаєтеся, як підключати Databricks до хмарних сховищ, зокрема ADLS
  • 06 заняття
    23.04.2026 19:00

    Databricks SQL для аналітики

    • навчитеся писати й виконувати SQL-запити в Databricks
    • дізнаєтеся, як використовувати Databricks SQL для BI-аналітики
    • зрозумієте, як оптимізувати запити й працювати з продуктивністю
  • 07 заняття
    28.04.2026 19:00

    Реалізація Data Governance на прикладі Unity Catalog

    • дізнаєтеся, як Unity Catalog централізує управління даними в Databricks
    • навчитеся налаштовувати каталоги, схеми та доступи для безпеки даних
    • зрозумієте можливості аудиту й відстеження походження даних (data lineage)
  • 08 заняття
    30.04.2026 19:00

    Best-практики роботи з Databricks

    • дізнаєтеся, як оцінювати й оптимізувати витрати на Databricks
    • навчитеся покращувати продуктивність ноутбуків і дотримуватися best practices
    • вмітимете швидко знаходити й усувати проблеми з конфігурацією чи продуктивністю
  • 09 заняття
    05.05.2026 19:00

    Основи моделювання даних (data modeling)

    • зрозумієте відмінність між Star- та Snowflake-схемами
    • навчитеся обирати відповідний підхід для моделювання
    • вмітимете розробляти базові аналітичні схеми «зірка» та «сніжинка»
  • 10 заняття
    07.05.2026 19:00

    Знайомство зі Snowflake

    • дізнаєтесь основні принципи роботи Snowflake як хмарного DWH
    • навчитеся налаштовувати середовище, створювати таблиці та працювати з Warehouse
    • зможете завантажувати дані у Snowflake та виконувати SQL-запити
    • зрозумієте ключові переваги Snowflake у порівнянні з іншими сховищами
  • 11 заняття
    12.05.2026 19:00

    Поглиблене вивчення Snowflake

    • дізнаєтесь, як автоматизувати процеси в Snowflake за допомогою Tasks і Streams
    • навчитеся реалізовувати сценарії ELT/ETL безпосередньо у Snowflake
    • ознайомитеся зі способами шерингу даних і налаштуванням доступів
    • зрозумієте, як використовувати Time Travel та Zero-Copy Cloning у проєктах
  • 12 заняття
    14.05.2026 19:00

    Основи моделювання даних за допомогою dbt

    • навчитеся організовувати dbt-проєкт за рекомендованою структурою
    • розберетесь із синтаксисом Jinja та створенням модульних SQL-шаблонів
    • зможете створювати аналітичні моделі у форматі схем зірки або сніжинки за допомогою dbt
  • 13 заняття
    19.05.2026 19:00

    Розширені можливості dbt та якість даних

    • навчитеся створювати тести й макроси для перевірки якості та цілісності даних
    • зможете автоматизувати документацію та оповіщення для прозорості процесів
    • розберетесь із розширеним синтаксисом Jinja для скорочення повторюваного коду
  • 14 заняття
    21.05.2026 19:00

    Основи Kafka на прикладі AWS MSK

    • навчитеся описувати ключові концепції Kafka — topics, partitions, offsets
    • зрозумієте, як Kafka забезпечує обробку даних у реальному часі
    • зможете інтегрувати Kafka з іншими системами для подієво-орієнтованих архітектур
  • 15 заняття
    26.05.2026 19:00

    Spark Structured Streaming

    • дізнаєтесь, як реалізувати інкрементну обробку даних у Spark Structured Streaming
    • навчитеся працювати з невпорядкованими подіями за допомогою watermarking і windowin
    • зможете розгорнути стримінговий конвеєр від Kafka до Delta Lake
  • 16 заняття
    02.06.2026 19:00

    Потокова обробка в AWS за допомогою Kafka та Spark

    • зрозумієте переваги Kafka та Spark для real-time і stateful-обробки даних
    • навчитеся створювати та налаштовувати потоки в AWS через Amazon Kinesis Data Analytics
    • зможете реалізувати трансформації потоків: вікна, стани й checkpointing
  • 17 заняття
    04.06.2026 19:00

    Основи NoSQL

    • дізнаєтеся про моделі NoSQL: key-value, документну та колонкову
    • навчитеся проєктувати ключі партицій для масштабованості
    • зрозумієте суть CAP-теореми та компроміси між узгодженістю й доступністю
  • 18 заняття
    09.06.2026 19:00

    Serverless-обробка за допомогою AWS Athena

    • навчитеся здійснювати SQL-запити до даних у дата-озерах
    • дізнаєтесь, як Athena масштабується та як оцінити її вартість
    • зрозумієте, як партиціювання й зовнішні схеми пришвидшують аналітику
  • 19 заняття
    11.06.2026 19:00

    Основи Airflow та інтеграція з CI/CD

    • навчитеся створювати DAG в Airflow для автоматизації ETL
    • зрозумієте, як керувати розгортанням через Git та CI/CD
    • дізнаєтесь, як працювати з розкладами, бекфілами та покращувати надійність
  • 20 заняття
    16.06.2026 19:00

    Інтеграція Airflow із Databricks та dbt

    • навчитеся керувати завданнями Databricks через Airflow
    • зможете запускати dbt-команди й налаштовувати змінні середовища
    • дізнаєтесь, як централізувати розклади, логування та обробку помилок
  • 21 заняття
    18.06.2026 19:00

    Основи Power BI

    • навчитеся підключатися до джерел, трансформувати й візуалізувати дані в Power BI
    • дізнаєтесь, у чому відмінності між DirectQuery, Import та Live Connection
  • 22 заняття
    23.06.2026 19:00

    Інтеграція Power BI з Databricks

    • дізнаєтесь, як підключити Power BI до Databricks Lakehouse для аналітики в реальному часі
    • навчитеся налаштовувати розклади оновлення та працювати з потоковими наборами даних
    • опануєте захист доступу до даних через AWS IAM
  • 23 заняття
    25.06.2026 19:00

    Q&A-сесія

    • розберете всі неточності й отримаєте відповіді на запитання, що виникли під час проходження курсу Big Data
  • 24 заняття
    30.06.2026 19:00

    Захист курсового проєкту

    • реалізуєте та презентуєте data pipeline на базі Lambda-архітектури з використанням Databricks, dbt, Kafka, Snowflake і Power BI

реєстрація

Реєструйтеся на курс, щоб Big Data почали працювати на вас: від розв'язання щоденних завдань до професійного зростання на ринку.

 
 
 
Реєструючись, ви погоджуєтеся з умовами договору-оферти та політикою конфіденційності.