< онлайн-курс > < 24 занятия >
< собственный data pipeline: от сбора до визуализации >
< собственный data pipeline: от сбора до визуализации >
Основы обработки и аналитики Big Data
Освойте инструменты обработки больших данных, которые ищет рынок — Spark, Databricks, Snowflake, dbt
Денис Кулемза
Senior Data Engineer в Intellias
Курс Big Data для:
Data Analysts
которые хотят овладеть инструментами обработки Big Data, чтобы работать с различными источниками данных, масштабировать аналитику и влиять на бизнес-решения
Data Engineers
которые стремятся усовершенствовать свои пайплайны с помощью лучших практик, уменьшить затраты на обработку данных, оптимизировать архитектуру и повысить свою ценность на рынке
Developers
чтобы более эффективно работать с большими данными, улучшить производительность и масштабируемость решений, стать более конкурентными на рынке труда
После курса вы:
- освоите ключевые инструменты для обработки и анализа больших данных: Spark, Databricks, Snowflake, dbt, Airflow, Kafka, AWS Athena, Power BI
- научитесь работать с потоковыми данными и автоматизировать процессы с помощью Kafka и Airflow
- поймете, как интегрировать инструменты Big Data в бизнес-процессы — чтобы сократить время принятия решений и повысить производительность аналитики
- построите собственный data pipeline, сочетающий лучшие практики масштабируемой обработки и визуализации данных
В программу курса Big Data входят:
01
ИНСТРУМЕНТЫ И ЭКОСИСТЕМА
Освоите Apache Spark, Databricks, Kafka, Snowflake, dbt, Airflow, AWS Athena, Power BI, чтобы проектировать стабильные системы обработки данных — от сбора до визуализации.
02
DATA PIPELINE ОТ ETL ДО BI
Построите полный цикл обработки данных: сбор, трансформация, проверка качества, сохранение и визуализация.
03
КОНТРОЛЬ КАЧЕСТВА И ВАЛИДАЦИЯ
Узнаете, как проверять данные на точность, настраивать тесты в dbt и автоматизировать контроль качества в пайплайнах.
Лектор
Денис Кулемза
Senior Data Engineer в Intellias
5+ лет опыта работы с Big Data
работал Data Engineer в Grid Dynamics и N-iX
реализовывал дата-решения для международных компаний: Jabil, Inspire Brands
оптимизировал процессы обработки больших данных, строил хранилища, создавал ETL-процессы
внедрял Big Data решения в сферах логистики и производства
имеет сертификацию по AWS
Программа курса Big Data
01
30.06.2025 19:00
Основы аналитики больших данных- поймете разницу между хранилищами данных, data lakes и lakehouse-архитектурой
- узнаете о преимуществах и недостатках каждого подхода в зависимости от бизнес-сценария
- изучите паттерны обработки данных — пакетную и потоковую — и их влияние на архитектуру пайплайна
02
02.07.2025 19:00
Основы Apache Spark- поймете распределенную модель выполнения в Spark
- научитесь выполнять базовые трансформации и действия с DataFrame
- узнаете, когда лучше использовать DataFrame API, а когда — Spark SQL
03
07.07.2025 19:00
Углубленное изучение Spark - узнаете, как выявлять и устранять проблемы с производительностью в Spark
- научитесь использовать партицирование, кэширование и broadcast joins для оптимизации
- поймете, как читать Spark UI для улучшения выполнения задач и решения проблем со skew
04
09.07.2025 19:00
Spark на EMR- узнаете, из чего состоит AWS EMR и как работают его компоненты (Hadoop, Spark, Hive и т. д.)
- научитесь настраивать EMR-кластеры для удобной и масштабируемой работы со Spark
05
14.07.2025 19:00
Основы Databricks- научитесь настраивать рабочую среду Databricks в AWS
- поймете жизненный цикл кластеров и как оптимизировать расходы
- узнаете, как подключать Databricks к облачным хранилищам, в частности ADLS
06
16.07.2025 19:00
Databricks SQL для аналитики- научитесь писать и выполнять SQL-запросы в Databricks
- узнаете, как использовать Databricks SQL для BI-аналитики
- поймете, как оптимизировать запросы и работать с производительностью
07
21.07.2025 19:00
Реализация Data Governance на примере Unity Catalog- узнаете, как Unity Catalog централизует управление данными в Databricks
- научитесь настраивать каталоги, схемы и доступы для безопасности данных
- поймете возможности аудита и отслеживания происхождения данных (data lineage)
08
23.07.2025 19:00
Best-практики работы с Databricks- узнаете, как оценивать и оптимизировать расходы на Databricks
- научитесь улучшать производительность ноутбуков и придерживаться best practices
- сможете быстро находить и устранять проблемы с конфигурацией или производительностью
09
28.07.2025 19:00
Основы моделирования данных (data modeling)- поймете разницу между Star- и Snowflake-схемами
- научитесь выбирать соответствующий подход для моделирования
- будете уметь разрабатывать базовые аналитические схемы «звезда» и «снежинка»
10
30.07.2025 19:00
Знакомство со Snowflake- узнаете основные принципы работы Snowflake как облачного DWH
- научитесь настраивать среду, создавать таблицы и работать с Warehouse
- сможете загружать данные в Snowflake и выполнять SQL-запросы
- поймете ключевые преимущества Snowflake по сравнению с другими хранилищами
11
04.08.2025 19:00
Углубленное изучение Snowflake- узнаете, как автоматизировать процессы в Snowflake с помощью Tasks и Streams
- научитесь реализовывать сценарии ELT/ETL непосредственно в Snowflake
- ознакомитесь со способами шеринга данных и настройкой доступов
- поймете, как использовать Time Travel и Zero-Copy Cloning в проектах
12
06.08.2025 19:00
Основы моделирования данных с помощью dbt- научитесь организовывать dbt-проект по рекомендованной структуре
- разберетесь с синтаксисом Jinja и созданием модульных SQL-шаблонов
- сможете создавать аналитические модели в формате схем звезды или снежинки с помощью dbt
13
11.08.2025 19:00
Расширенные возможности dbt и качество данных- научитесь создавать тесты и макросы для проверки качества и целостности данных
- сможете автоматизировать документацию и оповещения для прозрачности процессов
- разберетесь с расширенным синтаксисом Jinja для сокращения повторяющегося кода
14
13.08.2025 19:00
Основы Kafka на примере AWS MSK- научитесь описывать ключевые концепции Kafka — topics, partitions, offsets
- поймете, как Kafka обеспечивает обработку данных в реальном времени
- сможете интегрировать Kafka с другими системами для событийно-ориентированных архитектур
15
18.08.2025 19:00
Spark Structured Streaming- узнаете, как реализовать инкрементную обработку данных в Spark Structured Streaming
- научитесь работать с неупорядоченными событиями с помощью watermarking и windowing
- сможете развернуть стриминговый конвейер от Kafka до Delta Lake
16
27.08.2025 19:00
Потоковая обработка в AWS с помощью Kafka и Spark- поймете преимущества Kafka и Spark для real-time и stateful-обработки данных
- научитесь создавать и настраивать потоки в AWS через Amazon Kinesis Data Analytics
- сможете реализовать трансформации потоков: окна, состояния и checkpointing
17
01.09.2025 19:00
Основы NoSQL- узнаете о моделях NoSQL: key-value, документную и колонковую
- научитесь проектировать ключи партиций для масштабируемости
- поймете суть CAP-теоремы и компромиссы между согласованностью и доступностью
18
03.09.2025 19:00
Serverless-обработка с помощью AWS Athena- научитесь осуществлять SQL-запросы к данным в дата-озерах
- узнаете, как Athena масштабируется и как оценить ее стоимость
- поймете, как партицирование и внешние схемы ускоряют аналитику
19
08.09.2025 19:00
Основы Airflow и интеграция с CI/CD- научитесь создавать DAG в Airflow для автоматизации ETL
- поймете, как управлять развертыванием через Git и CI/CD
- узнаете, как работать с расписаниями, бэкфилами и улучшать надежность
20
10.09.2025 19:00
Интеграция Airflow с Databricks и dbt- научитесь управлять задачами Databricks через Airflow
- сможете запускать dbt-команды и настраивать переменные среды
- узнаете, как централизовать расписания, логирование и обработку ошибок
21
15.09.2025 19:00
Основы Power BI- научитесь подключаться к источникам, трансформировать и визуализировать данные в Power BI
- узнаете, в чем различия между DirectQuery, Import и Live Connection
22
17.09.2025 19:00
Интеграция Power BI с Databricks- узнаете, как подключить Power BI к Databricks Lakehouse для аналитики в реальном времени
- научитесь настраивать расписания обновления и работать с потоковыми наборами данных
- освоите защиту доступа к данным через AWS IAM
23
22.09.2025 19:00
Q&A-сессия- разберете все неточности и получите ответы на вопросы, возникшие во время прохождения курса Big Data
24
29.09.2025 19:00
Защита курсового проекта- реализуете и представите data pipeline на базе Lambda-архитектуры с использованием Databricks, dbt, Kafka, Snowflake и Power BI
Регистрация
Регистрируйтесь на курс, чтобы Big Data начали работать на вас: от решения повседневных задач до профессионального роста на рынке
Регистрируйтесь на курс, чтобы Big Data начали работать на вас: от решения повседневных задач до профессионального роста на рынке