r_d
Зарегистрироваться Your place to grow
< онлайн-курс > < 18 занятий > < курсовой проект >
DATA ENGINEERING
Постройте собственную систему для обработки данных.
Денис Кулемза
Big Data Engineer в Intellias
ex Grid Dynamics і N-iX
В программу курса входят
ТЕОРИЯ
Разберете существующие решения обработки Big Data, узнаете, что учитывать при разработке системы и как не паниковать, если требования изменяются.
ИНСТРУМЕНТЫ
Разберетесь в интерфейсе и научитесь воспользоваться Hadoop, Apache Airflow, Apache Spark, SparkSQL, HDFS.
ПРОЕКТ
Зарегистрироваться Построите два пайплайна данных для анализа продаж в Google Cloud или PySpark и добавите кейс в свое портфолио.
На курсе вы:
- научитесь искать корректные данные в массивах, используя знания Python и SQL;
- узнаете, как настраивать ETL-процессы и передавать информацию между системами;
- будете запускать автоматическое обновление дата-пайплайнов и научитесь строить Big Data Platforms, которые способны масштабироваться;
- овладеете 6 ключевыми инструментами инженера данных и сможете передавать корректные показатели для принятия эффективных бизнес-решений;
- разработайте два пайплайна данных для анализа продаж как курсовой проект.
Лектор
Денис Кулемза
Big Data Engineer в Intellias
4+ года опыта работы с Big Data, в частности с такими технологиями, как Python, SQL, Spark, AWS, Snowflake, Airflow и Hadoop
работал с крупными международными заказчиками типа Jabil и Inspire Brands
занимался оптимизацией процессов обработки больших данных, построением хранилищ данных и созданием ETL-процессов
разрабатывал решения в сфере логистики и производства
Программа курса
01
четверг 19.09.2024
Введение в Data Engineering- Выясните все, что хотели знать о профессии Data Engineer: цели, направления, задачи, обязанности и функции в команде.
- Узнаете историю инженерии данных и Big Data.
- Разберете отличия между Data Engineer и Big Data Engineer.
- Получите обзор инструментов для работы с Big Data: базы данных, Hadoop Stack, брокеры сообщений, облачные решения.
- Ознакомитесь с технологиями, с которыми будете работать во время курса.
02
понедельник 23.09.2024
Python для Data Engineering- Научитесь правильно строить сервис на Python для обработки данных.
- Узнаете, какие источники данных бывают.
- Научитесь правильно работать с API источников данных.
- Научитесь работать в Jupyter Notebook и разберетесь с библиотекой Pandas.
03
четверг 26.09.2024
SQL для Data Engineering- Узнаете, для чего используют SQL в Big Data.
- Научитесь объединять наборы данных с помощью SQL: JOIN, UNION, EXCEPT.
- Начнете использовать SQL для аналитических запросов: аналитические функции, группирование данных, оконные функции.
- Поймете, как оптимально написать SQL-запрос.
04
понедельник 30.09.2024
Аналитические базы данных- Выявите разницу между системами OLTP и OLAP.
- Поймете техническую реализацию баз данных для OLTP и OLAP на примере PostgreSQL и Google BigQuery.
- Узнаете, как правильно писать SQL-запросы для транзакционных и аналитических баз данных, и разберете самые распространенные ошибки при построении SQL-запроса.
05
четверг 03.10.2024
Проектирование хранилищ данных- Узнаете о назначении хранилищ данных и подходах к их проектированию.
- Узнаете, что такое Data Warehouse (DWH), Data Lake (DL) и Data Swamp (DS).
- Поймете, как можно проектировать аналитический слой DWH.
- Рассмотрите подходы к проектированию Кимбала и Инмана.
- Узнаете, что такое витрины данных, и научитесь представлять данные в виде витрин.
- Разберете примеры имеющихся хранилищ данных.
06
понедельник 07.10.2024
Передача данных между системами: ETL- и ELT-процессы- Узнаете, почему ETL — самый популярный способ обеспечения работы хранилищ данных.
- Поймете, как пересылаются данные между системами.
- Научитесь получать данные из внешних источников, трансформировать и очищать их.
- Научитесь создавать, запускать и мониторить процессы ETL.
- Разберете особенности разных форматов файлов: CSV, JSON, JSONLine, Avro, Parquet, ORC.
07
четверг 10.10.2024
Оркестрация процессов обработки данных в Apache Airflow- Получите подробный обзор Apache Airflow для управления процессами ETL.
- Изучите Directed Acyclic Graph (направленный ациклический граф) для описания пайплайнов.
- Просмотрите самые популярные операторы в Apache Airflow и научитесь писать свои.
- Узнаете, что такое хуки, провайдеры и переменные.
- Получите best practices для работы с Apache Airflow.
08
понедельник 14.10.2024
Распределенные вычисления- Разберетесь с понятием распределенных систем и вычислений.
- Узнаете, какие задачи они решают и какие готовые решения уже есть.
- Выявите отличия распределенных систем от обычных, рассмотрите их преимущества и недостатки.
- Разберетесь в САР-теореме.
- Узнаете, на что следует обратить внимание на протяжении построения распределенных систем и чем можно пожертвовать при решении конкретной задачи.
09
четверг 17.10.2024
Экосистема Hadoop для распределенной работы с файлами- Научитесь пользоваться экосистемой Hadoop.
- Узнаете, в чем предназначение каждой технологии в рамках экосистемы Hadoop.
- Изучите альтернативы Hadoop.
- Начнете использовать Hadoop Distributed File System.
10
понедельник 21.10.2024
Распределенные файловые системы: HDFS, S3 и GCS- Изучите внутреннюю архитектуру HDFS и особенности ее реализации.
- Научитесь работать с HDFS: управлять файлами, загружать и скачивать данные.
- Научитесь работать с Amazon S3 и Google Cloud Storage.
11
четверг 24.10.2024
BigData-архитектуры- Ознакомитесь с тремя поколениями архитектуры Big Data и узнаете, зачем они нужны.
- Разберетесь, какие технологии имеют и какие проблемы решают разные поколения архитектур.
12
понедельник 28.10.2024
Распределенные вычисления с помощью Apache Spark- Получите обзор технологии Apache Spark и узнаете, какие задачи она решает. Выявите ее отличия от MapReduce.
- Поймете, почему Apache Spark стала флагманской технологией в мире BigData.
- Научитесь использовать Apache Spark для создания больших данных.
- Изучите варианты использования Apache Spark: способы организации данных RDD, Data Frame и Dataset ― и узнаете, в каких случаях и с какими данными используют каждый из этих подходов.
13
четверг 31.10.2024
Работа со структурированными данными с помощью SparkSQL. Part 1- Начнете знакомство со SparkSQL ― одним из синтаксисов Apache Spark.
- Научитесь скачивать данные в Spark.
- Изучите работу Spark с внешними источниками данных.
- Разберетесь в базовых операциях Spark DataFrame для трансформации структурированных данных.
14
понедельник 04.11.2024
Работа со структурированными данными с помощью SparkSQL. Part 2- Узнаете, как выгружать данные из Spark.
- Научитесь проводить аналитику на структурированных данных в Spark.
15
четверг 07.11.2024
Оптимизация выполнения задач в Apache Spark- Поймете, как написать эффективный код и ускорить обработку больших данных в Apache Spark.
- Научитесь выявлять основные проблемы производительности Spark, устраните их.
- Организуете данные в кластере Apache Spark.
16
понедельник 11.11.2024
Потоки данных Apache Spark- Поймете, чем отличается обработка поточных данных от статических.
- Научитесь обрабатывать потоки данных с помощью Spark Streaming.
- Разберете пример программы анализа поточных данных.
17
четверг 14.11.2024
Обзор инструментов Google Cloud для инженерии данных. Part 1- Ознакомитесь с BigQuery — аналитической распределенной базой для сотен Пбайт данных.
- Получите обзор профессиональных инструментов аналитики и визуализации Data Studio и Looker.
- Узнаете, как работать с Google Storage (GCS).
- Разберетесь в контейнерных средах выполнения: GKE и современные безоперационные среды Cloud Functions и Cloud Run.
18
понедельник 18.11.2024
Обзор инструментов Google Cloud для инженерии данных. Part 2- Получите обзор Google Composer.
- Узнаете, как работать с децентрализованной бессерверной системой обмена сообщениями PubSub.
- Ознакомитесь с Dataflow.
- Рассмотрите облачные решения Hadoop от Google: DataProc и DataProc Batches.
Регистрация
Оставляйте заявку и растите в работе с большими данными.