< онлайн-курс > < 19 занятий >
< 12 інструментів обробки даних >
< 12 інструментів обробки даних >
DATA ENGINEERING
Научитесь обрабатывать большие данные и постройте собственную Data Platform, способную масштабироваться
Илья Хороших
Data Platform Engineer в Lyft
former EPAM, Luxoft
Этот Data Engineering курс для:
DEVELOPERS
которые знают Python, работают с Git, хотят разобраться в архитектуре больших данных, оптимизировать ETL-процессы и SQL-запросы к БД и перейти в Data Engineering
DATA ANALYSTS
которые знают SQL, работают с небольшими объемами данных и хотят расширить стек для работы именно с Big Data, сократить время на подготовку данных к анализу и автоматизировать этот процесс
DATA ENGINEERS (BEGINNERS)
которые уже работают в сфере инженерии данных, но хотят углубить знания, автоматизировать процессы для повышения эффективности и строить надежные, масштабируемые Big Data проекты
После курса Data Engineering вы:
- сформируете целостное видение архитектуры данных и сможете декомпонировать процесс обработки Big Data
- освоите современные подходы и инструменты работы с данными: Hadoop, Apache Airflow, Apache Spark, SparkSQL, Docker, AWS
- научитесь извлекать данные из различных источников, строить ETL/ELT-процессы и настраивать инфраструктуры для их хранения и обработки
- сможете предлагать технические решения, выдерживающие большие объемы данных
- создадите собственную дата-платформу, способную к масштабированию
В программу курса входят:
01
РАСПРЕДЕЛЕННЫЕ ВЫЧИСЛЕНИЯ
Рассмотрите архитектуру современных распределенных систем и изучите готовые решения для дата-инженеров, освоите инструменты для распределенного хранения файлов и вычислений.
02
РАЗБОР ИНСТРУМЕНТОВ
Освоите ключевые инструменты Data Engineer, в частности Apache Airflow для разработки, планирования и мониторинга, Hadoop для обработки и хранения больших данных, Docker для работы с контейнерами, Amazon S3 для взаимодействия с данными в облаке.
03
КЕЙС В ПОРТФОЛИО
На практике научитесь развертывать Big Data кластеры локально и в облачной среде, разработаете пайплайн для анализа в AWS или локально, закрепите все приобретенные навыки и получите фидбек от практика.
Лектор
Илья Хороших
Data Platform Engineer в Lyft
имеет 7+ лет опыта работы с Big Data, 6+ лет — на позиции Data Engineer
работал как на аутсорсе (EPAM, Luxoft, Newxel), так и в продуктовых компаниях (Lyft)
реализовал серию пайплайнов для одного из крупнейших производителей спортивной одежды, которая обрабатывала несколько терабайт данных за 30 минут
участвует в создании решений для обработки Big Data для сервиса, имеющего более 23 млн пользователей
в настоящее время поддерживает набор библиотек и сервисов, контролирующих доступ к данным в Lyft
разрабатывал систему автоматической калибровки ML-пайплайнов для компании, занимающейся email security
руководил миграцией более 150 репозиториев на новую версию внутренней библиотеки для доступа к данным
Программа курса
01
29.10.2025 19:30
Intro в курс Data Engineering- узнаете об истории инженерии данных и Big Data
- выясните, чем занимается Data Engineer, четко осознаете его место в команде и обязанности
- рассмотрите технологии, с которыми будете работать на курсе
- поймете, какие задачи решает конкретная Big Data технология
02
03.11.2025 19:30
Python для Data Engineering- научитесь правильно строить сервис на Python для обработки данных
- приобретете навыки загружать данные из внешних источников с помощью Python
- узнаете, что такое Jupyter Notebook и Pandas, какое назначение этих инструментов в инженерии данных
03
05.11.2025 19:30
SQL для Data Engineering- поймете, для чего используется SQL в Big Data
- рассмотрите базовые операции SQL для обработки больших данных
- научитесь выбирать, объединять, группировать и анализировать данные с помощью SQL-запросов
04
10.11.2025 19:30
Аналитические базы данных- узнаете, какие различия существуют между OLTP- и OLAP-системами
- поймете техническую реализацию СУБД, предназначенных для аналитики
- выясните, как правильно писать SQL-запрос к аналитической БД
05
12.11.2025 19:30
Проектирование хранилищ данных- узнаете, что такое слои данных
- выясните, что такое Data Warehouse (DWH), Data Lake, Data Swamp, Data Lakehouse и Data Mesh и чем они отличаются
- изучите подходы к созданию хранилищ данных
- ознакомитесь с ETL- или ELT-процессами и поймете, какие между ними различия
- разберете, как устроены хранилища данных
- научитесь представлять данные в виде витрин
- рассмотрите принципы построения аналитического слоя DWH: кубы данных и многомерная модель, схема «звезда», схема «снежинка», подходы к проектированию Кимбала и Инмана
- сможете проектировать аналитический слой DWH
06
17.11.2025 19:30
Передача данных между системами: ETL- и ELT-процессы- детально рассмотрите Extract, Transform, Load (ETL) — самый популярный способ обеспечения работы хранилищ больших данных
- узнаете, как реализовывать ETL-решения
- подробно разберете Extract, Load, Transform (ELT) и отличие от ETL
- научитесь передавать данные между системами
- выясните, как извлекать данные из внешних источников, трансформировать и очищать
07
19.11.2025 19:30
Оркестрация процессов обработки данных: Apache Airflow- рассмотрите Apache Airflow как инструмент для создания, запуска и мониторинга ETL-процессов
- запустите Apache Airflow на своем компьютере, а также узнаете, как запустить Apache Airflow в облаке
- узнаете, как создавать пайплайн в Apache Airflow, мониторить выполнение задач, проводить отладку и т. д.
- получите навыки писать свои операторы
- научитесь подключаться к внешним источникам данных с помощью Apache Airflow
08
24.11.2025 19:30
Распределенные вычисления- ознакомитесь с понятием распределенных систем и вычислений
- рассмотрите примеры современных распределенных систем
- узнаете, чем распределенные системы отличаются от обычных, какие задачи они решают и какие готовые решения уже существуют
- поймете, зачем дата-инженеру знать свойства и ограничения распределенных систем в САР-теореме
- выясните, на что стоит обращать внимание при построении распределенных систем и чем можно пожертвовать для решения конкретной задачи
09
26.11.2025 19:30
Экосистема Hadoop для распределенной работы- узнаете, что такое Hadoop и где его применяют
- освоите HDFS для распределенного хранения файлов и MapReduce для распределенных вычислений
- поймете назначение каждой технологии в рамках экосистемы Hadoop
- научитесь пользоваться Hadoop Distributed File System
10
08.12.2025 19:30
Распределенные системы для хранения данных: HDFS, S3 и GCS- разберете файловые, блочные и объектные хранилища данных — их отличия и Use Cases
- научитесь работать с распределенной файловой системой Hadoop
- сможете управлять файлами, загружать, выгружать данные, администрировать кластеры с помощью HDFS
- рассмотрите Amazon S3 и Google Cloud Storage как примеры объектных хранилищ данных
11
10.12.2025 19:30
Big Data архитектуры- разберетесь в различных поколениях архитектур
- поймете, какие проблемы решает каждое поколение архитектуры
- рассмотрите технологии для каждой архитектуры
12
17.12.2025 19:30
Docker- узнаете, что такое контейнеры и зачем они нужны
- поймете, как работают контейнерные технологии Docker и в чем их отличие от Virtual Machines
- научитесь обертывать собственный дистрибутив в Docker
13
15.12.2025 19:30
Распределенные вычисления с помощью Apache Spark- узнаете, какие задачи решает Apache Spark и в чем его отличие от MapReduce
- выясните, как Apache Spark используют для организации больших данных
14
22.12.2025 19:30
Работа со структурированными данными: SparkSQL и PySpark. Part 1- рассмотрите SparkSQL как API Apache Spark
- научитесь выполнять базовые операции и осуществлять трансформации над структурированными данными с помощью SparkSQL
15
12.01.2026 19:30
Работа со структурированными данными: SparkSQL и PySpark. Part 2- узнаете, как выгружать данные из Spark
- научитесь проводить аналитику на структурированных данных в Spark с помощью SQL и PySpark
16
14.01.2026 19:30
Оптимизация выполнения задач в Apache Spark- узнаете, как писать эффективный код и ускорить обработку больших данных в Apache Spark
- рассмотрите способы организации данных в кластере Apache Spark: партицирование данных, репартицирование и кластеризация
- поймете, какие основные проблемы производительности существуют в Spark, научитесь выявлять и устранять их
- сможете писать эффективный код в PySpark
- получите навыки организовывать данные в кластере Apache Spark
17
19.01.2026 19:30
Работа с потоковой обработкой данных в Apache Spark- узнаете, как работать с данными, которые поступают непрерывно
- рассмотрите Spark Streaming как инструмент для работы с потоками данных
- поймете, чем отличается обработка потоковых данных от статических
- научитесь обрабатывать потоки данных с помощью Spark Streaming
18
21.01.2026 19:30
Инструменты AWS для инженерии данных. Part 1- разберете Redshift как аналитическую DWH для сверхбольших данных
- рассмотрите профессиональные инструменты аналитики и визуализации: S3, ECS, EKS, AWS Lambda
- ознакомитесь с инструментами AWS для инженерии данных
- научитесь работать с S3 и контейнерными средами выполнения
19
04.02.2026 19:30
Инструменты AWS для инженерии данных. Part 2- рассмотрите такие инструменты, как Amazon MWAA, Kinesis, AWS EMR, AWS Glue, AWS Glue Data Catalog, AWS Athena
- узнаете, как выполнить ad-hoc запрос к S3-объектам в AWS Athena
- поймете, какие шаги нужно выполнить, чтобы получить AWS-сертификации
Регистрация
Подключайтесь к обучению, чтобы освоить 12 ключевых инструментов Data Engineer
Подключайтесь к обучению, чтобы освоить 12 ключевых инструментов Data Engineer