DATA ENGINEERING
Опануйте трендову професію Data Engineer та працюйте з великими даними, штучним інтелектом і машинним навчанням.
Ілля Хороших
Data Platform Engineer у Lyft
former EPAM, Luxoft
Цей Data Engineering курс для:
-
DEVELOPERS
які знають Python, працюють з Git, хочуть розібратися в архітектурі великих даних, оптимізувати ETL-процеси та SQL-запити до БД і перейти в Data Engineering
-
DATA ANALYSTS
які знають SQL, працюють із невеликими обсягами даних та хочуть розширити стек для роботи саме з Big Data, скоротити час на підготовку даних до аналізу та автоматизувати цей процес
-
DATA ENGINEERS (BEGINNERS)
які вже працюють у сфері інженерії даних, але хочуть поглибити знання, автоматизувати процеси для підвищення ефективності й будувати надійні, масштабовані Big Data проєкти
До програми курсу входять:
-
РОЗБІР ІНСТРУМЕНТІВ
Опануєте ключові інструменти Data Engineer, зокрема Apache Airflow для розробки, планування та моніторингу, Hadoop — для обробки та збереження великих даних, Docker — для роботи з контейнерами, а Amazon S3 — для взаємодії з даними у хмарі.
-
РОЗПОДІЛЕНІ ОБЧИСЛЕННЯ
Розглянете архітектуру сучасних розподілених систем і вивчите готові рішення для дата-інженерів, опануєте інструменти для розподіленого зберігання файлів та обчислень.
-
КЕЙС У ПОРТФОЛІО
На практиці навчитеся розгортати Big Data кластери локально та у хмарному середовищі, розробите пайплайн для аналізу в AWS або локально, закріпите всі набуті навички та отримаєте фідбек від практика.
лектор
Ілля Хороших
Data Platform Engineer у Lyft, 7+ років досвіду з BigData, 6+ досвіду як Data Engineer
-
працював як на аутсорсі (EPAM, Luxoft, Newxel), так і в продуктових компаніях (Lyft)
-
реалізував серію пайплайнів для одного з найбільших виробників спортивного одягу, яка обробляла декілька терабайтів даних за 30 хвилин
-
бере участь у створенні рішень для обробки Big Data для сервісу, що має понад 23 млн користувачів
-
розробляв систему автоматичного калібрування ML-пайплайнів для компанії, що займається email security
Програма
-
01 заняття
Знайомство з Computer Vision
- Ознайомитеся з завданнями, які допомагає розв’язати Computer Vision
- Отримаєте загальну інформацію про те, як працює зорова система
- Дізнаєтесь, які є колірні простори
- Встановите бібліотеки NymPy, Matplotlib та OpenCV
- Навчитеся виконувати прості операції за допомогою цих бібліотек
-
02 заняття
Піксельні операції
- Дізнаєтеся, що таке операції на рівні пікселів, і навчитеся читати гістограми
- Створите найпростішу програму обробки цифрових зображень — наприклад, програму балансу білого кольору
-
03 заняття
Лінійна фільтрація
- Вивчите принцип роботи згортки
- Навчитеся імплементувати фільтрацію та маніпулювати зображенням, використовуючи різні типи фільтрації
-
04 заняття
Фільтри виділення кордонів
- Дізнаєтеся, в чому сенс градієнтів зображень
- Навчитеся імплементувати фільтри виділення меж
- Опануєте алгоритм виділення контурів та фільтри в Canny
-
05 заняття
Кодування та компресія зображень
- Вивчите відмінність між форматами зображень [raw, png, jpeg]
- Розберете різницю між форматами H264 та H265
- Дізнаєтеся, як працює стиснення із втратами, і навчитеся працювати з зображеннями в перетвореній формі
- Спробуєте покращити якість зображення за допомогою інтелектуального квантування
-
06 заняття
Image features [візуальні ознаки]
- Дізнаєтеся, що таке візуальні ознаки, та ознайомитеся з типовими завданнями, які можна розв'язати з їхньою допомогою
- З’ясуєте, як виділяти кути за допомогою детектора Гарріса
- Розберете алгоритми виявлення та опису ознак
- Навчитеся застосовувати масштабно-інваріантну трансформацію ознак (SIFT)
-
07 заняття
Image matching [відповідність зображень]
- Ознайомитеся з завданнями, які розв'язує image matching
- Вивчите принцип афінного перетворення та однорідних координат
- Навчитеся використовувати гомографію для зображень
- Розробите ректифікатор фотографій документів
-
08 заняття
Machine Learning [машинне навчання]
- Ознайомитеся з основними принципами роботи з моделями даних
- Розберете відмінність між класичною обробкою даних та машинним навчанням
- Навчитеся будувати прості моделі з нуля та проводити їхню оптимізацію
- Визначите, чим відрізняються Machine Learning та Deep Learning
-
09 заняття
Детекція облич
- Визначите, чим візуальні ознаки для детекції осіб відрізняються від інших об’єктів
- Ознайомитеся з методом детекції Віоли-Джонса та методом бустингу
- Навчитеся працювати з зображеннями, які містять обличчя, та здійснювати детекцію за допомогою OpenCV
-
10 заняття
Трекінг
- Вивчите основи роботи трекінгу та принципи взаємодії з цифровим відео
- Розберете відмінності між трекінгом та детекцією на практиці, реалізовуючи реальне робоче завдання
-
11 заняття
Q&A-сесія
- Поставите запитання лектору
- Розберете найскладніші кейси повторно
-
12 заняття
Нейронні мережі: part 1
- Вивчите принципи роботи нейронних мереж
- Отримаєте overview відкритих бібліотек TensorFlow та Keras
- Навчитеся будувати й тренувати прості нейронні мережі
- Спробуєте покращити модель нейронної мережі для класичної проблеми house pricing
-
13 заняття
Нейронні мережі: part 2
- Дізнаєтеся, як прискорити тренування нейронних мереж у кілька разів за допомогою GPU, та розберете інші переваги графічного процесора
- Ознайомитеся з хмарним сервісом Google Colaboratory та навчитеся будувати й тренувати моделі в ньому
- З’ясуєте, навіщо проводити інспекцію баз даних
-
14 заняття
Згорткові нейронні мережі: part 1
- Розберете принципи роботи згорткових нейронних мереж
- Вивчите операції згортки та пулінгу
- Навчитеся будувати й тренувати згорткові нейронні мережі
-
15 заняття
Згорткові нейронні мережі: part 2
- Ознайомитеся з проблемою перенавчання [overfitting]
- Навчитеся розпізнавати проблеми в процесі навчання та застосовувати data augmentation у процесі тренування
-
16 заняття
Згорткові нейронні мережі: part 3
- Навчитеся розв’язувати задачу сегментації цифрових зображень
- Розберете принцип bottleneck
- Побудуєте простий автоматичний енкодер для очищення зображень від шуму
-
17 заняття
Воркшоп: Computer Vision training. Нейромережі
- Навчитеся будувати, тренувати й покращувати нейромережі на практиці
-
18 заняття
Детекція об’єктів
- Розберете концепт детекції та bounding box
- Навчитеся розпізнавати об’єкти в режимі реального часу, використовуючи принцип YOLO [You Only Look Once]
- Ознайомитеся з алгоритмом NMS [Non-Maximum Suppression] та іншими архітектурами мереж для розпізнавання об’єктів [SSD, TinyYOLO, SqueezeDet]
- Застосуєте YOLO, щоб розпізнати об’єкти на власному відео
-
19 заняття
Згорткові нейронні мережі: що далі?
- Ознайомитеся з популярними моделями згорткових нейронних мереж
- Вивчите процес fine tuning та навчитеся працювати з model zoo
- Дізнаєтеся, які проблеми виникають під час тренування згорткових нейронних мереж
- Отримаєте рецепт успішного розв’язання проблем із використанням нейронних мереж
-
20 заняття
Воркшоп: Computer Vision training. Нейромережі
- Поставите запитання лектору
- Розберете найскладніші кейси повторно
-
21 заняття
Презентація курсового проєкту
- Реалізуєте власний проєкт: сегментатор для детекції дорожніх позначок або згорткову нейромережу для super-resolution зображень
реєстрація
Підключайтеся до навчання, щоб опанувати 12 ключових інструментів Data Engineer та перетворити роботу з даними на свою конкурентну перевагу.
Старт курса — в июне 2026 года