Курс Data Engineering: Станьте инженером данных и стройте инфраструктуру | robot_dreams
  • онлайн-курс
  • 19 занять
  • 12 інструментів обробки даних

DATA ENGINEERING

Опануйте навички та інструменти Data Engineering, які шукає ринок: від обробки великих даних — до побудови ETL-процесів та масштабованих Data Platform.

Ілля Хороших

former EPAM, Luxoft

Data Platform Engineer у Lyft

Цей Data Engineering курс для:

DATA ANALYSTS

які знають SQL, працюють із невеликими обсягами даних та хочуть розширити стек для роботи саме з Big Data, скоротити час на підготовку даних до аналізу та автоматизувати цей процес

DEVELOPERS

які знають Python, працюють з Git, хочуть розібратися в архітектурі великих даних, оптимізувати ETL-процеси та SQL-запити до БД і перейти в Data Engineering

DATA ENGINEERS (BEGINNERS)

які вже працюють у сфері інженерії даних, але хочуть поглибити знання, автоматизувати процеси для підвищення ефективності й будувати надійні, масштабовані Big Data проєкти

 

ПІСЛЯ КУРСУ ВИ:

  • сформуєте цілісне бачення архітектури даних і зможете декомпонувати процес обробки Big Data

  • опануєте сучасні підходи та інструменти роботи з даними

  • навчитеся витягувати дані з різних джерел, будувати ETL/ELT-процеси та налаштовувати інфраструктури для їхнього зберігання та обробки

  • зможете пропонувати технічні рішення, що витримують великі обсяги даних

  • створите власну дата-платформу, здатну до масштабування

До програми курсу входять:

  •  

    РОЗБІР ІНСТРУМЕНТІВ

    Опануєте ключові інструменти Data Engineer, зокрема Apache Airflow для розробки, планування та моніторингу, Hadoop — для обробки та збереження великих даних, Docker — для роботи з контейнерами, а Amazon S3 — для взаємодії з даними у хмарі.

  •  

    РОЗПОДІЛЕНІ ОБЧИСЛЕННЯ

    Розглянете архітектуру сучасних розподілених систем і вивчите готові рішення для дата-інженерів, опануєте інструменти для розподіленого зберігання файлів та обчислень.

  •  

    КЕЙС У ПОРТФОЛІО

    На практиці навчитеся розгортати Big Data кластери локально та у хмарному середовищі, розробите пайплайн для аналізу в AWS або локально, закріпите всі набуті навички та отримаєте фідбек від практика.

лектор

Ілля Хороших

Data Platform Engineer у Lyft

linkedin profile

  • працював як на аутсорсі (EPAM, Luxoft, Newxel), так і в продуктових компаніях (Lyft)

  • реалізував серію пайплайнів для одного з найбільших виробників спортивного одягу, яка обробляла декілька терабайтів даних за 30 хвилин

  • бере участь у створенні рішень для обробки Big Data для сервісу, що має понад 23 млн користувачів

  • розробляв систему автоматичного калібрування ML-пайплайнів для компанії, що займається email security

Програма

  • 01 заняття
    21.08.2025

    Знайомство з Computer Vision

    • Ознайомитеся з завданнями, які допомагає розв’язати Computer Vision
    • Отримаєте загальну інформацію про те, як працює зорова система
    • Дізнаєтесь, які є колірні простори
    • Встановите бібліотеки NymPy, Matplotlib та OpenCV
    • Навчитеся виконувати прості операції за допомогою цих бібліотек
  • 02 заняття
    25.08.2025

    Піксельні операції

    • Дізнаєтеся, що таке операції на рівні пікселів, і навчитеся читати гістограми
    • Створите найпростішу програму обробки цифрових зображень — наприклад, програму балансу білого кольору
  • 03 заняття
    28.08.2025

    Лінійна фільтрація

    • Вивчите принцип роботи згортки
    • Навчитеся імплементувати фільтрацію та маніпулювати зображенням, використовуючи різні типи фільтрації
  • 04 заняття
    01.09.2025

    Фільтри виділення кордонів

    • Дізнаєтеся, в чому сенс градієнтів зображень
    • Навчитеся імплементувати фільтри виділення меж
    • Опануєте алгоритм виділення контурів та фільтри в Canny
  • 05 заняття
    04.09.2025

    Кодування та компресія зображень

    • Вивчите відмінність між форматами зображень [raw, png, jpeg]
    • Розберете різницю між форматами H264 та H265
    • Дізнаєтеся, як працює стиснення із втратами, і навчитеся працювати з зображеннями в перетвореній формі
    • Спробуєте покращити якість зображення за допомогою інтелектуального квантування
  • 06 заняття
    15.09.2025

    Image features [візуальні ознаки]

    • Дізнаєтеся, що таке візуальні ознаки, та ознайомитеся з типовими завданнями, які можна розв'язати з їхньою допомогою
    • З’ясуєте, як виділяти кути за допомогою детектора Гарріса
    • Розберете алгоритми виявлення та опису ознак
    • Навчитеся застосовувати масштабно-інваріантну трансформацію ознак (SIFT)
  • 07 заняття
    18.09.2025

    Image matching [відповідність зображень]

    • Ознайомитеся з завданнями, які розв'язує image matching
    • Вивчите принцип афінного перетворення та однорідних координат
    • Навчитеся використовувати гомографію для зображень
    • Розробите ректифікатор фотографій документів
  • 08 заняття
    22.09.2025

    Machine Learning [машинне навчання]

    • Ознайомитеся з основними принципами роботи з моделями даних
    • Розберете відмінність між класичною обробкою даних та машинним навчанням
    • Навчитеся будувати прості моделі з нуля та проводити їхню оптимізацію
    • Визначите, чим відрізняються Machine Learning та Deep Learning
  • 09 заняття
    25.09.2025

    Детекція облич

    • Визначите, чим візуальні ознаки для детекції осіб відрізняються від інших об’єктів
    • Ознайомитеся з методом детекції Віоли-Джонса та методом бустингу
    • Навчитеся працювати з зображеннями, які містять обличчя, та здійснювати детекцію за допомогою OpenCV
  • 10 заняття
    29.09.2025

    Трекінг

    • Вивчите основи роботи трекінгу та принципи взаємодії з цифровим відео
    • Розберете відмінності між трекінгом та детекцією на практиці, реалізовуючи реальне робоче завдання
  • 11 заняття
    02.10.2025

    Q&A-сесія

    • Поставите запитання лектору
    • Розберете найскладніші кейси повторно
  • 12 заняття
    06.10.2025

    Нейронні мережі: part 1

    • Вивчите принципи роботи нейронних мереж
    • Отримаєте overview відкритих бібліотек TensorFlow та Keras
    • Навчитеся будувати й тренувати прості нейронні мережі
    • Спробуєте покращити модель нейронної мережі для класичної проблеми house pricing
  • 13 заняття
    09.10.2025

    Нейронні мережі: part 2

    • Дізнаєтеся, як прискорити тренування нейронних мереж у кілька разів за допомогою GPU, та розберете інші переваги графічного процесора
    • Ознайомитеся з хмарним сервісом Google Colaboratory та навчитеся будувати й тренувати моделі в ньому
    • З’ясуєте, навіщо проводити інспекцію баз даних
  • 14 заняття
    13.10.2025

    Згорткові нейронні мережі: part 1

    • Розберете принципи роботи згорткових нейронних мереж
    • Вивчите операції згортки та пулінгу
    • Навчитеся будувати й тренувати згорткові нейронні мережі
  • 15 заняття
    16.10.2025

    Згорткові нейронні мережі: part 2

    • Ознайомитеся з проблемою перенавчання [overfitting]
    • Навчитеся розпізнавати проблеми в процесі навчання та застосовувати data augmentation у процесі тренування
  • 16 заняття
    20.10.2025

    Згорткові нейронні мережі: part 3

    • Навчитеся розв’язувати задачу сегментації цифрових зображень
    • Розберете принцип bottleneck
    • Побудуєте простий автоматичний енкодер для очищення зображень від шуму
  • 17 заняття
    23.10.2025

    Воркшоп: Computer Vision training. Нейромережі

    • Навчитеся будувати, тренувати й покращувати нейромережі на практиці
  • 18 заняття
    27.10.2025

    Детекція об’єктів

    • Розберете концепт детекції та bounding box
    • Навчитеся розпізнавати об’єкти в режимі реального часу, використовуючи принцип YOLO [You Only Look Once]
    • Ознайомитеся з алгоритмом NMS [Non-Maximum Suppression] та іншими архітектурами мереж для розпізнавання об’єктів [SSD, TinyYOLO, SqueezeDet]
    • Застосуєте YOLO, щоб розпізнати об’єкти на власному відео
  • 19 заняття
    30.10.2025

    Згорткові нейронні мережі: що далі?

    • Ознайомитеся з популярними моделями згорткових нейронних мереж
    • Вивчите процес fine tuning та навчитеся працювати з model zoo
    • Дізнаєтеся, які проблеми виникають під час тренування згорткових нейронних мереж
    • Отримаєте рецепт успішного розв’язання проблем із використанням нейронних мереж
  • 20 заняття
    03.11.2025

    Воркшоп: Computer Vision training. Нейромережі

    • Поставите запитання лектору
    • Розберете найскладніші кейси повторно
  • 21 заняття
    10.11.2025

    Презентація курсового проєкту

    • Реалізуєте власний проєкт: сегментатор для детекції дорожніх позначок або згорткову нейромережу для super-resolution зображень

реєстрація

Підключайтеся до навчання, щоб опанувати 12 ключових інструментів Data Engineer та перетворити роботу з даними на свою конкурентну перевагу.

 
 
 
Реєструючись, ви погоджуєтеся з умовами договору-оферти та політикою конфіденційності.