«Спочатку навчись, як треба, а потім роби як хочеш»: Історія випускника курсу Data Engineering
Від цікавості до Python і роботи в GoDaddy — до служби в «Хартії»
Робота з даними — один із найперспективніших напрямків. Це стосується як міжнародних компаній та АІ-ринку, так і українського ІТ й зокрема military tech індустрії. Ці спеціалісти потрібні скрізь, завжди, і все більше й більше.
В цьому інтервʼю ми розпитали Іллю, нашого випускника з курсу Data Engineering з позивним Лис, про його шлях, але розповів він куди більше. Тут і про професійний розвиток, і про досвід навчання, і про заземлюючий погляд на цифровізацію війни.
Спойлер: це one-of-a-kind історія — від цікавості до Python і роботи в GoDaddy до служби в «Хартії» на посаді Data Engineer.
Про професійний бекграунд
Розкажіть трохи про себе: чим ви займались до того, як почали навчатися на курсі?
Мене звати Ілля, моє псевдо — «Лис» (дякую рудій борідці). Навчався в НТУУ «КПІ» до 2021 року, там на парах із дискретної математики мене познайомили з Python, який полюбився своєю високорівневістю та ідеоматичністю. Встиг попрацювати й на фрилансі, і як business intelligence analyst.
Проте найвагомішу частину мого портфоліо (4+ роки досвіду) складає саме backend-розробка. Працював Python Engineer на GoDaddy, де був частиною команди, що розробляла високонавантажений сервіс оркестрації контейнерів.
Що мотивувало вас пройти курс із Data Engineering?
В якийсь момент роботи я зрозумів, що хочу бути чимось більшим, ніж просто розробником. Хотілось отримати якусь паралельну компетенцію, привнести нестандартний підхід. Я вкрай люблю «тягнути» підхід з одної царини в іншу, інколи не зовсім пов’язану — це не завжди буває успішно, але точно весело!
Успіх найчастіше ховається в незвичних комбінаціях на перетині несхожих світів.
З часів роботи розробником PowerBI я слідкую за світом аналітики. Так, під час перегляду одного з тематичних телеграм-каналів, я і побачив рекламу курсу Data Engineering від robot_dreams. Оцінив технологічний стек та зрозумів, що маю спробувати. Залишив заявку, зі мною зідзвонилися, уважно розпитали, ретельно розповіли про план курсу, відповіли на всі мої запитання — і я впевнився, що точно хочу цього навчитися.
Досвід навчання
Як навчання допомогло обрати посаду у війську?
Саме завдяки курсу від robot_dreams вийшло систематизувати розпорошені знання, вивчити «жаргон» індустрії та розширити свій набір навичок декількома невідомими раніше технологіями.
Я часто думаю про закон Парето, і мені здається, знання, отримані від цього курсу, нехай і складають 20% від мого скілсету, але саме їм я завдячую 80% свого успіху під час погодження моєї кандидатури. Та і зараз вони складають чималу частину моєї повсякденної роботи.
Які конкретно знання та навички з курсу виявилися найкориснішими у вашій поточній роботі?
Вкрай сподобалося, що в курсі зроблено акцент саме на теоретичну підготовку: ми не просто «ковиряли» якийсь конкретний інструмент, ми вивчали підходи та основні задачі, які стоять у data engineering. Тоді вибір на користь того чи іншого інструмента сприймався цілком природно.
З курсу найбільше запам’ятовувалися, умовно, саме різниця між OLTP та OLAP, CAP-теорема або Medallion architecture, а не те, як підіймати Hadoop у Docker.
Не хочу вживати клішоване «мене навчили думати як data engineer», але в наш час вайбкодингу та AI-centered development, ґрунтовно розуміти теоретичні засади стає в рази важливіше за опанування якоїсь певної технології.
Які технології ви вивчили вперше на курсі й зараз активно використовуєте?
Airflow! Переносимо все на нього зі слабко підтримуваного зоопарку власних скриптів, які на чому тільки не бігали. Добряче попрацював із pandas DataFrame, теж стикаюсь із ним щодня. На горизонті маячить Big Data (активно зростаємо по volume-velocity-variety), тому, схоже, в якийсь момент доведеться розгортати Spark. А взагалі, я б такий, щоб і dbt для кращої роботи з ELT-пайплайнами на базі PostgreSQL використати…
Чи були моменти, коли ви сумнівалися, що це було правильним рішенням?
«Курсач» виявився «зубатим», не вийшло все в останню ніч зробити *сміється*.
А взагалі ні, жодних сумнівів. Викладач на курсі був завжди доступний та йшов назустріч студентам, а практичні завдання були чудово збалансовані: не надто прості, тому доводилося вмикати голову, і не занадто складні, щоб геть не розуміти, що відбувається.
Окремої подяки заслуговує команда robot_dreams, яка приділяла багато уваги мені як студенту і постійно збирала зворотний зв’язок. Шана!
Робота в «Хартії»
Розкажіть детальніше про роль Data Engineer у підрозділі. Над якими проєктами ви працюєте? Що входить у ваші обовʼязки?
Важливо розуміти, що нехай я і розробник у війську, але я розробник у війську. Від стандартної армійської багатозадачності через хронічну нестачу особового складу нікуди не дітися.
Тому доводиться і DAGи, які тягнуть дані зі всюдисущого Excel, у нормалізовану базу даних писати, і моніторинг свіжості даних натягнути, і застосунок для анонімізації чутливих даних закодити, і зрозуміти, що не так із графіками в дашбордах…
Щодня новий виклик та нові задачі, які до тебе ніхто не розв’язував. Мені не набрехали, коли казали про «атмосферу стартапу»: тут дійсно немає чітко визначених ролей, а є більше аспекти, якими ти опікуєшся.
Можна — і навіть заохочується (!) — «овнити скоупи» від початку і до кінця.
Які найбільші виклики в роботі з даними в умовах війни?
Безпека, безпека, безпека.
Все має бути захищено, запаролено, доступно лише після верифікації, правильно надіслано. Також тут кратно більша ціна помилки. Ти збираєш дані, на основі яких ухвалюються, без перебільшення, доленосні рішення. Тут метрики впливають не на річний прибуток стейкхолдера, а на людські життя.
Яка різниця між роботою Data Engineer у комерційній компанії та у військовому контексті?
Замість HR — головний сержант роти, замість english lessons — такмед, а замість тімбілдингу в боулінгу — стрільбища на полігоні *сміється*.
Стосовно специфіки самих задач — хіба що працюємо майже без хмарних рішень, через чутливість самих даних та інших «згідно-відповідно». Все on-premise, тому, на жаль, жодних AWS Redshift та інших ETL в cloud. З цих же причин надаємо перевагу open-source рішенням, які можемо розгорнути локально, без усюдисущої телеметрії.
Які навички, крім технічних, виявилися важливими для вашої роботи?
Якщо казати в цілому про військо — важливо розуміти, що без БЗВП все одно нікуди. Багато терпіння: нехай конкретно в нашому підрозділі немає як такої бюрократії (нею займається діловод), але не дарма наше військо називають УПА — Українська Паперова Армія, ніхто не скасовує айтівцям формальності.
Не менш важливе вміння формулювати свою думку так, щоб вона була зрозуміла на широкий загал: мені ще не доводилось, але робота може передбачати спілкування з людьми різного рівня технічної освіченості, тож треба вміти підбирати влучні пояснення, доступні всім.
Як змінилося ваше розуміння професії Data Engineer після роботи в реальних умовах?
Реально усвідомлюєш, що:
Дані — це нафта ХХІ століття.
Будь-яке ухвалення рішень починається зі збору даних, а для цього їх необхідно зберегти, обробити й подати в правильному вигляді. Дані створюють — інтерпретують, заносять у табличку, заповнюють форму, обраховують — люди, які, на жаль, не ідеальні, і часто припускаються помилок.
Лише половина роботи — це романтика створення scalable fault-tolerant blazingly-efficient data platforms, решта 50% — це пошук постійних та болючих компромісів при обміні даних між різними середовищами їхнього зберігання.
Є якась конкретна ситуація або проєкт, де ви відчули: «так, я на своєму місці»?
Все те, чим я займаюся зараз. Складно виділити щось одне. Радію, що мені дісталась нехай і не настільки вирішальна, але все ж не менш важлива роль у нашій спільній справі. Шкодую лише про те, що не вийшло доєднатися раніше. Згаяв на сумніви багато часу, за який міг би зробити в рази більше.
Цифровізація війни
Війна все більше цифровізується. Чи можете навести приклади, як саме дані допомагають у військових операціях?
Мій підрозділ займається аналітикою, ми забезпечуємо розбір завершених операцій та планування наступних дій всіма необхідними даними. На жаль, ми маємо усвідомлювати, що ворог провів хорошу роботу над помилками з 2022 року. Час, коли можна було бути успішним лише тому, що ти першим щось винайшов, уже минув.
Ворог активно перебирає собі наші технологічні досягнення, закидаючи їх більшою кількістю грошей, ніж ми можемо собі дозволити. Наше «вікно можливостей» після винайдення нового рішення стає все менше і менше. Тому нам залишається приділяти більшу увагу аналізу того, що спрацює, а що ні. У нас немає надприбутків від нафтовидобутку, якими можна розкидатися направо і наліво, тому треба обирати, який підрозділ себе краще зарекомендував, яких дронів закупити більше, після яких дій в нас краще співвідношення витрат-здобутків тощо.
А це не так просто, як може здатися. Розглянемо гіпотетичну ситуацію: чому цей вкрай успішний екіпаж БПЛА раптово почав робити менш успішні вильоти?
- Може, зменшилась інтенсивність дій противника на напрямку, і вже не виходить 10 уражень за день?
- Може, через погодні умови не виходить так часто вилітати?
- Чи справа все-таки в зміні підпорядкування до іншого батальйону?
- Що в цей час відбувається на сусідніх позиціях?
Навіть для відповіді на таке просте запитання треба врахувати безліч факторів. А тепер уявіть, що в підрозділі не 2 екіпажі, а 22. А тепер уявіть, що таких підрозділів декілька. А тепер уявіть, що кожен із них веде свою внутрішню звітність по-різному.
Без автоматизації не обійтися.
Які ІТ-спеціалісти мають найбільший попит у військових підрозділах зараз?
Різнопланові. За моїми спостереженнями, ситуація змінилася з 2022–2024 років. Якщо тоді запит був більше на embedded-розробників для перших дронів, коли вони ще були дивиною на полі бою, то тепер такого перекосу вже немає.
«Залізо» вже «обкатали», і тепер починається епоха інтеграцій: треба робити його використання зручнішим (передаю вітання frontend-ерам), забезпечувати координацію купи користувачів (backend-ери, наш вихід), а потім передати цю інформацію про його використання командуванню на всіх рівнях (дата-спеціалісти, і я не тільки про інженерів великих даних, але і про business-intelligence розробників, і аналітиків).
Ну а там, де присутня така кількість спеціалістів, вже не обійтися без нормальних QA, бізнес-аналізу (щоб розуміти, який саме продукт/функціонал потрібен підрозділам), project-менеджменту …
Поради для потенційних кандидатів
Що б ви порадили ІТ-спеціалістам-світчерам?
«Спочатку навчись, як треба, а потім роби як хочеш».
Не нехтуйте теоретичною підготовкою та винаходьте свої велосипеди: кожне власне «аааааа, ось чому воно так…» цінніше за 1000 уроків від найкращого вчителя. Віднайдіть свій щоденний «навчальний ритуал» і неухильно його дотримуйтеся.
Який мінімальний набір навичок потрібен, щоби бути корисним у вашому напрямку?
Ми шукаємо насамперед свідомих та ініціативних — щоб кандидати для себе чітко могли дати відповідь «Навіщо я тут?». В підрозділі є широкий перелік посад — нам потрібні як оперативні аналітики, так і люди з нахилом у програмування, роботу з базами даних.
OSINT-ерів теж бракує як повітря. Служба в нашому підрозділі цілком може стати жирним рядком у резюме та вагомою перевагою при найманні на майбутню роботу в цивільному житті.
