Архітектури сучасних нейромереж
Навчіться підбирати правильну архітектуру під конкретну задачу, працювати з генеративним AI, recommendation systems і multimodal-підходами.
Ярослав Корольчук
Machine Learning Engineer at
Shelf
ОБОВ’ЯЗКОВІ ВМІННЯ ДЛЯ НАВЧАННЯ
-
Python (змінні, функції, класи, списки, словники)
-
NumPy & Pandas (базові операції з масивами)
-
Лінійна алгебра (матриці, добутки, власні значення)
-
Машинне навчання (train/test split, overfitting, метрики: accuracy, loss)
Дуже бажано також мати базовий ML-досвід.
ДО ПРОГРАМИ КУРСУ ВХОДЯТЬ
-
БЛОК 1: Вступ і фундамент
Розберетесь, як влаштовані сучасні нейромережі, навчитесь будувати перші моделі та порівнювати, як AI працює з різними типами даних.
-
БЛОК 2: Від послідовностей до Transformers
Навчитесь працювати з текстом і часовими рядами, розберетеся з attention-механізмами та зрозумієте архітектуру, що лежить в основі ChatGPT та інших сучасних AI-систем.
-
БЛОК 3: Генеративні моделі та графи
Навчитеся створювати зображення за допомогою Stable Diffusion і GANs, розберетеся з prompt engineering та побудуєте власну recommendation system.
-
БЛОК 4: Оптимізація, продакшн і курсовий проєкт
Навчитесь робити моделі швидшими та деплоїти їх у реальні продукти, створюєте і презентуєте власний AI-проєкт із live demo.
Лектор
Ярослав Корольчук
-
Tech Lead / Machine Learning Engineer at Shelf (у розробці ML-рішень та впровадженні моделей в production)
-
7+ років досвіду в Machine Learning і Data Science
-
має досвід повного циклу ML-розробки: від дослідження даних і моделювання — до деплою та інтеграції в production
-
спеціалізується на створенні production-ready AI-систем і застосуванні сучасних підходів машинного навчання в реальних продуктах
Програма
-
01 заняття
Огляд AI-ландшафту й еволюція нейронних мереж
- Зрозумієте еволюцію нейронних мереж і чому кожна архітектура з'явилась
- Дізнаєтеся, де які архітектури використовуються (CV, NLP, RecSys, GenAI)
- Зрозумієте базові концепти: персептрон, функції активації, градієнти, backprop
- Навчитеся реалізовувати персептрони й тренувати їх на простих даних
-
02 заняття
MLP, CNN, RNN: обмеження і чому цього мало
- Зрозумієте архітектуру MLP, CNN, RNN: як вони працюють
- Дізнаєтесь обмеження кожної: MLP — локальність, CNN — послідовність, RNN — затухання
- Навчитеся реалізовувати CNN у PyTorch
-
03 заняття
RNN, LSTM, GRU: специфіка та застосування
- Зрозумієте архітектуру LSTM: три gates, cell state, чому це вирішує затухання
- Вивчите різницю LSTM vs GRU vs RNN
- Навчитеся реалізовувати LSTM у PyTorch
- Навчитесь обробляти послідовні дані (embedding, padding, packed sequences)
-
04 заняття
Attention-механізми та Self-Attention
- Зрозумієте механіку Attention: Q, K, V, softmax, масштабування
- Вивчите різницю self-attention vs cross-attention
- Навчитеся реалізовувати attention з нуля
- Навчитеся візуалізувати attention-ваги
-
05 заняття
Слабкі місця RNN & CNN для NLP та Self-Attention як основа Transformers
- Зрозумієте, чому RNN & CNN слабкі для NLP
- Вивчите, чому self-attention — універсальна архітектура
- Зрозумієте позиційне кодування (sinusoidal, learnable, RoPE)
- Навчитеся порівнювати архітектури кількісно (BLEU, час, пам'ять)
-
06 заняття
Transformers: повна архітектура та принципи
- Зрозумієте повну архітектуру Transformer: encoder, decoder, attention, FFN
- Вивчите роль Multi-Head, LayerNorm, Residual connections
- Навчитеся реалізовувати Transformer block з нуля
- Зрозумієте encoder vs decoder, causal masking
-
07 заняття
BERT: архітектура, pre-training, fine-tuning
- Зрозумієте MLM & NSP pre-training
- Вивчите різницю між fine-tuning і feature extraction
- Навчитеся fine-tune BERT для класифікації & NER
- Зможете обрати BERT vs RoBERTa vs DistilBERT під задачу
-
08 заняття
GPT та LLaMA: архітектурні відмінності та генерація
- Зрозумієте autoregressive архітектуру GPT
- Вивчите архітектурні інновації LLaMA (RoPE, GQA, SwiGLU)
- Навчитеся генерувати текст із контролем параметрів
- Зрозумієте in-context learning і чому GPT масштабується краще, ніж BERT
-
09 заняття
Vision Transformers (ViT): адаптація для CV
- Зрозумієте архітектуру ViT: як зображення → патчі → токени
- Вивчите, коли краще ViT, а коли CNN
- Навчитеся реалізовувати або використовувати ViT з HuggingFace
- Зрозумієте гібридні архітектури (CNN + ViT)
-
10 заняття
Graph Neural Networks: основи та архітектури
- Зрозумієте message passing як основу GNN
- Вивчите різницю GCN vs GraphSAGE vs GAT
- Навчитеся реалізовувати GCN у PyTorch Geometric
- Навчитеся вирішувати node classification з GNN
-
11 заняття
Застосування GNN у рекомендаційних системах, соціальних мережах, біоінформатиці
- Зрозумієте, як GNN використовуються в рекомендаціях, соціальних мережах, біоінформатиці
- Вивчите специфіку кожної задачі (граф топологія, задача типу)
- Навчитеся формулювати задачу як GNN (node/edge/graph classification)
- Зрозумієте обмеження (scalability на мільйонах вузлів)
-
12 заняття
Автоенкодери та VAE: архітектура і латентний простір
- Зрозумієте архітектуру VAE vs простого AE
- Вивчите латентний простір: як він організований, чому гауссівський
- Навчитеся реалізовувати VAE в PyTorch
- Зрозумієте застосування VAE
-
13 заняття
GANs, Diffusion Models: як працюють, чому витіснили GANs
- Зрозумієте архітектуру GAN: генератор, дискримінатор, мінімакс
- Вивчите проблеми (mode collapse, vanishing gradients, нестабільність)
- Зрозумієте дифузійний процес: forward & reverse
- Вивчите DDPM, DDIM, Stable Diffusion архітектури
- Навчитеся генерувати зображення зі Stable Diffusion
- Зрозумієте, чому Diffusion краще за GAN
-
14 заняття
Практичні кейси: Stable Diffusion, DALL·E, MidJourney
- Вивчите, як використовувати Stable Diffusion локально & через API
- Навчитеся писати ефективні промпти
- Зрозумієте різницю Stable Diffusion vs DALL·E vs MidJourney
- Навчитеся fine-tune для спеціального стилю (LoRA)
-
15 заняття
Transfer Learning, Fine-tuning, Prompt Tuning
- Зрозумієте відмінності transfer learning, fine-tuning, feature extraction
- Вивчите, коли який підхід використовувати
- Навчитеся fine-tune BERT/GPT для своєї задачі
- Зрозумієте prompt engineering & few-shot learning
-
16 заняття
Модульність моделей: LoRA, Adapters, Quantization, Pruning
- Зрозумієте LoRA, adapters, quantization, pruning
- Вивчите, коли та які техніки використовувати
- Навчитеся застосувати LoRA для fine-tuning
- Вивчите quantize-модель для мобільних/embedded
-
17 заняття
Best Practices у деплої: PyTorch Lightning, HuggingFace, інтеграція в продукти
- Вивчите PyTorch Lightning основи
- Навчитеся використовувати HuggingFace Trainer
- Зрозумієте production considerations (latency, monitoring, fallback)
- Навчитеся деплоїти як API або cloud-сервіс
-
18 заняття
Презентація курсових проєктів та підсумки
Один із 4 форматів проєкту на вибір:
- AI Chatbot — fine-tuned LLM з RAG, деплой як Telegram-бот або вебінтерфейс
- Recommendation System — GNN або Transformer-based RecSys
- Multimodal App — генерація контенту (текст + зображення) або image search
- Domain-specific model — fine-tuning під конкретну галузь (медицина, фінанси, код)
реєстрація
Заповнюйте заявку на курс , щоб зрозуміти сучасні AI-моделі та принципи їхньої побудови