Курс тестування та валідації AI моделей: навчання тестуванню алгоритмів | robot_dream
  • онлайн-курс
  • 23 заняття
  • АІ QA
  • курсовий проєкт

КОНТРОЛЮЙТЕ ЯКІСТЬ АІ-МОДЕЛЕЙ

запускайте A/B-тести, знаходьте галюцинації та фіксуйте слабкі сценарії ще до деплою

МАКСИМ КІЗІЦЬКИЙ

Machine Learning Engineer у

TemaBit, Fozzy Group

КУРС ТЕСТУВАННЯ AI МОДЕЛЕЙ ДЛЯ ВАС, ЯКЩО ВИ…

01

ПЛАНУЄТЕ УВІЙТИ В АІ QA

Дізнаєтесь, як ефективно тестувати АІ-моделі, навчитеся працювати з недетермінізмом, читати та інтерпретувати ML-метрики й перевіряти RAG.

02

ХОЧЕТЕ ПЕРЕТВОРИТИ ПЕРЕВІРКУ ВЛАСНИХ МОДЕЛЕЙ НА СИСТЕМУ

Перейдіть від інтуїтивних рішень до системного тестування АІ-рішень, навчіться ефективно відстежувати деградацію та структуруйте власні QA-процеси.

03

ПРАГНЕТЕ ІНТЕГРУВАТИ АВТОМАТИЧНЕ ТЕСТУВАННЯ МОДЕЛЕЙ У СВІЙ ПАЙПЛАЙН

Зрозумієте, як коректно валідувати якість контенту і моделей всередині пайплайну, відстежувати дрейф і будувати автоматичне тестування в CI/CD та продакшн-моніторингу.

04

ШУКАЄТЕ МОЖЛИВІСТЬ ВИЙТИ ЗА МЕЖІ PROMT-ІНЖЕНЕРІЇ

Зможете системно тестувати моделі з A/B-тестів, виявляти упередження, галюцинації, слабкі сценарії та зростати до технічних ролей.

 

ПРО КУРС:

На курсі ви навчитеся тестувати AI-моделі так, щоб вони стабільно працювали в реальних продуктах. Опануєте фреймворки та інструменти для виявлення галюцинацій, перевірки якості, безпечності й поведінки моделей в складних сценаріях. Це надасть можливість самостійно проєктувати й реалізовувати повний процес AI QA в продуктовій команді. У фіналі реалізуєте курсовий проєкт на демо AI-системі: проведете повний цикл тестування, включно з eval, аналізом помилок і покращенням стабільності.

  • Робота з низькоресурсними мовами

  • Курсовий проєкт на демосистемах

  • Тестування безпеки

  • Зареєструватися

ДО ПРОГРАМИ КУРСУ ВХОДЯТЬ

  • СИСТЕМНЕ ТЕСТУВАННЯ AI-РІШЕНЬ

    Опануєте підходи до перевірки класичних ML-моделей, LLM і RAG: навчитеся працювати з метриками, eval-наборами, регресіями, галюцинаціями, дрейфом і стабільністю.

  • АВТОМАТИЗАЦІЯ ТА ПРОДАКШН-ПРАКТИКИ

    Інтегруєте AI QA в CI/CD, налаштуєте моніторинг якості в продакшені та розберетеся з контролем деградації, продуктивності й витрат.

  • БЕЗПЕКА ТА ВІДПОВІДАЛЬНИЙ AI

    Розберетеся з red-teaming, захистом від prompt-інʼєкцій, тестуванням упередженості, explainability та human evaluation.

лектор

МАКСИМ КІЗІЦЬКИЙ

Machine Learning Engineer у TemaBit, Fozzy Group

  • Має глибоку експертизу в Promptfoo, DeepEval, Ragas, LangSmith та Evidently AI.

  • У компанії TemaBit відповідає за повний цикл систем — від інференсу до моніторингу, впроваджує evaluation-фреймворки для RAG і детекцію галюцинацій.

  • Досяг 5× приросту швидкості інференсу, впровадив TTFT і P95/P99 latency для контролю продуктивності.

  • Працює над PhD-дослідженням з оцінювання LLM (українськомовні, багатомовні, мультимодальні задачі, запобігання галюцинаціям).

ПРОГРАМА ТЕСТУВАННЯ ТА ВАЛІДАЦІЇ АІ-МОДЕЛЕЙ

  • 01 заняття

    Вступ до тестування AI-систем

    • Зрозумієте, чому тестування AI суттєво відрізняється від класичного QA
    • Знатимете основні типи оцінювання AI-систем і зможете обирати відповідний під конкретний сценарій
    • Орієнтуватиметеся в піраміді якості AI та розумітимете, на яких рівнях виникають ключові ризики
  • 02 заняття

    Архітектура AI-систем: що тестувати

    • Навчитеся декомпозувати AI-систему на компоненти й прив’язувати тести до кожного з них
    • Чітко розрізнятимете ML-, LLM- і RAG-пайплайни та їхні зони відповідальності
    • Зможете визначати критичні точки ризику в архітектурі та використовувати їх для побудови тестової стратегії
  • 03 заняття

    Таксономія AI-фейлів

    • Навчитеся системно класифікувати AI-фейли
    • Дізнаєтеся про реальні причини відмов моделей, LLM і систем загалом
    • Зможете застосовувати таксономію для аналізу реальних інцидентів та запобігання повторним збоям
  • 04 заняття

    Метрики ML: коли вони брешуть

    • Навчитесь обирати метрики, які реально відображають якість моделі
    • Розумітимете обмеження accuracy та інших стандартних метрик
    • Зможете аналізувати результати моделей в розрізі сегментів та бізнес-впливу
  • 05 заняття

    Регресійне тестування моделей

    • Зможете побудувати процес контролю якості при кожному оновленні моделі
    • Навчитеся коректно порівнювати версії моделей з урахуванням варіативності даних і статистичної значущості
    • Розумітимете, як інтерпретувати результати A/B-тестів у продакшені
  • 06 заняття

    Якість даних та виявлення дрейфу

    Результат:

    • Навчитеся виявляти проблеми з якістю даних ще до того, як вони вплинуть на модель
    • Зможете розрізняти типи дрейфу та OOD-випадки й використовувати їх як сигнали ризику
    • Освоїте практичні інструменти для моніторингу якості даних у часі
  • 07 заняття

    Специфіка тестування LLM

    Результат:

    • Розберетеся з недетермінізмом LLM і навчитеся враховувати його під час тестування
    • Зможете тестувати роботу моделей з довгим контекстом і streaming-відповідями
    • Навчитеся налаштовувати локальне та API-середовище для відтворюваних тестів
  • 08 заняття

    Тестування промптів та генеративної поведінки LLM

    • Навчитеся будувати тестовані та версіоновані промпти замість ручних експериментів
    • Зможете створювати еталонні набори для генеративних задач
    • Перевірятимете стабільність, коректність і структурованість відповідей LLM
  • 09 заняття

    Тестування багатокрокових діалогів

    • Навчитеся проєктувати сценарії тестування складних multi-turn діалогів
    • Зможете перевіряти збереження контексту, пам’яті й логічної послідовності відповідей
    • Виявлятимете типові проблеми чат-ботів у довгих розмовах
  • 10 заняття

    Метрики та автоматизоване оцінювання LLM

    • Навчитесь об’єктивно оцінювати якість LLM за допомогою різних типів метрик
    • Зможете комбінувати еталонні та безеталонні підходи залежно від задачі
    • Контролюватимете стабільність відповідей та коректність структурованих виходів
  • 11 заняття

    Багатомовне та українськомовне тестування

    Результат:

    • Навчитеся тестувати LLM з урахуванням специфіки української мови
    • Зможете виявляти суржик, русизми, помилки відмінювання та code-switching
    • Побудуєте спеціалізовані eval-набори для українськомовних і багатомовних сценаріїв
  • 12 заняття

    Архітектура RAG і точки відмов

    Результат:

    • Навчитеся знаходити, на якому етапі RAG-системи виникають помилки
    • Розумітимете типові причини галюцинацій в RAG
    • Зможете формувати тестові гіпотези для покращення retrieval і chunking
  • 13 заняття

    Метрики RAG та оцінювання

    Результат:

    • Навчитеся вимірювати якість RAG-системи від пошуку до фінальної відповіді
    • Зможете інтерпретувати метрики контексту, пошуку та генерації
    • Проводитимете повноцінну end-to-end оцінку RAG
  • 14 заняття

    Виявлення та зменшення галюцинацій

    • Навчитеся системно виявляти галюцинації, а не лише фіксувати їх постфактум
    • Зможете перевіряти правдивість тверджень і коректність цитувань
    • Проєктуватимете негативні сценарії та механізми безпечної відмови
  • 15 заняття

    Безпека LLM та Red-Teaming

    • Навчитеся проводити red-teaming AI-систем за зрозумілою методологією
    • Зможете виявляти prompt-інʼєкції, jailbreak-атаки та ризики витоку даних
    • Формуватимете структуровані звіти з ризиками та рекомендаціями
  • 16 заняття

    Упередженість, справедливість і пояснюваність

    • Навчитеся виявляти різні типи упередженості в AI-системах
    • Зможете застосовувати інструменти пояснюваності для аналізу рішень моделей
    • Балансуватимете між точністю, справедливістю і стабільністю
  • 17 заняття

    Модульне та інтеграційне тестування для AI

    • Навчитеся писати unit- та integration-тести для AI-компонентів
    • Зможете поєднувати детерміністичні та імовірнісні перевірки
    • Використовуватимете snapshot testing і mocking для стабільних тестів
  • 18 заняття

    Огляд фреймворків оцінювання

    • Навчитеся проєктувати масштабовані системи оцінювання AI
    • Зрозумієте життєвий цикл еталонних датасетів
    • Зможете застосовувати eval-driven підхід для контролю регресій
  • 19 заняття

    CI/CD та моніторинг AI-систем

    • Навчитесь інтегрувати тести AI в CI/CD-пайплайни
    • Зможете налаштовувати quality gates і блокувати ризикові деплої
    • Контролюватимете деградацію якості в продакшені
  • 20 заняття

    Продуктивність і контроль витрат LLM у продакшені

    Результат:

    • Навчитеся читати й інтерпретувати latency та cost-метрики
    • Зможете виявляти регресійне зростання витрат
    • Оцінюватимете вплив архітектурних рішень на продуктивність
  • 21 заняття

    Протоколи людської оцінки (Human Evaluation)

    • Навчитеся проєктувати коректні процеси людської оцінки
    • Зможете працювати з метриками узгодженості анотацій
    • Інтегруватимете human-in-the-loop як частину AI-систем
  • 22 заняття

    Проєктування процесу AI QA

    • Навчитеся будувати AI QA як частину продуктового процесу
    • Зможете створювати test-плани та чек-листи з урахуванням ризиків
    • Ефективно комунікуватимете результати оцінювання зі стейкхолдерами
  • 23 заняття

    Роль AI QA інженера і захист курсових робіт

    • Презентуєте власну систему тестування AI (LLM чат-бот, RAG-система або ML-класифікатор) з автоматизованими eval-наборами та метриками
    • Отримаєте фідбек від лектора та рекомендації щодо розвитку у сфері

Для навчання на курсі необхідно: знання мови програмування Python

реєстрація

Пройдіть комплексне навчання з тестування AI-моделей та побудуйте повноцінну систему: від аналізу ризиків — до моніторингу в продакшені.

СТАРТ КУРСУ — ЛЮТИЙ 2027

 
 
 
Реєструючись, ви погоджуєтеся з умовами договору-оферти та політикою конфіденційності.