r_d
Natural Language Processing
Natural Language Processing
from 0 to ‘native speaker’
Комплексный онлайн-курс по обучению алгоритмов пониманию естественного языка. При условии, что до курса вы говорили с алгоритмами на языке Python, после курса алгоритмы наконец-то заговорят с вами на вашем (человеческом) языке.
О курсе
Человек, владеющий Natural Language Processing (рус. обработка естественного языка) помогает компьютерным программам понимать человеческий язык. Самые известные носители обработки естественной речи: чат-боты, Grammarly, предсказание запросов в Google и спам-фильтр в Gmail.
По предварительным данным, за 36 часов вы освоите навыки классов «решение основных типов задач по NLP: NER, QA, машинный перевод», «оптимизация пайплайнов», «применение SOTA-архитектур», «ускорение моделей».
14 декабря ↓ 4 марта
→14 декабря — 4 марта
лектор
Виталий Радченко
Data Scientist в YouScan
- ~3+ года отвечает за направление Natural Language Processing в YouScan*
- реализовал { a, b, c, ...} NLP-проектов и оптимизировал пайплайны в течение ~5+ лет
- выступает с докладами на тему Natural Language Processing на лучших конференциях СНГ (Data Fest, FWdays, AI Ukraine и др.)
- победитель { a, b, c, ...} хакатонов вида: «машинное обучение»
*продуктовая В2В-компания; система мониторинга упоминаний в медиа, соцсетях, интернет-магазинах
программа
1
занятие 14.12
Intro: Natural Language Processing
Настройте рабочее окружение. Рассмотрите примеры NLP-задач. Установите библиотеки для обработки языка (NLTK, spaCy). Освойте базовую обработку текста с помощью библиотек.
2
занятие 17.12
Подходы к обработке текста
Изучите подходы к извлечению фичей на основе статистики вида: ‘Bag of words’, ‘TF-IDF’. Научитесь применять ML-методы вида: ‘регрессия’, ‘бустинг’ на извлеченных фичах.
3
занятие 21.12
Векторное представление слов
Освойте подходы к представлению слов в виде векторов вида: ‘word2vec’, ‘glove’, ‘fasttext’. Приведите векторы слов разных языков в единое пространство (Multilingual word embeddings).
4
занятие 24.12
Знакомство c pytorch
Изучите базовые принципы и операции фреймворка. Научитесь использовать fully-connected нейросети на pytorch.
5
занятие 28.12
Рекуррентные нейронные сети
Изучите разновидности рекуррентных нейронных сетей видов: RNN, GRU, LSTM, двунаправленные (bi-directional) и многослойные. Перейдите на следующий уровень: пользоваться рекуррентными нейросетями, понимая их + и -
6
занятие 11.01
Использование предобученных векторов слов
Постройте пайплайн с использованием предобученных векторов слов. Не теоретизируйте.
7
занятие 14.01
Использование рекуррентных нейронных сетей
Решите задачу классификации с помощью рекуррентных нейронных сетей с предобученными векторами слов.
8
занятие 21.01
Языковая модель
Изучите языковые модели. Освойте архитектуры вида: Transformer, GPT-2 (GPT-3).
9
занятие 25.01
Токенизация
Изучите определённые подходы к токенизации: Word-, char encoding, BPE (с дропаутом), WordPiece encoding. Ознакомьтесь с библиотекой transformers от HuggingFace.
10
занятие 28.01
Генерация речи
Изучите&освойте подходы к генерации речи: использование температуры (для изменения распределения при сэмплировании генерируемых ответов), k-sampling, p-sampling. Решите проблему с повторами при генерации тестов.
11
занятие 01.02
SOTA-архитектуры
Изучите архитектуры, основанные на трансформерах, вида: BERT, ROBERTA, T5 ALBERT. Научитесь определять, какую архитектуру корректно использовать для решения конкретной задачи.
12
занятие 04.02
Файнтюнинг
Разберите подходы к файнтюнингу языковых моделей. Примените данные подходы на практике.
13
занятие 08.02
Технические модификации тренировки и инференса
Изучите способы улучшения тренировочного пайплайна и ускорения инференса моделей.
14
занятие 11.02
NLP-задачи
Научитесь решать задачи классов: NER, Machine Translation, Question Answering./div>
15
занятие 15.02
Введение в чат-боты
Создайте простой прототип диалогового агента.
16
занятие 18.02
Анализ результатов и интерпретация моделей
Проведите анализ ошибок моделей. Интерпретируйте модели с помощью SHAP, LIME. Визуализируйте attention.
17
занятие 22.02
Дистилляция больших моделей
Изучите доступное множество лоссов (MSE, BCE, …). Уменьшите модель в размере с сохранением 95-98% точности.
18
лекция 04.03
Презентация курсовых работ
Убедитесь, что ваша курсовая работа соответствует требованиям. Презентуйте.
вы
ваши свойства
- data scientist
- ml specialists
- разработчики
- компьютерные лингвисты
ваши свойства
⟶
- уверенные знания Python и минимальный опыт работы с машинным обучением
- понимание операций с матрицами в линейной алгебре
После курса
1
NLP-задачи
сможете сделать AI приближёным к человеческому I: распознавание именованных сущностей, генерация вопросов-ответов, машинный перевод
сможете сделать AI приближёным к человеческому I: распознавание именованных сущностей, генерация вопросов-ответов, машинный перевод
2
SOTA-архитектуры
сможете применять SOTA-архитектуры, основанные на трансформерах, с предварительным определением корректности применения для конкретной задачи
сможете применять SOTA-архитектуры, основанные на трансформерах, с предварительным определением корректности применения для конкретной задачи
3
ускорение моделей
освоите способы вида: батчинг, колбеки, шедьюлинг и warmup, клиппинг и батч-аккумуляция, mixed-precision
освоите способы вида: батчинг, колбеки, шедьюлинг и warmup, клиппинг и батч-аккумуляция, mixed-precision
регистрация
what if … :
1. … курс не понравился – можно вернуть деньги.
2. … не подходит график занятий — уточните, когда будет следующий поток.
3. … вы пропустили занятие – сохраняется запись.