Natural Language Processing

Научитесь решать фундаментальные задачи NLP: сплиттинг, токенизация, морфологический, синтаксический и семантический анализ. Примените NLP-библиотеки: spacy, nltk, stanza.

Научитесь векторизовать данные разными способами: Bag of Words, TF-IDF и другими. Узнайте, какие способы векторизации использовать в зависимости от задачи.

Узнайте, что такое word embeddings, в каких случаях использовать и как получать ее для текста. А также получите информацию о дистрибутивной семантике, контекстной репрезентации, алгоритмах контекстной векторизации.

Научитесь пользоваться библиотеками WordNet, FrameNet, spacy, nltk, stanza и Scikit-learn. Узнайте, как решить задачи на семантику и полярность: WSD, WSI, etc. Получите информацию об автокоррекции: как основном продукте и как подзадаче, которая решается в информационном поиске, NLU, переводе.

Узнайте статистическую сторону языковой модели: вычисление вероятности следующего слова и формулу Байеса.

Путь от NLP до Feed Forward. Узнайте, как тренировать и применять нейронные сети в NLP.

Узнайте библиотеки для обучения, а также про использование популярных нейронных сетей в NLP, таких как рекуррентные, sequence to sequence и Transformer. Поймите концепции работы нейронных сетей — от первых моделей и до современных решений.

Узнайте, как и где искать информацию или решения для нейронного NLP. Научитесь пользоваться открытыми библиотеками для нейронных архитектур.

Узнайте, о кластеризации и классификации текста. Научитесь моделировать темы и полярности: машинное обучение и BERT.

Узнайте, как использовать NER (распознавание именованных сущностей) и решать задачи типа парсинг CV, вычленять имена, адресы, организации. Узнайте как работать со статистикой, нейронными сетями и библиотеками. А также получите информацию о Q&A (вопросно-ответной системе).

Разберитесь в типах чат-ботов и научитесь выбирать тип исходя из задачи. Научитесь выбирать инструменты для создания разных чат-ботов. Получите базовые знания для создания простого чат-бота в DialogFlow.

Узнайте обо всех фичах DialogFlow: их предназначение и использование. Создайте простого FAQ-чат-бота в DialogFlow и научитесь деплоить его в Telegram.

Научитесь решать задачи на генерацию текста. Узнайте, методы и библиотеки генерации текста. Освойте резюмирование текста, узнайте, какие нейронные сети и библиотеки для этого используются.

Узнайте, как устроен машинный перевод, распознавание, синтез речи и стандартные подходы к этим задачам. Научитесь работать со статистическим и нейронным подходами, а также с библиотеками: Transformers, Deepspeech, Kaldi, Opennmt, Marian.

Научитесь улучшать качество NLP-моделей: аугментация текста, избавление от байеза в моделях. Оцените качество построенных моделей, изучите разные метрики, бенчмарки и таски.