Data Science with Python
Перейдите с базового уровня Python к продвинутой работе с массивами данных
Александра Кардаш
Director of Data Science в Shelf
Но не умеет использовать Python и его библиотеки для обработки и визуализации данных
Но стремится научиться проходить полный цикл Data Science задач
Но желает структурировать массивы данных и автоматизировать нахождение закономерностей
Сфера Data Science покрывает большой пласт задач: от анализа больших данных до построения ML-моделей. Мы начнем разбираться в них уже на первом занятии и постепенно освоим ключевые библиотеки Python для обработки, анализа и визуализации данных.
На практике научимся решать такие задачи: очистка данных и поиск отсутствующих значений, прогнозирование и классификация, кластерный анализ данных и поиск взаимосвязей, запуск A/B-тестирования и валидация гипотез, отбор признаков и построение моделей Machine Learning. По результатам курса вы сможете проводить Exploratory Data Analysis, делать прогнозы, углубить знания в Data Science и находить эффективные решения.
Научитесь работать с цифрами и математическими формулами в NumPy, с табличными данными — в Pandas, с визуализациями — в Matplotlib, Seaborn и Plotly. И овладеете еще 6 библиотеками Python для Data Science.
Получите overview основных задач Data Science, разберете базовые типы визуализаций и регрессии, техники построения ансамблей и Machine Learning моделей.
Во время обучения вас ждет много практики. Вы будете выполнять комплексные домашние задания и получать фидбек от лектора по каждому из них.
Значительно расширите стек навыков, сможете внедрить новые решения на текущей работе, заложите фундамент для развития Data Science и узнаете требования на собеседованиях.
- узнаете, чем машинное обучение отличается от классического программирования, и ознакомитесь с видами задач машинного обучения
- овладеете инструментами для интерактивной работы с Python [IPython, Jupyter Notebook и Google Colaboratory]
- познакомитесь с библиотекой NumPy
- научитесь работать с типом данных Array: инициализация, характеристики, копирование, типы данных, reshape, фильтрация, сортировка
- изучите базовые математические функции Array
- научитесь создавать массивы и выполнять базовые операции над ними в библиотеке NumPy
- получите краткий ввод в линейную алгебру и разберете на примерах, как эти математические функции работают в библиотеке NumPy
- научитесь использовать математические и статистические функции в NumPy
- сможете вводить и выводить NumPy-матрицы и массивы разной величины
- узнаете, зачем нужна библиотека Pandas и что она позволяет делать с данными
- ознакомьтесь со структурами данных в Pandas (Series и Dataframe) и научитесь проводить базовые операции над ними
- научитесь создавать, импортировать и экспортировать табличные данные в Pandas Dataframe
- научитесь манипулировать табличными данными
- узнаете, как быстро и удобно работать с табличными данными с помощью Pandas
- ознакомитесь с библиотекой Matplotlib
- научитесь строить базовые визуализации в Python с помощью Matplotlib
- узнаете о трех способах визуализировать данные в Pandas Data Frame
- научитесь строить продвинутые визуализации: heatmap, box plot, pair plot, cumulative plot
- научитесь строить базовые интерактивные визуализации
- узнаете, что такое Exploratory Data Analysis (EDA) и его основные компоненты
- научитесь быстро понимать структуру набора данных любого размера
- узнаете, что делать с пропущенными данными и дубликатами
- научитесь проводить EDA с помощью Pandas, SweetViz, Pandas Profiling
- узнаете, что такое пропущенные значения и почему их нужно прорабатывать
- ознакомьтесь с типами пропущенных значений (случайные, последствия системной ошибки и т. п.)
- научитесь обнаруживать пропущенные значения в выборке данных
- ознакомитесь с разными способами заполнения пропущенных значений и научитесь использовать каждый из них
Градиентный спуск
- разберете модель простой линейной регрессии и ее математическую основу
- ознакомитесь с методом наименьших квадратов и методом градиентного спуска
- научитесь тренировать модель линейной регрессии с помощью библиотеки scikit-learn
- узнаете, как оценивать качество модели линейной регрессии, и научитесь работать с метриками MSE и RMSE
- разберете модель многомерной линейной регрессии и научитесь строить ее с помощью scikit-learn
- научитесь интерпретировать коэффициенты линейной регрессии
- разберете модель полиномиальной регрессии
- узнаете, как оценивать качество модели с помощью метрик MAE, MAPE, R-squared
- разберете модели гребневой регрессии, регрессии по методу LASSO и регрессии «эластичная сеть»
Поиск гиперпараметров
- узнаете, зачем разбивать выборку на train/validation/test-выборки
- поймете, в чем отличие validation- и test-выборок
- узнаете, что такое гиперпараметры модели и в чем их отличие от параметров
- ознакомитесь с методами подбора гиперпараметров и научитесь вызывать их в scikit-learn
- узнаете, что такое перекрестная валидация и как использовать ее в sklearn
- поймете, что такое overfit и underfit (и почему это проблема)
- научитесь применять регуляризацию в моделях регрессии
- узнаете, как учить модель логистической регрессии для классификации данных и оценивать ее качество
- получите алгоритм действий в случае мультиклассовой классификации и поймете, как оценить качество таких моделей
- ознакомитесь с моделью «деревья решений» и узнаете, в чем ее отличие от линейных моделей
- научитесь строить модель «деревья решений» в scikit-learn
- поймете, как работают ансамбли моделей и в чем их преимущества
- разберете базовые (Max Voting, Averaging, Weighted Averaging) и продвинутые (Stacking, Bagging, Boosting) техники построения ансамблей
- научитесь строить разные типы ансамблей моделей
- узнаете, какой способ ансамблирования нужно использовать в случае high bias, а какой — в случае high variance
- изучите принципы работы адаптивного и градиентного бустинга
- ознакомитесь с функциями библиотеки XGBoost, разберете ее особенности и преимущества
- рассмотрите модель кластеризации в качестве примера задачи обучения без учителя
- разберете модели кластеризации K-Means, DBSCAN, Agglomerative Clustering, а также их особенности построения и принципы работы на практике
- научитесь выявлять группы схожих экземпляров данных с помощью кластеризации
- научитесь уменьшать размерность набора данных с большим количеством признаков
- научитесь выбирать фичи так, чтобы оставить только наиболее значимые для модели
- узнаете, как работают и чем отличаются методы уменьшения размерности SVD, PCA и LDA
- ознакомитесь с библиотекой SciPy
- научитесь генерировать случайные величины разных вероятностных распределений, проводить тесты нормальности и сравнивать распределения двух случайных величин
- изучите основы проверки статистических гипотез: ошибки I и II рода, p-value
- узнаете, как проводить А/В-тестирование и проверять гипотезы