Data Science with Python
Александра Кардаш
Data Scientist в Shelf
16 онлайн-занятий
[по понедельникам и четвергам]
Курс научит решать основные задачи Data Science с помощью углубленной работы с Python и его библиотеками. В результате вы сможете строить продвинутые визуализации, находить взаимосвязи в данных, делать прогнозы и обучать модели.
*язык курса - ua
Data Analysts /
Product Analysts
чтобы освоить библиотеки Python для Data Science, научиться с помощью простого кода проводить манипуляции над данными и на основе глубокого анализа предлагать бизнес-решения, которые точно сработают.
чтобы проводить Exploratory Data Analysis, делать прогнозы и строить простые ML-модели. Научиться находить инсайты в графиках и диаграммах, а потом на основе анализа формулировать и валидировать статистические гипотезы.
Сфера Data Science покрывает огромный пласт задач: от анализа больших данных ― до построения ML-моделей. Мы начнем в них разбираться уже на первом занятии и постепенно освоим ключевые библиотеки Python для обработки, анализа и визуализации данных.
На практике мы научимся решать такие задачи, как: очистка данных и поиск отсутствующих значений, прогнозирование и классификация, кластерный анализ данных и поиск взаимосвязей, запуск А/В-тестирований и валидация гипотез, отбор признаков и построение моделей machine learning. По итогам курса вы сможете проводить Exploratory Data Analysis, делать прогнозы и начать свой путь в Data Science.
Научитесь работать с цифрами и математическими формулами в NumPy, с табличными данными ― в Pandas, с визуализациями ― в Matplotlib, Seaborn и Plotly. И освоите еще 6 библиотек Python для Data Science.
Получите overview основных задач Data Science, разберете базовые типы визуализаций и модели регрессий, техники построения ансамблей и machine learning моделей.
Во время обучения вас ждет много практики. Вы будете выполнять сложные домашние задания и получать фидбек от лектора по каждому.
Значительно расширите стек навыков, сможете внедрить новые решения на текущей работе и заложите фундамент для развития в Data Science.
и знакомство с NumPy
- узнаете, чем машинное обучение отличается от классического программирования, и ознакомитесь с видами задач машинного обучения
- освоите инструменты для интерактивной работы с Python [IPython, Jupyter Notebook и Google Colaboratory]
- познакомитесь с библиотекой NumPy
- научитесь работать с типом данных Array: инициализация, характеристики, копирование, типы данных, reshape, фильтрация, сортировка
- изучите базовые математические функции Array
- научитесь создавать массивы и выполнять базовые операции над ними в библиотеке NumPy
- получите краткий ввод в линейную алгебру и разберете на примерах, как эти математические функции работают в библиотеке NumPy
- научитесь использовать математические и статистические функции в NumPy
- научитесь вводить и выводить NumPy-матрицы и массивы разной величины
- узнаете, зачем нужна библиотека Pandas и что она позволяет делать с данными
- ознакомитесь со структурами данных в Pandas (Series и Dataframe) и научитесь проводить базовые операции над ними
- научитесь создавать, импортировать и экспортировать табличные данные в Pandas Dataframe
- научитесь манипулировать табличными данными
- узнаете, как быстро и удобно работать с табличными данными с помощью Pandas
- ознакомитесь с библиотекой Matplotlib
- научитесь строить базовые визуализации в Python с помощью Matplotlib
- узнаете о трех способах визуализировать данные в Pandas Data Frame
- научитесь строить продвинутые визуализации: heatmap, box plot, pair plot, cumulative plot
- научитесь строить базовые интерактивные визуализации
- узнаете, что такое Exploratory Data Analysis (EDA) и его основные компоненты
- научитесь быстро понимать структуру набора данных любого размера
- узнаете, что делать с пропущенными данными и дубликатами
- научитесь проводить EDA с помощью Pandas, Sweetviz, Pandas Profiling
- узнаете, что такое пропущенные значения и почему их нужно прорабатывать
- ознакомитесь с типами пропущенных значений (случайные, последствия системной ошибки и т. п.)
- научитесь обнаруживать пропущенные значения в выборке данных
- ознакомитесь с разными способами заполнения пропущенных значений и научитесь использовать каждый из них
Градиентный спуск
- разберете модель простой линейной регрессии и ее математическую основу
- ознакомитесь с методом наименьших квадратов и методом градиентного спуска
- научитесь тренировке модели линейной регрессии с помощью библиотеки scikit-learn
- узнаете, как оценивать качество модели линейной регрессии, и научитесь работать с метриками MSE и RMSE
- разберете модель многомерной линейной регрессии и научитесь строить ее с помощью scikit-learn
- научитесь интерпретировать коэффициенты линейной регрессии
- разберете модель полиномиальной регрессии
- узнаете, как оценивать качество модели с помощью метрик MAE, MAPE, R-squared
- разберете модели гребеночной регрессии, регрессии по методу LASSO и регрессии «эластичная сеть»
Поиск гиперпараметров
- узнаете, зачем разбивать выборку на train/validation/test-выборки
- поймете, в чем отличие validation- и test-выборок
- узнаете, что такое гиперпараметры модели и в чем их отличие от параметров
- ознакомитесь с методами подбора гиперпараметров и научитесь вызывать их в scikit-learn
- узнаете, что такое перекрестная валидация и как использовать ее в sklearn
- поймете, что такое overfit и underfit (и почему это проблема)
- научитесь применять регуляризацию в моделях регрессии
- узнаете, как обучать модель логистической регрессии для классификации данных и оценивать ее качество
- получите алгоритм действий в случае мультиклассовой классификации и поймете, как оценить качество таких моделей
- ознакомитесь с моделью «деревья решений» и узнаете, в чем ее отличие от линейных моделей
- научитесь строить модель «деревья решений» в scikit-learn
- поймете, как работают ансамбли моделей и в чем их преимущества
- разберете базовые (Max Voting, Averaging, Weighted Averaging) и продвинутые (Stacking, Bagging, Boosting) техники построения ансамблей
- научитесь строить разные типы ансамблей моделей
- узнаете, какой способ ансамблирования нужно использовать в случае high bias, а какой — в случае high variance
и градиентный бустинг. Библиотеки XGBoost
- изучите принципы работы адаптивного и градиентного бустингов
- ознакомитесь с функциями библиотеки XGBoost, разберете ее особенности и преимущества
- разберете модель кластеризации в качестве примера задачи обучения без учителя
- разберете модели кластеризации K-Means, DBSCAN, Agglomerative Clustering, а также их особенности построения и принципы работы на практике
- научитесь выявлять группы схожих экземпляров данных с помощью кластеризации
- научитесь уменьшать размерность набора данных с большим количеством признаков
- научитесь выбирать фичи так, чтобы оставить только самые значимые для модели
- узнаете, как работают и чем отличаются методы уменьшения размерности SVD, PCA и LDA
- ознакомитесь с библиотекой SciPy
- научитесь генерировать случайные величины разных вероятностных распределений, проводить тесты нормальности и сравнивать распределения двух случайных величин
- изучите основы проверки статистических гипотез: ошибки I и II рода, p-value
- узнаете, как проводить А/В-тестирование и проверять гипотезы