Математика и статистика для Data Science
Вы научитесь проводить статистический анализ данных с помощью Python и разовьете математическое мышление для решения реальных задач
Кристина Исакова,
PhD в области математического моделирования
Data Scientist в Holidu
5+ лет опыта
Научитесь анализировать и обрабатывать данные с помощью математических методов, применять операции над множествами в работе с датасетами, использовать простые статистики для оценки пропорций и средних значений.
Сможете применять математические формулы для интерпретации результатов аналитики, определения статистической значимости и погрешности; узнаете, как использовать матрицы и векторы для анализа данных с помощью NumPy.
Освоите Python для анализа данных, научитесь структурно работать с большим объемом данных, разовьете статистическую интуицию и сможете оценивать решения и методы других компаний и консультантов.
• обрабатываете, анализируете и визуализируете данные с помощью Python и его библиотек
• используете математические методы и теории для обработки данных
• интерпретируете результаты анализа, находите и корректируете ошибки
• описываете реальные процессы и задачи на математическом языке
• строите и проверяете статистические гипотезы
• принимаете правильные решения на основе анализа данных
В конце курса вы закрепите полученные знания на практике и представите результаты собственного анализа на основе одного из математических методов, который выберете самостоятельно.
Вы овладеете основами научного и математического мышления, а также освоите основные методы и теории, необходимые для обработки данных.
В процессе обучения вы будете использовать библиотеки NumPy, Pandas, Matplotlib, Seaborn, Plotly, scikit-learn, scipy.stats.
Вы научитесь решать задачи линейной и логистической регрессии, анализировать и интерпретировать данные, проверять статистические гипотезы и находить закономерности.
Вы получите фундаментальные знания математики, которые помогут развиваться в Data Science и понимать алгоритмы машинного обучения.
- Запускаете код в Jupyter Notebook
- Проводите базовые операции над числами и простыми структурами данных
- Применяете циклы for и while
- Понимаете, как сочетание «математика + Python» поможет вам в работе
- Подключаете библиотеки Python
- Оперируете данными с помощью библиотек NumPy и Pandas
- Визуализируете данные и интерпретируете результаты с помощью библиотек Matplotlib и Seaborn
- Применяете моду, медиану, среднее значение и среднеквадратическое отклонение для анализа данных
- Визуализируете результаты анализа и описываете данные
- Используете библиотеки Matplotlib, Seaborn и Plotly
- Знаете, что такое множества и зачем они нужны
- Используете матрицы и векторы для анализа данных с помощью NumPy
- Применяете операции над множествами в работе с данными
- Умеете читать математические обозначения интегрального и дифференциального исчисления
- Используете диаграммы Венна для анализа проблем
- Знаете, что такое вероятность и условная вероятность
- Выполняете простые задания на вероятность
- Применяете теорему Байеса в повседневной жизни при принятии решений
- Знаете, что такое распределение и как оно связано с вероятностью
- Понимаете, что такое математическое ожидание и дисперсия
- Умеете анализировать проблемы и задачи в рабочем контексте
- Описываете задачи с помощью математического ожидания, дисперсии и коэффициента эксцесса
- Понимаете разницу между корреляцией и причинностью
- Умеете анализировать и использовать диаграмму рассеяния для анализа корреляции
- Знаете, что такое математическое ожидание, дисперсия, ковариация и корреляция
- Знаете основные распределения, умеете их применять
- Определяете, какое распределение описывает вашу проблему
- Используете библиотеку stats
- Знаете, что такое статистика и какие проблемы она решает
- Выучили методы выборки
- Планируете и выполняете сборку данных
- Понимаете, что такое точечная оценка
- Знаете, как работает метод максимальной правдоподобности
- Используете простые статистики для оценки пропорций и средних значений
- Знаете, что такое доверительный интервал
- Интерпретируете доверительный интервал
- Строите доверительные интервалы для простых проблем и понимаете, в каких случаях они не работают
- Знаете, что такое P-значение и как его интерпретировать
- Разбираетесь в типах ошибок
- Формулируете статистические гипотезы
- Проверяете простые статистические гипотезы разными методами
- Анализируете качественные данные
- Строите и анализируете таблицы сопряженности
- Проверяете адекватность модели с помощью chi-square и библиотеки stats
- Распознаете возможную ошибку в анализе и корректируете ее
- Проводите поправку при проверке множеств гипотез
- Формулируете проблему для линейной регрессии
- Используете scikit-learn для регрессионного анализа данных
- Проверяете результат регрессионного анализа на адекватность
- Регулируете свою модель разными методами в случае переобучения
- Знаете, что такое статистическое обучение
- Решаете проблемы классификации с помощью логистической регрессии
- Применяете перекрестную проверку
- Используете scikit-learn для классификации данных с помощью логистической регрессии
- Используете scikit-learn для перекрестной проверки
- Умеете делать перекрестную проверку вручную
- Знаете, как браться за решение проблем
- Понимаете, как снизить вероятность ошибок
- ТЕМА: Использование научного метода и статистического анализа для решения проблемы.
- ФОРМАТ: студенты получат задание для проекта на 15 занятиях, на выполнение у них будет 1,5 недели, после чего они представят результаты своего анализа перед лектором и остальными студентами.
- ТРЕБОВАНИЯ К ПРОЕКТУ: Визуализировать данные и провести дескриптивный анализ. Самостоятельно выбрать метод решения задачи (проверка статистических гипотез или доверительный интервал), письменно обосновать этот выбор. Использовать выбранный способ. Применить регрессии, в письменном виде объяснить результаты и выводы. Используйте библиотеку Python. Представить решение лектора и студентам.