< проект в портфолио >
Computer Vision
От простых манипуляций до распознавания объектов и работы с нейросетями — освойте все инструменты, чтобы создавать решения на основе Computer Vision.
Ян Колода
Senior CV & ML Engineer
PhD у сфері Image Processing & Computer Vision
чтобы адаптировать имеющиеся знания Python и базовые навыки работы с данными под задачи Computer Vision, освоить ключевые инструменты для обработки изображений и видео, научиться запускать нейросети
чтобы отработать техники Computer Vision перед тем, как внедрять их в реальные проекты: обработка цифровых изображений, улучшение качества детекции объектов и анализ видеопотоков в live-режиме
чтобы работать с алгоритмами обработки изображений и видео, освоить современные модели, в частности YOLO, научиться пользоваться TensorFlow, OpenCV и другими инструментами для построения нейросетей
Освоите основы детекции объектов с помощью YOLO, SSD, TinyYOLO и SqueezeDet. Научитесь применять эти алгоритмы для распознавания объектов в реальном времени и обнаружения нескольких объектов одновременно на фото и видео.
Освоите основы машинного обучения, необходимые для решения задач компьютерного зрения: классификации, сегментации, трекинга и детекции. Это позволит вам работать с алгоритмами для обработки изображений и видео, а также применять ML-модели для анализа изображений.
Научитесь строить и тренировать нейронные сети с помощью TensorFlow и Keras, чтобы создавать и внедрять модели для обработки и модификации изображений, применять AI-алгоритмы к видеопотоку и решать сложные задачи компьютерного зрения.
- Ознакомитесь с задачами, которые помогает решать Computer Vision
- Получите общую информацию о том, как работает зрительная система
- Узнаете, какие существуют цветовые пространства
- Установите библиотеки NymPy, Matplotlib и OpenCV
- Научитесь выполнять простые операции с помощью этих библиотек
- Узнаете, что такое операции на уровне пикселей, и научитесь читать гистограммы
- Создадите простейшую программу обработки цифровых изображений — например, программу баланса белого цвета
- Изучите принцип работы свертки
- Научитесь имплементировать фильтрацию и манипулировать изображением, используя различные типы фильтрации
- Узнаете, в чем смысл градиентов изображений
- Научитесь имплементировать фильтры выделения границ
- Освоите алгоритм выделения контуров и фильтры в Canny
- Изучите разницу между форматами изображений [raw, png, jpeg]
- Разберете разницу между форматами H264 и H265
- Узнаете, как работает сжатие с потерями, и научитесь работать с изображениями в преобразованной форме
- Попробуете улучшить качество изображения с помощью интеллектуального квантования
- Узнаете, что такое визуальные признаки, и ознакомитесь с типичными задачами, которые можно решить с их помощью
- Выясните, как выделять углы с помощью детектора Харриса
- Разберете алгоритмы обнаружения и описания признаков
- Научитесь применять масштабно-инвариантную трансформацию признаков (SIFT)
- Ознакомитесь с задачами, которые решает image matching
- Изучите принцип аффинного преобразования и однородных координат
- Научитесь использовать гомографию для изображений
- Разработаете ректификатор фотографий документов
- Ознакомитесь с основными принципами работы с моделями данных
- Разберете разницу между классической обработкой данных и машинным обучением
- Научитесь строить простые модели с нуля и проводить их оптимизацию
- Определите, чем отличаются Machine Learning и Deep Learning
- Определите, чем визуальные признаки для детекции лиц отличаются от других объектов
- Ознакомитесь с методом детекции Виолы-Джонса и методом бустинга
- Научитесь работать с изображениями, на которых есть лица, и осуществлять детекцию с помощью OpenCV
- Изучите основы работы трекинга и принципы взаимодействия с цифровым видео
- Разберете разницу между трекингом и детекцией на практике, реализуя реальную рабочую задачу
- Зададите вопросы лектору
- Разберете самые сложные кейсы повторно
- Изучите принципы работы нейронных сетей
- Получите overview открытых библиотек TensorFlow и Keras
- Научитесь строить и тренировать простые нейронные сети
- Попробуете улучшить модель нейронной сети для классической проблемы house pricing
- Узнаете, как ускорить тренировку нейронных сетей в несколько раз с помощью GPU, и разберете другие преимущества графического процессора
- Ознакомитесь с облачным сервисом Google Colaboratory и научитесь строить и тренировать модели в нем
- Выясните, зачем проводить инспекцию баз данных
- Разберете принципы работы сверточных нейронных сетей
- Изучите операции свертки и пулинга
- Научитесь строить и тренировать сверточные нейронные сети
- Ознакомитесь с проблемой переобучения [overfitting]
- Научитесь распознавать проблемы в процессе обучения и применять data augmentation в процессе тренировки
- Научитесь решать задачу сегментации цифровых изображений
- Разберете принцип bottleneck
- Построите простой автоматический энкодер для очистки изображений от шума
- Научитесь строить, тренировать и улучшать нейросети на практике
- Разберете концепт детекции и bounding box
- Научитесь распознавать объекты в режиме реального времени, используя принцип YOLO [You Only Look Once]
- Ознакомитесь с алгоритмом NMS [Non-Maximum Suppression] и другими архитектурами сетей для распознавания объектов [SSD, TinyYOLO, SqueezeDet]
- Примените YOLO, чтобы распознать объекты на собственном видео
- Ознакомитесь с популярными моделями сверточных нейронных сетей
- Изучите процесс fine tuning и научитесь работать с model zoo
- Узнаете, какие проблемы возникают при тренировке сверточных нейронных сетей
- Получите рецепт успешного решения проблем с использованием нейронных сетей
- Зададите вопросы лектору
- Разберете самые сложные кейсы повторно
- Реализуете собственный проект: сегментатор для детекции дорожных знаков или сверточную нейросеть для super-resolution изображений