Web Scraping
Научитесь парсить данные с любого веб-ресурса, несмотря на блокеры и ограничения информации, за 11 занятий на курсе.
Владислав Абрамов,
Python Engineer в Jooble
7+ лет опыта в Web Scraping
чтобы автоматизировать процесс поиска информации, обходить блокеры, получать большое количество данных и не делать это вручную
чтобы минимизировать ошибки при переносе и форматировании данных, а также улучшить мониторинг показателей, изменяющихся в режиме реального времени
чтобы овладеть новым инструментом сбора данных, который поможет оптимизировать работу бизнеса и получить больше качественной информации о своих клиентах и конкурентах
Если в 2020 году интернет содержал примерно 64,2 зеттабайта данных, то в 2025 году эта цифра может достичь 180 зеттабайт. Не потеряться в потоке данных позволяет веб-скрапинг.
За 11 онлайн-занятий вы научитесь разрабатывать собственные скраперы, которые будут искать необходимую информацию вместо вас, и создавать рекомендации на основе полученных данных под разные потребности бизнеса. Узнаете, как избегать монотонной работы при «вытягивании» нужной информации и ошибок при переносе данных.
Изучите основы веб-скрапинга, аспекты легальности, методы извлечения данных из веб-страниц с помощью RegEx, CSS-селекторов и XPath. Рассмотрите техники обхода защиты сайтов, включая использование user-agent и прокси — именно они являются главными для обеспечения успешного извлечения данных из сложных ресурсов.
В течение курса будете работать с библиотеками и фреймворками для парсинга данных с вебсайтов: Beautiful Soup, Scrapy, Selenium. С их помощью научитесь автоматизировать сбор и обработку больших объемов информации, а также будете иметь гибкость в выборе подхода к скрапингу.
В финале обучения разработаете 4 готовых скрапера — под каждую изучаемую библиотеку, а также курсовой проект.
Абрамов
- Разберетесь, что такое Web Scraping и какие существуют библиотеки для разработки скраперов
- Узнаете, где можно использовать полученные за курс знания
- Поймете этические и легальные аспекты использования скраперов
- Обработаете основные языки разметки вебсайтов — HTML, XML, JSON
- Создадите виртуальное окружение и установите нужные библиотеки для парсинга данных
- Поймете, как строить XPath для доступа к любому тегу в документе
- Освоите регулярные выражения и CSS-селекторы для поиска и извлечения информации из веб-страниц
- Узнаете типы запросов и ответов
- Обработаете инструмент Postman
- Научитесь использовать библиотеку Requests для отправки запросов на сервер
- Научитесь хранить данные локально и в базе данных
- Сможете выбрать оптимальный формат хранения данных для дальнейшего анализа
- Научитесь писать SQL-запросы для анализа
- Научитесь использовать библиотеку Beautiful Soup для парсинга сайтов
- Обработаете Threads для парсинга
- Найдете нужные HTML-теги с помощью BS
- Поработаете с фреймворком Scrapy для парсинга сайтов
- Ознакомитесь с понятием Spider
- Научитесь использовать Spider для парсинга сайта
- Сможете сохранять полученные данные в разных форматах
- Разберете библиотеку Selenium для парсинга сайтов
- Научитесь работать с CSS-селекторами или XPath для нахождения нужных элементов
- Освоите Selenium для заполнения форм и кликов на странице
- Примените подходы к имитации реального пользователя для успешного получения контента страницы
- Ответы на вопросы студентов
- Советы по выполнению курсового проекта
- Презентация курсовых проектов