Web Scraping
Навчіться парсити дані з будь-якого вебресурсу, не зважаючи на блокери та обмеження інформації, за 11 занять на курсі.
Владислав Абрамов,
Python Engineer у Jooble
7+ років досвіду у Web Scraping
щоб автоматизувати процес пошуку інформації, обходити блокери, отримувати велику кількість даних і не робити це вручну
щоб мінімізувати помилки під час перенесення та форматування даних, а також покращити моніторинг показників, що змінюються в режимі реального часу
щоб опанувати новий інструмент збору даних, який допоможе оптимізувати роботу бізнесу та отримати більше якісної інформації про своїх клієнтів і конкурентів
Завдяки вебскрапінгу, Big Data можна «витягувати» із сайтів автоматично та в різних форматах, економлячи час та маючи більше даних про своїх клієнтів і конкурентів.
За 11 занять на курсі ви опануєте основи вебскрапінгу, розглянете етичні питання та перейдете до практичних завдань: моніторингу аудиторії, пошуку лідів, обходу блокерів. В результаті навчитеся створювати власні скрапери, імітувати поведінку користувачів та вилучати інформацію з різноманітних сторінок, користуючись фреймворками Beautiful Soup, Scrapy, Selenium.
Вивчатимете базові концепції вебскрапінгу, аспекти легальності, методи вилучення даних із вебсторінок за допомогою RegEx, CSS-селекторів та XPath. А також розглянете техніки обходу захисту сайтів, включно з використанням user-agent і проксі.
За допомогою основних бібліотек та фреймворків Beautiful Soup, Scrapy, Selenium навчитесь автоматизувати збір та обробку великих обсягів інформації, щоб мати гнучкість у виборі підходу до скрапінгу.
Програма на 70 % складається з практики — для відпрацювання роботи з різними блокерами та форматами. У фіналі навчання матимете 4 готових скрапери під кожну бібліотеку, а також курсовий проєкт для портфоліо.
Абрамов
- З’ясуєте, що таке Web Scraping та які є бібліотеки для розробки скраперів
- Дізнаєтеся, де можна використовувати набуті за курс знання
- Зрозумієте етичні та легальні аспекти використання скраперів
- Опрацюєте основні мови розмітки вебсайтів — HTML, XML, JSON
- Створите віртуальне оточення та встановите потрібні бібліотеки для парсингу даних
- Зрозумієте, яким чином будувати XPath для доступу до будь-якого тегу в документі
- Опануєте регулярні вирази та CSS-селектори для пошуку та вилучення інформації з вебсторінок
- Дізнаєтеся про типи запитів та відповідей
- Опрацюєте інструмент Postman
- Навчитеся використовувати бібліотеку Requests для відправлення запитів на сервер
- Навчитеся зберігати дані локально та в бази даних
- Зможете обирати оптимальний формат збереження даних для подальшого аналізу
- Навчитеся писати SQL-запити для аналізу
- Навчитеся використовувати бібліотеку Beautiful Soup для парсингу сайтів
- Опрацюєте Threads для парсингу
- Знайдете потрібні HTML-теги за допомогою BS
- Опануєте фреймворк Scrapy для парсингу сайтів
- Ознайомитеся з поняттям Spider
- Навчитеся використовувати Spider для парсингу сайту
- Зможете зберігати отримані дані в різних форматах
- Розберете бібліотеку Selenium для парсингу сайтів
- Навчитеся працювати із CSS-селекторами або XPath для знаходження потрібних елементів
- Опануєте Selenium для заповнення форм та кліків на сторінці
- Попрактикуєте підходи до імітації реального користувача для успішного отримання контенту сторінки
- Відповіді на питання студентів
- Поради щодо виконання курсового проєкту
- Презентація курсових проєктів