Spotify, Netflix, YouTube: Звідки сервіси знають, який контент нам сподобається?
Як створюють індивідуальні AI-алгоритми для користувачів
Spotify пропонує музику, зважаючи на ваші вподобання, Netflix створює персоналізовані обкладинки, YouTube знає, яка для вас оптимальна тривалість відео.
Пояснюємо, як сервіси цього навчилися.
Коли все почалося
Перші рекомендаційні системи з’явилися ще в 1990-х. Але прорив стався у 2006 році. Тоді компанія Netflix займалася прокатом DVD-дисків через пошту. В той час вона створила систему Cinematch. Її завдання — прогнозувати оцінки користувачів.
Відхилення алгоритму становило 0,9525. Приблизно в той самий час з’явилося The Echo Nest — агентство музичного інтелекту при MIT Media Lab, яке застосувало передовий підхід до персоналізації музики. Воно використовувало алгоритми для аналізу аудіо й тексту, що давало змогу ідентифікувати музику, рекомендувати треки, створювати плейлісти й проводити аналіз.
Зараз користувачі Netflix обирають фільми за іншим принципом. Людина може поставити 10 балів фільмам Фелліні, але не готова дивитися схожий контент кожен день. Що ж рекомендувати — бойовики ввечері та комедії на вихідних?
У Netflix вирішили: щоб рекомендація підходила людині, вона повинна бути:
#1. Цікавою: контент має відповідати вподобанням користувача, але водночас не бути передбачуваним.
#2. Неочікуваною: рекомендації охоплюють контент, який користувач міг би не знайти самостійно, але який відповідає його прихованим вподобанням.
#3. Своєчасною: сервіс зважає на час доби, день тижня, свята і навіть тренди, щоб запропонувати актуальні фільми та серіали.
Як працює алгоритм
Netflix застосовує гібридний підхід до рекомендацій, поєднуючи контентну фільтрацію, колаборативну фільтрацію та глибоке навчання. Він аналізує десятки факторів:
- Що подобається користувачеві — жанри, актори, режисери, до яких він виявляв інтерес.
- Що він уже переглядав — наскільки він додивляється фільми та серіали, чи ставить оцінки.
- Який у нього настрій — вибір контенту в різні дні та час доби.
- Що йому не подобається — фільми та жанри, які він ігнорує.
- Де він перебуває — у різних країнах популярність контенту відрізняється.
- Скільки йому років — дітям і дорослим показують різні добірки.
Персоналізовані обкладинки
Окрім рекомендацій, Netflix показує користувачам різні варіанти обкладинок для серіалів та фільмів. Все залежить від статі, віку та інтересів людини.
Обкладинки для серіалу «Дуже дивні справи» / Netflix
Як обирають обкладинки?
- A/B-тестування — різні версії обкладинок показують різним групам користувачів, аналізуючи їхню реакцію.
- Аналіз вподобань — якщо глядач любить певного актора, його обличчя можуть винести на обкладинку.
- Поведінковий аналіз — обкладинки адаптуються залежно від історії переглядів.
Наприклад, для серіалу «Дуже дивні справи» Netflix тестував кілька обкладинок і залишив ті, які найкраще привертали увагу. Такий підхід підвищує ймовірність вибору контенту і робить користувацький досвід більш персоналізованим.
Що таке колаборативна фільтрація
Це найпопулярніший метод рекомендацій. Ним користуються Netflix, Last.fm, Amazon, eBay, AliExpress, YouTube та Facebook.
Ось як він працює:
Потрібно скласти матрицю оцінок — таблицю, в якій перелічено всіх користувачів та їхні оцінки.
Якщо в різних користувачів схожі оцінки, значить, їхні вподобання збігаються. Якщо одній людині подобаються А і В, а іншій — А і С, то першій рекомендують С, другому — В.
Але в такого підходу є недоліки. Перший — величезний розмір матриці. Кожен рядок — це користувач, а стовпець — об’єкт оцінки. Наприклад, у сервісу Spotify понад 130 млн треків, отже, стовпців повинно бути стільки ж. Важко працювати з таким обсягом у лайв-режимі.
Другий недолік — незрозуміло, які рекомендації будуть корисними новим користувачам і тим, хто не ставить оцінки.
Для розв’язання цієї проблеми користувачів можуть об’єднувати в кластери за інтересами. Але в такому разі рекомендації перестають бути індивідуальними.
Аналіз аудіофайлів у Spotify
У Spotify до нейромережі завантажують кожен трек. Він проходить через усі шари. В результаті ми бачимо різні характеристики треку: розмір, темп, гучність, гармонію та інші. Це допомагає Spotify вловити схожість пісень і дає змогу рекомендувати треки маловідомих артистів з невеликою кількістю оцінок.
Як працює Spotify Discover кожного тижня
Що таке Discover Weekly на Spotify?
Це персоналізований плейліст, який оновлюється кожного тижня і містить 30 пісень, підібраних спеціально для кожного користувача. Його основна мета — допомогти слухачам відкривати нову музику, яка відповідає їхнім смакам, але яку вони, ймовірно, ще не чули. Як працює Discover Weekly? Для створення цього плейліста Spotify використовує три основні алгоритмічні моделі: колаборативну фільтрацію, обробку природної мови (NLP) та аналіз аудіофайлів.
Колаборативна фільтрація (Collaborative Filtering)
Цей алгоритм Discover Weekly заснований на аналізі взаємодії користувачів з музикою. Spotify відстежує, які пісні ви слухаєте, додаєте в плейлісти, лайкаєте або пропускаєте. Потім сервіс порівнює вашу активність з іншими користувачами, які мають схожі вподобання, і пропонує вам треки, які сподобалися їм, але яких ви ще не слухали.
Для цього процесу застосовують технологію матричної факторизації (Matrix Factorization). Вона допомагає зменшити велику кількість даних про користувачів та їхні прослуховування до компактнішої матриці, виявляючи приховані зв’язки між слухачами та піснями. Наприклад:
Якщо у вас і в іншого користувача є однакові улюблені виконавці, але він слухає ще одного музиканта, якого ви не знаєте, Spotify може порекомендувати вам цього виконавця.
Якщо ви часто слухаєте альтернативний рок і додаєте пісні The Killers та Arctic Monkeys до плейліста, а інші користувачі, які роблять те саме, також часто слухають Cage The Elephant, ви, ймовірно, отримаєте пісню від цього гурту у свій Discover Weekly.
Обробка природної мови (Natural Language Processing, NLP)
Рекомендація музики на Spotify використовує ще один потужний інструмент — аналіз текстів за допомогою обробки природної мови (NLP). Алгоритми переглядають мільйони музичних статей, блогів, рецензій та постів у соцмережах, щоб зрозуміти, як і в яких контекстах згадуються пісні та виконавці.
Наприклад:
- Якщо певний новий трек часто згадують у позитивному ключі в статтях про інді-рок, а ви часто слухаєте інді-рок, Spotify може порекомендувати цей трек.
- Якщо в медіа з’являються списки «Найкращі chill-out треки цього місяця», Spotify може використати ці дані, щоб доповнити ваші рекомендації.
Цей метод особливо корисний для нової або маловідомої музики, яка ще не отримала багато прослуховувань, але має високий потенціал бути цікавою для певної аудиторії.
Аналіз аудіофайлів (Raw Audio Analysis)
Щоб зробити рекомендації ще точнішими, Spotify використовує глибокий аналіз самих аудіофайлів. Нейронна мережа (машинне навчання) аналізує кожну пісню, визначаючи її темп, тональність, ритм, енергійність і загальну атмосферу.
Це допомагає:
- Виявляти пісні з подібною динамікою та настроєм, навіть якщо вони належать до різних жанрів.
- Рекомендувати нову музику на основі аудіохарактеристик ваших улюблених треків, навіть якщо вона ще не має багато згадок у медіа або прослуховувань серед користувачів.
- Заповнювати прогалини в рекомендаціях, коли колаборативна фільтрація та NLP не дають достатньо даних.
Наприклад, якщо ви часто слухаєте повільну, меланхолійну інструментальну музику, алгоритм може знайти треки з подібним темпом і тональністю, навіть якщо вони належать до інших жанрів, як-от построк чи класична музика.
Як усе це комбінується в Discover Weekly
Spotify комбінує результати всіх трьох моделей для створення унікального плейліста Discover Weekly для кожного користувача. Це дає змогу брати до уваги не лише статистичну ймовірність того, що вам сподобається пісня, але й контекст того, як вона звучить, як її описують у медіа і що про неї думають слухачі зі схожими вподобаннями.
Ця багаторівнева рекомендаційна система допомагає Spotify залишатися одним із найкращих сервісів для відкриття нової музики, створюючи рекомендації, які здаються природними, цікавими та максимально персоналізованими.
Bandits for Recommendations as Treatments (BaRT)
Ще Spotify задіює AI-систему BaRT (Bandits for Recommendations as Treatments). Її завдання — створити для кожного користувача індивідуальний домашній екран. На основі цієї системи працюють рекомендації сервісу. Їх складання охоплює два етапи. Перший використовує інформацію про людину: яку музику вона слухає, що пропускає, а що лайкає, які плейлісти створює і навіть де перебуває.
На другому етапі система аналізує інформацію про світ: музиканти й пісні, які схожі на ті, що слухаєте ви, їхня популярність і попит.
Також сервіс пояснює людям свій вибір. Створені плейлісти мають назви. Наприклад, «Повернення в минуле». Це вказує людині на те, чому їй рекомендують конкретний плейліст і що вона там почує. Згідно з дослідженням Spotify, саме ці пояснення відіграють головну роль у виборі користувачів.
Рекомендації YouTube
Система платформи отримує мільйони роликів, але користувачеві рекомендує лише кілька десятків. Над цим працюють дві згорткові нейронні мережі — candidate generation та ranking. Перша згорткова нейронна мережа обирає з усіх відео тільки ті, які сподобаються користувачу. Друга розподіляє їх — від цікавіших до менш цікавих.
Алгоритм бере до уваги всю історію поведінки користувача на платформі, а також контекст. Тобто час, вік, стать і місце перебування людини. Крім того, система проводить A/B-тестування. Людині показують різні добірки. Якщо якась сподобалася більше за інші, система адаптує рекомендації, розуміючи, що підходить користувачу.
Також важливий CTR (Click-Through Rate, клікабельність) — співвідношення кількості людей, які почали дивитися відео, до людей, які побачили його в рекомендаціях. Згідно з довідкою YouTube, середній показник CTR для половини відео становить від 2% до 10%.
Але це не найважливіша метрика: якби YouTube враховував тільки її, нам би показували клікбейтні відео. Нейронні мережі використовують для ранжування expected watch time (очікуваний час перегляду відео). Що він більший, то вищі шанси ролика потрапити в рекомендації.
Як YouTube вдосконалює рекомендаційний алгоритм?
- Залучення глибокого навчання та нейромереж для аналізу поведінки користувачів.
- Постійне оновлення моделей машинного навчання на основі нових даних.
- Урахування етичних аспектів та боротьба з маніпуляціями (наприклад, фільтрація шкідливого контенту).
- Персоналізація рекомендацій на основі схожості між глядачами та їхніми інтересами.
Таким чином, YouTube не просто аналізує поведінку користувачів, але й намагається передбачити їхні інтереси, підбираючи контент, який забезпечить максимально довгий і захопливий перегляд.
Висновки
Сервіси, як-от YouTube, Spotify та Netflix, стали майстрами персоналізації, застосовуючи складні алгоритми та машинне навчання. Вони аналізують уподобання користувачів, історію переглядів і поведінкові патерни, щоб пропонувати контент, який ідеально відповідає інтересам людини. Колаборативна фільтрація, обробка природної мови та аналіз аудіофайлів допомагають передбачати музичні вподобання, формувати плейлісти й навіть адаптувати обкладинки фільмів. Такі технології не лише покращують користувацький досвід, але й утримують аудиторію, роблячи взаємодію з платформами максимально інтуїтивно зрозумілою та захопливою.
Автори: Олексій Симончук, Ольга Мельник
