Рекомендации Spotify: кто и как определяет, что вы слушаете

Сервис Spotify стал популярным благодаря персонализированным плейлистам, которые формируются с помощью алгоритмов рекомендаций. Их слушает более 500 млн человек ежемесячно, и данные об этом являются исходным материалом, на основе которого можно создавать модели.

Wall Street Journal разобрал, як цей сервіс використовує ШІ та дата-аналіз для персоналізації взаємодії з користувачами. Публікуємо для вас адаптацію цього матеріалу.

Как работает базовая фильтрация и почему она неидеальна

Spotify стал известен в 2008 году, а уже в 2014-м он приобрел музыкальную аналитическую компанию The Echo Nest, которая объединила машинное обучение и обработку естественного языка, чтобы наполнить базу данных песен и исполнителей. Spotify отмечает, что эта разработка стала принципиальным шагом в эволюции системы рекомендаций.

Создание этой системы начинается с совместной фильтрации (collaborative filtering). Она позволяет обнаружить шаблоны и выяснить, насколько часто композиции встречаются рядом в списке воспроизведения. Это можно назвать построением карты музыки и подкастов (map of music and podcast). Карта выглядит примерно так, но на самом деле в ней больше измерений, чем на этом изображении:

Карта музыки и подкастов Spotify // Source: WSJ

Каждая точка на карте ― это отдельный трек в каталоге Spotify. Некоторые треки встречаются рядом, потому что пользователи так размещали их в списках воспроизведения или прослушивали один за другим. То есть если две песни часто встречаются в одном и том же списке воспроизведения, то они будут расположены близко друг к другу.

Но рекомендации, основанные исключительно на совместной фильтрации, неидеальны.

Например, во время праздников песня All I Want For Christmas Is You может попадать в список воспроизведения вместе с Silent Night несмотря на то, что All I Want… звучит как поп-песня:

 

…а Silent Night ― как рождественская:

 

Если бы Spotify создавал рекомендации, учитывая лишь близость треков на карте, то пользователям, которым нравится Мэрайя Кэри, могла бы быть предложена песня Silent Night, хотя рождественские песни их не интересуют.

Дополнительный уровень анализа контента

Чтобы предотвратить это, Spotify добавляет еще один уровень анализа, который называется фильтрацией на основе содержимого (content-based filtering). Этот алгоритм собирает метаданные, в частности данные о дате выпуска и лейбле, и проводит анализ необработанного аудио. Чтобы описать звуковые характеристики трека, он использует такие показатели, как пригодность для танцев и громкость.

Вот результаты для песни Uptown Funk — она имеет рейтинг пригодности для танцев 0,856 (по шкале от 0 до 1):

Source: WSJ

Также алгоритм анализирует временную структуру каждого трека. Вот визуальное представление этого для песни Taylor Swift Anti-Hero — на нем изображены доли, такты и ноты:

Source: WSJ

Также при фильтрации на основе содержимого учитывается культурный контекст. Для этого изучаются тексты песен и производится анализ прилагательных, которые используются для описания трека в статьях и блогах.

Важно! Эти методы фильтрации не уникальны для Spotify. То, что отличает платформу от других, — это количество имеющихся у нее пользовательских данных и продукты, которые она создает на основе этих данных.

Проблемы рекомендаций Spotify

Музыковед и исследователь АІ Томас Ходжсон (Thomas Hodgson) говорит, что опасность алгоритмов в том, что они могут усугубить имеющиеся погрешности. Например, в определенный музыкальный каталог может быть включено больше исполнителей, чем исполнительниц. А когда слушатели начинают взаимодействовать с этим каталогом, такие погрешности увеличиваются — и возникает так называемая цепь обратной связи.

Также алгоритм Spotify не оптимизирован для новых исполнителей как раз из-за отсутствия пользовательских данных. Это называют проблемой холодного запуска. Глава Spotify по персонализации Зиад Султан (Ziad Sultan) говорит, что именно в этой ситуации редакторы играют важную роль в предоставлении рекомендаций:

«Они, пожалуй, одни из лучших людей в мире, которые пытаются понять новые релизы, культуру и то, что актуально».

Но Ходжсон подчеркивает: наибольшее беспокойство вызывает то, что на определенные показатели, используемые для аудиоанализа, могут влиять культурные погрешности. В разных частях света музыкальные системы и музыкальные культуры совершенно разные. В качестве примера можно взять североиндийскую мелодию:

Алгоритм Spotify определяет ее тональность как ми минор, что, по мнению Ходжсона, не подходит для этой музыкальной традиции. Тем не менее музыка, рожденная в Южной Азии, оказывается понятной для алгоритмов по западной шкале с разделением октавы на равные интервалы.

Также некоторые отраслевые эксперты указывают на проблемы с тем, как система понимает метаданные для классической музыки — они могут содержать не только название произведения и имя исполнителя, но и темп, номер опуса и имя дирижера, однако алгоритм Spotify для этого не оптимизирован.

Кстати, Apple Music, которая в последние годы стала конкурентом Spotify, в марте выпустила новое приложение Apple Music Classical, разработанный специально для решения этой проблемы.

Планы Spotify касательно применения AI в будущем

В феврале Spotify снова удивил пользователей использованием искусственного интеллекта в приложении. Компания создала виртуального диджея, который предоставляет алгоритму человеческий голос и предлагает слушателям дополнительный контекст для рекомендации:

 

Султан говорит, что компания исследует и обучение с подкреплением ― технологию, которая позволит системе рекомендаций учиться автоматически на основе отзывов. Это поможет обеспечить разнообразие рекомендаций и длительное удерживание слушателей.