Тайны многоруких бандитов. Как персонализировать контент – опыт Netflix

Недавняя премьера «Брандашмыга» – интерактивного эпизода «Черного зеркала» (Black Mirror: Bandersnatch) – вывела представления об интерактивности контента на новый уровень. Во время просмотра зрителям постоянно, при малейшем повороте сюжета, предлагается делать выбор. И от этих решений зависит, куда двинется история. Как выяснил один из пользователей Reddit под ником alpine-, всего у «Брандашмыга» может быть 5 основных концовок – плюс еще несколько вариантов, фактически ведущих в никуда, но останавливающих развитие истории (куда ведет каждый из выборов, alpine- показал на специальной схеме). Да, такой контент ну очень сложно украсть. Впрочем, нет ничего невозможного: уже на следующий день после премьеры, на торрентах появился один из вариантов «Брандашмыга». Пираты исходили из того, что когда пользователь не успевает (или не хочет) сделать выбор, система сама выбирает вариант по умолчанию. Они позволили ей сделать это 68 раз – и получили линейный таймлайн, который сочли основным. Несмотря на все достижения пиратской мысли, очевидно, что не будучи подписчиком Netflix, нельзя в полной мере насладиться этим эпизодом, – таким, каким он был задуман. 

Именно в этом – в привлечении новых подписчиков – видимо, заключалась стратегическая цель разработки такого сложного проекта: стриминг-сервису, постоянно наращивающему производственные бюджеты, увеличение базы пользователей необходимо, чтобы удерживать доверие рынка и инвесторов. Так же, как и, конечно, необходимо сохранение уже существующих пользователей. И работу над этим сервис не прекращает никогда. Главный инструмент удержания внимания – максимальная персонализация пользовательского опыта. И сегодня, когда тема персонализации контента волнует практически всех, кто связан с его производством и дистрибуцией, очень интересно поближе присмотреться к передовому опыту Netflix в этой сфере. Что я и сделала, познакомившись с отчетом блогера medium.com о прошлогоднем Personalization, Recommendation and Search Workshop, который компания Netflix организовала уже в третий раз. Итак, о чем же там говорили? 

Персонализация = максимум удовольствия + минимум времени на поиск 

Так старший научный сотрудник Netflix Джайа Кавале и старший инженер-исследователь Фернандо Амата в совместной презентации сформулировали формулу успеха своей работы. Работа эта в результате сводится к тому, чтобы формировать контентные предложения, максимально подходящие каждому конкретному пользователю, и предоставлять их ему в наиболее удобной форме.  Все, что пользователь видит, заходя на свою домашнюю страницу Netflix, персонализировано: главный банер, рекомендательные списки, поиск. Причем речь не только о выборе определенных шоу, но – о персонализации того, как именно они поданы конкретному человеку: с каким дизайном обложки, с каким текстом синопсиса. Такая персонализация идет по двум направлениям – оптимизация иллюстраций (artwork optimization) и отбор рекомендуемых шоу (billboard selection).

Вот, к примеру, сколько «Очень странных дел» – с разными эмоциональными и тематическими акцентами – может выплыть в разных пользовательских профилях. И это, конечно, далеко не все варианты 

Подбор персонализированных иллюстраций в первую очередь опирается на пользовательскую историю и может отталкиваться от разных вещей – например, тематики и жанра. Как это работает, посмотрим на примере персонализации иллюстраций к драме «Умница Уилл Хантинг». Человеку, посмотревшему много романтических фильмов, имеет смысл показать кадр с Мэттом Дэймоном и Минни Драйвер, а вот фаната комедий, вероятно, заинтересует Робин Уильямс. Или же можно отталкиваться от любимых актеров пользователя, определить которых позволяют, опять-таки, те фильмы и сериалы, которые человек смотрел ранее. 

Три картинки слева показывают пользовательский опыт, а картинка справа – это персонализированная иллюстрация, созданная на его основе 

Хотя, как по мне, лучше бы Сэмюэла Л. Джексона поставили, motherf*cka!

Но, конечно, не все сценарии персонализации иллюстраций настолько ясны и очевидны. Поэтому в Netflix не полагаются на ручной подбор и человеческий фактор, а вместо этого используют массивы данных, интерпретация которых подсказывает, какие сигналы использовать в каждом конкретном случае и на чем делать акценты.  

Найди то, не знаю что 

Что касается отбора рекомендуемых шоу, то тут еще сложнее. По данным сайта finder.com, в библиотеке Netflix – свыше 13,5 тыс. наименований шоу. Нетрудно представить, как легко потеряться в таким море контента. Причем – не только пользователю, но и самому контенту: при такой конкуренции, у многих нераскрученных шоу вообще нет шанса попасться на глаза хотя бы парочке зрителей. Точнее, не было бы, если бы не та самая персонализация отбора. И – многорукие бандиты, которые ею занимаются. 

Многорукие бандиты – Multi-Armed Bandits – это алгоритм рандомизации выдачи, способный предложить решения, которые не получится смоделировать, используя другие методы машинного обучения. Так, Джайа Кавале рассказывает о пяти аспектах, важных для успешной персонализации контента, с которыми не справляется метод классической факторизации матрицы: а именно – чувствительность ко времени, недостаток обратной связи, динамичность каталога, нестационарная база пользователей и фактор доступности/недоступности того или иного контента в разных странах. А для шустрых многоруких бандитов, которые обучаются быстро и непрерывно, все это – не проблема.   

Свое название метод получил в честь «одноруких бандитов» – игровых автоматов с рычагом, за который можно потянуть и получить выигрыш. Представьте, что вы – в зале с десятком таких автоматов, и у вас есть N бесплатных попыток для игры на любом из них. Задача – выиграть побольше денег, но заранее неизвестно, какой автомат дает самый большой выигрыш. Идея многоруких бандитов как раз заключается в том, чтобы найти самый выгодный автомат с минимальными потерями (игрой на невыгодных автоматах). Если сформулировать это в терминах нашей задачи подбора рекомендаций, то получится, что автоматы – это шоу, каждая попытка дернуть за ручку – выбор шоу для генерации рекомендаций, а выигрыш – некие новые данные, которые зависят от фидбека пользователя: они могут улучшить пользовательский опыт, а также способствовать продвижению контента. И еще выигрыш – это деньги, само собой: те деньги, которые люди готовы платить за подписку на сервис, предоставляющий им наиболее релевантный и интересный контент. А также – финансы, сэкономленные на обычном А/B-тестировании: использование многоруких бандитов обходится дешевле, к тому же – быстрее дает результат, ведь метод позволяет проверять много разных гипотез сразу, автоматически отбрасывая совсем плохие.  

Понятнее работу многоруких бандитов можно объяснить на примере интернет-поисковиков. Алгоритм ранжирования поисковых систем во многом базируется на поведенческих факторах – в том числе на факторах, связанных с переходом из поиска по конкретному запросу. Но при таких вводных слишком большое количество сайтов оказываются вообще без каких-либо оценок данных факторов. А все потому, что большинство пользователей идут на сайты, которые находятся на первой странице выдачи. Из-за этого происходит своеобразная «заморозка» выдачи. Нет трафика – нет поведенческих факторов, а значит, нет высоких позиций. Замкнутый круг, состоящий из одних и тех же – наиболее «кликаемых» – сайтов. При этом вполне вероятно, что где-то там – на второй, третьей или даже двадцатой странице результатов выдачи есть ресурс, который намного больше соответствует запросу пользователя. Вот только пользователь об этом сайте никогда не узнает – потому что до него не долистает. И тут-то в дело вступает многорукий бандит: этот алгоритм периодически подмешивает в топ выдачи новые релевантные запросу ресурсы, чтобы пользователи смогли оценить их полезность. А дальше вступает в силу «естественный отбор»: если люди оценят новый сайт, он и дальше будет мелькать в выдаче, а если никого не заинтересует – то вернется на прежнее место. 

Так же и с тайтлами библиотеки Netflix: исходя из пользовательской истории, многорукие бандиты периодически подбрасывают людям новые шоу и сериалы, о которых они, скорее всего, слыхом ни слыхивали, но у которых есть шанс им понравится. Таким образом, если бандит дернет ручку правильного автомата – подскажет подходящее шоу тем людям, которые смогут его оценить, – то в выигрыше окажутся все. У зрителей будет интересный им контент, у шоу – органический рост популярности, а у Netflix – лояльность и вовлеченность аудитории. 

Каждому – свое 

Использовать многоруких бандитов для решения проблемы отбора рекомендуемых шоу имеет смысл только в сочетании с персонализацией иллюстраций, о которой говорилось выше. Иначе, например, бандит отыщет в закромах Netflix какой-нибудь сериал, идеально соответствующий вкусам определенного пользователя, но тот не кликнет на него – из-за обложки, не привлекающей именно его внимание. И все будет зря. Поэтому, чтобы дать дизайнерам Netflix возможность генерировать огромные объемы этих персонализированных иллюстраций, другая команда разработчиков компании создала специальный алгоритм для предоставления таких предложений-вижуалов с целью полностью автоматизировать данный процесс.

В использовании многоруких бандитов для персонализированного подбора контента решающее значение имеет контекст (зрительские предпочтения). Онлайн-тестирование этого метода на 125 млн пользователей Netflix показало, что оптимизация иллюстраций наиболее полезна для малоизвестных фильмов и сериалов: если добавить их в рекомендации подходящим пользователям и снабдить релевантной для каждого обложкой, люди будут их смотреть. 

Что ж, все отлично, все работает. Но Netflix и этого мало. Одно из будущих направлений исследований многоруких бандитов в Netflix – задача удержания пользователя (его удовольствия) вместо задачи повышения кликабельности (CTR). В долгосрочной перспективе это значит, что многоруким бандитам будет добавляться все больше и больше вариантов для выбора. Цель – создание полностью персонализированного сайта или приложения: как по содержанию, так и по дизайну. То есть в будущем по версии Netflix будет не просто «одно сплошное телевидение», но еще и у каждого – свое. Фантастика? Кажется, уже нет. 

Фото - blogto.com