Как новый «Тонис» завладел душами очень пожилых киевлян. Магия современных технологий – в аналитическую помощь

Многие из вас наверняка слышали о Prisoner's dilemma. Или не слышали. Она тут почти ни к чему – так, вспомнилось. Кто-то из вас любит играть в покер. А может, нет. В целом, существует определенный набор повторяющихся событий или шагов. Но в какой-то момент ожидаемое поведение меняется. К сожалению, долго откладывал этот анализ, но, наконец, выпали свободные суббота и воскресенье – попробовал разложить некоторые цифры на некоторые составляющие.

Итак, в тексте будет много цифр – местами нудных, местами интересных. Подавляющее большинство тех, кто сможет их понять, могли бы получить такие цифры и сами, но иногда не хватает сил или мотивации, чтобы выстроить все это в единое целое. А иногда просто нет смысла все это считать. Но если у тебя работа и 15-летнее хобби совпадают, и ты любишь то, что делаешь, то в выходные ты садишься и считаешь. Из любимых авторов у меня Вебер – тот, что про идеальные типы. Поэтому, делая какой угодно анализ, стоит упрощать все, что видишь – получать идеальный тип и уже с ним работать. Так и тут: долгий период панельных цифр «испортил» часть аналитиков, которые верят в то, что 2,8 отличается от 3,1 и т.д. В целом же, есть такое, открытое кем-то понятие «векторной аналитики» – именно такой я и буду сейчас вас нагружать.

Мир меняется. Появляется масса технологий, ОТТ пытается завоевать мир. Часть ОТТ не только неплохо измеряет, что смотрят абоненты, но и дает отличный аналитический инструмент. В этом материале я попробую показать, что и как из этих данных можно корректно использовать, если работать по принципам векторной аналитики. Я использую данные, предоставленные моим любимым «Ланет». Также подключу к анализу данные Deepmetrics. И все для того, чтобы рассмотреть феномен канала «Тонис».

Почему векторная аналитика? Потому что вы могли читать материалы об измерении ОТТ. Будем смотреть не на прямые цифры, как таковые, а на сравнение изменений в разных выборках. Важная посылка для всего анализа – два понятия:

1). Группа людей, демонстрирующих определенное поведение, – в нашем случае это совокупность тех, кто контактирует или смотрит канал «Тонис»;

2). Независимые подвыборки.

Относительно первого: размер группы не имеет значения для этого вида сравнения, поскольку мы имеем дело с группой людей, у которых есть опыт – и дальше этот опыт меняется (или нет) под действием внешнего фактора. То есть если мы действуем снаружи (в нашем случае меняем канал) – изменения получают реакцию. Эта реакция или видима, или отсутствует (в нашем случае это будет рост популярности канала). Говоря «популярность», мы подразумеваем, что канал стали смотреть больше. Кроме того, есть еще и внешнее сравнение – изменения относительно других каналов.

Итак, отслеживаем эволюцию смотрения канала в данных «Ланет», Oll.TV и в панели. В панели сделаем это на разных подвыборках – в частности в разных регионах и разных типах приема.

Кроме того, помним, что ОТТ-провайдеры меряют не людей, а включенные телевизоры. Поэтому в данных панели будем использовать аналогичный показатель – смотрение домохозяйств, а не индивидов.

Также на всякий случай напомню о погрешности выборочных исследований. Говоря о ней, часто забывают, что эта погрешность рассчитана для определенной вероятности. Например, указав, что погрешность 5%, часто не доказывают, что она в 95% или в 99% случаев. То есть на 1 или на 5 исследований из 100 может быть и больше. Поэтому выявленные далее находки, возможно, указывают, что у многих каналов погрешность точно так же может быть в рамках допустимых 5-7%, но один из 50 каналов может иметь существенно большую погрешность. Что означает эта погрешность. Не буду обременять вас понятием генеральной совокупности, поэтому это означает, что цифры, которые мы видим в выборочном исследовании, очень близки к тому, что происходит у всех людей, а не только у опрошенных. Напомню, что телевизионное панельное исследование – это выборочное исследование.

Ну а теперь, после всех вступлений, для тех, кто уже измучился – цифры.

Эволюция цифр канала «Тонис». Данные панели. Целевая тут и далее – все домохозяйства, 50+.

Смотрим на данные за 2017 год. Красным обозначен обновленный «Тонис», запустившийся 24 августа. Рост от пика, зафиксированного до ребрендинга, составил 1,5 раза. Рост от среднего показателя (до ребрендинга) – 2,5 раза.

Соответственно, на старте мы имеем канал, который смог вырастить показатели в 1,5 раза от исторического максимума. Поэтому аналитически не мог не возникнуть вопрос природы этого роста: рост в рамках этих 95% доверительного интервала или рост, который нельзя распространить на генеральную совокупность, и этот рост – это артефакт избирательности исследования.

Посмотрим, что у нас в данных Oll.TV:

Теперь – аналогичные данные канала за каждый день года у «Ланет»:

Чтобы вы долго не всматривались в экраны своих телефонов или ноутбуков, переведем диаграммы в таблицу. В таблице просчитаем два индекса, для чего сделаем 23 августа «водоразделом»: до 23-го включительно будут одни данные, а с 23 по 31 (даты переформатирования «Тониса») – другая группа данных.

Первый индекс – наибольшая доля канала в первом отрезке, на графике это синий цвет (данные старого «Тониса»); потом найдем рекордную цифру второго отрезка (красная кривая). Разделим одну на другую и получим индекс – насколько новый «Тонис» смог или не смог превзойти старый на максимуме. Второй индекс рассчитаем в зависимости от средней перфоменса канала – то есть посчитаем среднюю арифметическую долю дней, когда «Тонис» был «Тонисом», и арифметическую долю после релонча. Таким образом узнаем не только, смог ли новый канал превзойти топ того, что было раньше, но и стал ли он интереснее старого «Тониса» в среднем.

Таблица заставляет копать дальше. И спрашивать себя, неужели новый «Тонис» – это канал, которому просто повезло не попасть в 95% интервал, и его реальная погрешность выборочного исследования намного больше ожидаемой по панели. По данным выглядит так, что не все цифры можно уверенно или бездумно экстраполировать на все население или на всю генеральную совокупность. Соответственно, теперь, благодаря развитию ОТТ, каждую цифру можно векторно проверить и векторно верифицировать. Это можно делать не только с каналами, но и с программами – так технологии приходят на помощь аналитикам и исследователям.

Чуть не забыл: вот таблица, с которой начинаются вопросы о счастливом случае вылета за 95% вероятность выборки, или о том, что привело к такому перекосу. Где ключи от душ и мыслей зрителей, и какие это ключи – экстраполятивные или ситуативные?

Учитывая, что это кульминационная точка, разберем таблицу детальнее – для тех, кто хочет читать и не хочет изучать таблицу самостоятельно.

Метрики от Oll.TV указывают, что «Тонис» после ребрендинга смог за первые несколько дней в среднем набирать доли на 19% больше, нежели делал до этого. То есть – если интерпретировать грубо – нарастил свое смотрение на 19%. Смог ли канал сделать что-то чрезвычайное – максимум доли за день был выше или ниже того, что «Тонис» делал ранее: зрители Oll.TV указывают, что нет, что даже лучший день нового «Тониса» был на 6% хуже лучшего дня старого «Тониса» в 2017 году.

Дальше – пакет другой аудитории, зрители платных пакетов «Ланет». Данные очень похожи, а в векторной аналитике даже больше – они идентичны. Канал на 9% вырос относительно старого «Тониса». Поясню грубо: два набора современных данных говорят, что да, канал в среднем немного вырос, но на пике были дни, когда «Тонис» смотрели не хуже – то есть топовые данные канала не показали чего-то чрезвычайного.

Посредине – данные выборочного исследования, где фиксируем рост среднего показателя на 158% (или в 2,5 раза). А максимальная доля нового «Тониса» на 58% выше максимальной старого. Когда будете смотреть другие таблички, задавайте себе вопрос: могут ли эти цифры экстраполироваться на все население, или это всего лишь тот 5% вероятностный выброс, когда некоторым каналам везет на большую позитивную погрешность – когда данные выборочного исследования могут быть существенно выше тех, что предполагает вероятностная статистическая избирательность. Думаю, появятся исследования, как публичные, так и закрытые, где будут измерять знание и силу бренда – которые или подтвердят экстраполятивную точность или опровергнут ее.

Перед тем, как я перейду к детальному рассмотрению феномена роста показателей и оставлю данные «Ланет» и Deepmetrics тем, кто может самостоятельно провести такие же упражнения, рассмотрим динамику показателей в середине дня 24 августа, дня старта обновленного «Тониса». На кривой рассмотрим, как вели себя в этот день два основных информационных канала  («112 Украина» и NewsOne) и новый «Тонис». Такую точность данных дает Deepmetrics, поэтому сравним два вектора Deepmetrics и выборочное исследование.

Сначала посмотрим на Deepmetrics. Данные по 15 минут за 24 августа. Основные информационные каналы. Целевая, как вы помните, – домохозяйства (то есть включенные экраны).

Что видим: «112» весь день не сдавал лидерских позиций, хотя сильно просел относительно себя же в слоте 18:40-22:00. Что же до «Прямого», он обходит сразу ZIK и «Еспресо», 14:00 выходит на третье место, не обходя NewsOne, пик припадает на слот 17:15-18:00. Потом резкий спад. С 17:15 до 19:30 идет на уровне с NewsOne. После 20:00 резко падает и опускается до уровня ZIK и «Еспресо».

А что было в выборочном исследовании?

В выборочном исследовании «112» лидирует с 9 до 14, потом кривая резко падает – существенно раньше, чем в данных Oll.TV. Кроме того, если в Oll.TV «112», несмотря на падение, был лидером весь день, то тут ситуация другая: с 16:30 «112» перестает лидировать. Более того: новый «Тонис», который в Oll.TV только обгонял или приближался к NewsOne, тут выходит в лидеры. Проходит пик и точно так же сдувается. А вот динамика «Еспресо» и ZIK очень похожа в двух сетах данных.

Такое интересное сравнение.

Переходим к данным панели. Будет много таблиц – надеюсь, у вас хватит вдохновения их прочитать.

Сделаем такие же индексы, что были выше. Или еще проще – сравним долю «Тониса» за 2017 год до 24 августа и после (24-е включаем во вторую группу). Затем поделим одно среднее на другое. Начнем с макро-сравнения – это регионы. Как в каком регионе сработал ребрендинг.

Видим сенсационный индекс 268 в Киеве, хотя в остальных регионах индекс векторно близок к данным Oll.TV и «Ланет». То есть именно Киев получается с супер-перекосом. Может, именно киевская подвыборка выходит за рамки 95% вероятностного интервала стандартных погрешностей. Повторим еще раз: до ребрендинга «Тонис» был в Киеве немного популярнее, чем в других регионах. Но уже с первых дней ребрендинга показатели рванули вверх. Чем особенны киевляне, что их вкусы так разительно отличаются от остальных украинцев? И действительно ли каналу удалось найти ключи только к ним? И можно ли из этого сделать вывод, что новый «Тонис» – исключительно региональный канал?

В следующей таблице используем аналогичный индекс, но по возрастным группам – к Киеву вернемся позже.

Канал для очень пожилых (что такое «18+» – будет отдельная статья). В этом случае видим, что высокие доли по «18+» – это на самом деле доли по «60+», а может, и «70+». Такая себе статистическая подмена понятий. Поэтому не все каналы по «18+» сравнимы (но это уже другая статья).

Посмотрим по городам?

Если старый «Тонис» почти одинаково смотрели в городах 50+ и 50-, то обновленный «Тонис» не смог удивить провинцию. Если исходить из тезиса об одинаковой реакции на хороший стимул, видим, что, возможно, действительно есть предпосылки говорить о погрешности, превышающей статистически ожидаемую.  

Можно найти и другие разрезы, диссонирующие между собой.

Теперь посмотрим в динамике – кто эти люди и откуда они пришли на новый «Тонис». Если вы внимательно читали, намек на погрешность нам дает Киев, поэтому для простоты анализа сосредоточимся только на Киеве, где, возможно, мы напали на те 5%, которые не описываются 95% вероятность стандартной погрешности. Где погрешность может быть чрезвычайной.

Для начала разложим Киев на четыре группы зрителей: не смотрели обновленный «Тонис», смотрели мало (33% зрителей), смотрели средне (от 34% до 66%) и смотрели много (более 67%).

Можем экстраполировать из данных, что 1,8 млн киевлян ни разу не включали обновленный «Тонис». 240 тысяч побывали на канале совершенно случайно – в среднем примерно 2 минуты за весь период существования нового вещателя. Группа «смотрели средне» составляет где-то 220 тысяч – это также случайные зрители, которые с 24 по 31 августа суммарно насмотрели на канале аж по 15 минут. Соответственно, их также нельзя назвать теми, кто по-настоящему смотрел канал. В последней группе – примерно 200 тысяч, за период существования нового «Тониса» они суммарно насмотрели почти на 5 часов каждый. Их-то мы и рассмотрим индивидуально. То есть разложим эти 200 тысяч на группы по 5% (то есть на группы почти по 10-15 тысяч) и посмотрим, как внутри этой группы смотрели канал киевляне. 

Из этого графика видно, что в целом аудитория канала в столице составляет 20-22 тысячи киевлян, которые очень активно смотрят обновленный «Тонис». Напомню, что средний экстраполят выборочного исследования – около 7 тысяч человек. Кроме того, все эти 20 тысяч – люди, которым за 68 лет. Соответственно, в целом обновленный «Тонис» – это канал очень пожилых зрителей из Киева.

Касательная аудитория канала – это еще около 40 тысяч, если считать в экстраполятах. Вернемся к главному вопросу, прозвучавшему в начале статьи: статистическое ли это счастье, что канал смог попасть в те 5%, для которых не работает правило стандартной погрешности? Возможно, из данных, которые мы видим, – в аналогично построенной выборке – вероятность повторить такой успех у канала незначительная. Соответственно, особенностью, которая фиксируется сейчас в выборочном исследовании, может быть не наделена генеральная совокупность в целом.

Рассмотрим, откуда пришли эти зрители. Аудиторию канала мы зафиксировали – это те, кто насмотрел более 40 минут нового «Тониса» в августе. Сначала сделаем простой аналитический шаг – выясним, знали ли они о существовании частоты «Тонис». То есть смотрели ли они канал до его обновления:

Из таблицы видно, что самые активные зрители обновленного «Тониса» – это, как ни удивительно, те самые зрители, которые смотрели старый «Тонис» в Киеве. И делали это очень активно. Топ-группа – те 20 тысяч, которые мы увидели ранее, – 110 дней в 2017 году (без учета августа) включались на «Тонис». Как помните, им более 68 лет – то есть складывается впечатление, что они просто смотрят «кнопку», но теперь реже ее выключают.

За счет каких каналов произошел прирост в Киеве? Как ни удивительно, основной прирост в смотрении произошел за счет несмотрения ТВ. То есть рост рейтингов (главный рост) – следствие того, что зрители нового «Тониса» стали смотреть ТВ больше, чем делали это раньше. То есть они практически так же смотрят все другие каналы, а вот на просмотр обновленного «Тониса» смогли еще выкроить время. 

В таблице мы видим, что с 24 августа рейтинги группы зрителей на канале выросли на 2,3 пункта. При этом наибольшим донором оказались само телесмотрение, которое выросло на 3,4 пункта, и главные телеканалы, которые группа стала смотреть меньше (то есть перешла с канала на канал) – это «Украина», НТН, NewsOne, «112» и ICTV.

В следующей таблице рассмотрим самые активные 5%, которые были в графике ранее – то есть те, что насмотрели на новом «Тонисе» 38 часов. Картина по ним интереснее – они почему-то решили предать «112», а не такой близкий NewsOne.  

Как видим, зрителей, ставших фанатами нового «Тониса», собрали со «112» и «5 канала», немного – с «Еспресо» и ICTV, а NewsOne почти не пострадал.

Ну а теперь – выводы для тех, кто читал быстро и поверхностно:

1). Обновленный «Тонис» может быть победителем лотереи, где данные выборочного исследования могут экстраполироваться за пределами 95% вероятностного интервала. Для этого мы сравнили динамику показателей обновленного канала в данных от операторов, и они не указывают на драматический скачок показателей;

2). Зрители обновленного «Тониса» в Киеве – это зрители, смотревшие старый «Тонис» на старой кнопке. Просто теперь они зависают на нем дольше;

3). Обновленный «Тонис», который в выборочном исследовании рванул вверх, сделал это исключительно в Киеве;

4). Зрители канала очень пожилые;

5). Основной донор показателей канала – рост общего телесмотрения. Зрители практически не поменяли вкусы в Киеве, но те, кто присел на «Тонис», не выключают ТВ дольше.

Если у вас есть какие-то мысли, гипотезы или аналитика по теме – велкам. Пишите в Фейсбук.

Фото - dailymail.co.uk