Baidu или не Baidu

В чем контекст 
Последнее время у рынка появляются вопросы к качеству OEM-трафика, вчастности трафика с «кастомных клавиатур», которые изменяют вид оригинальнойклавиатуры и добавляют эмоджи. Есть гипотеза, что трафик с таких клавиатурпросто каннибализирует органику. Мы в Go Mobile решили эту гипотезу проверить —в качестве паблишера использовали Baidu, а в качестве источника трафика —клавиатуру от Xiaomi, она же facemoji.
Немного теории
Если пользователь использует кастомную клавиатуру, то при вводе поисковогозапроса ему рекомендуются приложения в зависимости от вводимого текста. Нижепример, как это выглядит.

А вот что пользователь не видит
— Когда юзер вводит текст, клавиатура по умолчанию собирает всю вводимуюинформацию и использует эти данные для выдачи рекламных рекомендаций. 
— При вводе текста в поиск с помощью функции input v2 происходит отправка насервера информации о запросе. В ответ на этот запрос пользователю показываетсянативный рекламный баннер с индексацией по ключам. 
— В рекламный баннер вшита кликабельная ссылка, если пользователь совершаетклик — активируется track-link в MMP, а переход атрибуцируется нативномубаннеру клавиатуры. 
— Если же пользователь не кликнет на ссылку, атрибуции не произойдет(VTAв том числе, так как в Baidu ее просто нет), и переход в карточкуприложения присваивается органике.
Что по итогу это значит для рекламодателя: с точки зрения UA нативныебаннеры в кастомных клавиатурах — не органика. Пользователь получаетрекомендацию, кликает на рекламный баннер и закономерно атрибуцируется платномутрафику, не будет клика — не будет и атрибуции.
Что и как мы тестировали 
С теорией все понятно, давайте погружаться в детали тестирования. Мы провели15 тестов на разных устройствах и на разных сетапах. Тестировали как на новых,так и на старых устройствах от Xiaomi, Huawei и Samsung.
Baidu можно купить как напрямую, так и через селлеров: трафик тамидентичный. Из проведенных тестов мы нашли рекламное размещение Baidu черезAppnext.
Клавиатура facemoji
Наустановленной из стора клавиатуре за 12 тестов рекламныхрекомендаций не было, и весь трафик упал в органику. Как мы это поняли —сначала вбивали название приложения в поиске, после устанавливали его исмотрели на Raw Data. Однако мы сделали интересное наблюдение — по данным нашихсрезов по клиентам, в среднем 13% трафика — это не Xiaomi-девайсы.
Родная клавиатура Xiaomi
Родной мы считаем клавиатуру facemoji, которая по умолчанию установлена надевайсы — то есть не нужно скачивать дополнительно. На предустановленнойклавиатуре мы проводили три теста, и во всех трех у нас были рекламныерекомендации.
Далее мы разделили сегмент с родной клавиатурой еще на двекогорты:> Не кликали на рекламную рекомендацию — тут 100% трафика также ушлив органику, как мы и предполагали.> Кликнули на рекламную рекомендацию — а тут закономерно все переходыатрибуцировались платному трафику.
Для удобства результаты тестов мы визуализировали втаблице.
Baidu не будет откровенно угонять вашу органику. Да, это нативный формат, ипользователи не всегда понимают, что перед ними реклама, когда кликают набаннер, поэтому за корреляцией органики с Baidu все равно стоит следить.
Однако мы точно можем сказать, что без клика на рекламную ссылкупользователь никак не попадет в платный трафик. Хорошо это или плохо — вопросоткрытый, однако говорить о масштабной каннибализации органики —некорректно.
А что там с фродом
Тут будем краткими.
Коробочные решения трекеров. Общие значения фрода редко превышают2–3%, иногда бывают всплески Install Hijacking и Click Injection, но их объемвсе еще довольно мал. Скорее всего, это просто пользователи с супербыстройустановкой, которая выглядит аномально по CTIT.
Fraud Score. Индекс фрода не превышает 20 — 2% приходится на clickinjection и 6% на bad events dynamic proxy и dynamic blacklist, так что, еслиотключить впнщиков, индекс фрода будет еще меньше.
По косвенным метрикам Go Mobile. Есть небольшое отклонение по CTIT отнаших бенчмарков, но не больше чем на 1–2 п. п. Например, доля CTIT <15 сек.— 1,4% при бенчмарке в 1%. По объему установок, количеству ассистов и другимметрикам мы тоже не нашли каких-то аномалий.
Корреляция с органикой. Как при запуске, так и при отключенииисточника мы не увидели никаких статистически значимых изменений в органике ине нашли прямой корреляции между Baidu и органическим трафиком.

Отключить нельзя оставить 
На банальный вопрос рынка «что делать с источником?» у нас есть такой жебанальный ответ — понять, нужен он вам или нет.
Зачем вообще продвигаться с помощью Baidu > Нативная рекомендация.> Продвижение за счет брендовых ключей и гарантия того, что при поискевашего бренда не будет рекомендоваться другое приложение.> Дополнительное медийное продвижение: ваш баннер периодически мелькает упользователей, даже если они на него не кликают.
Мы вывели четыре ключевых критерия, которые помогут оценить эффективностьпродвижения за счет кастомных клавиатур.
Динамика органики > Проверьте, есть ли просадка по органическому трафику на устройствахXiaomi после подключения клавиатуры. > Происходит ли рост органики при отключении клавиатуры. > Насколько дельты прироста и спада критичны.
В целом оценка инкремента — это уже новая порядочность в мобильномпродвижении, так что корреляция между платным трафиком и органикой — этонеобходимый минимум. Для большей эффективности можно провести дополнительныетесты по оценке инкрементальности:> проанализировать цепочки касаний и определить эффективность каждогоотдельно взятого источника.> оценить коэффициент инкрементальности.> провести причинно-следственный анализ с помощью Propensity ScoreMatching.
Динамика платного трафика> Повлиял ли как-то запуск клавиатуры на динамику в других источниках всрезе по девайсам.> Анализ времени между ассоциированными конверсиями.

Даня Вершинин, Buying Team Lead Go Mobile:«Это достаточно скользкий параметр, так как выкупная емкость конечна, аколичество разных источников на российском рынке как будто стремится кбесконечности. Проще говоря, рано или поздно вы столкнетесь с пересечениямиаудитории в разных источниках, поэтому опираться только на этот параметр — несоветую, так как нужно учитывать больше факторов. Такой вот своеобразный «конецинтернета».

Прямое сравнение с органикой и платным трафиком другогоисточника > Насколько совпадают CR% по воронке.> Насколько совпадает RR пользователей.> AOV пользователей, ARPU, ARPPU, ARPDAU, RPM/RPC/RPI/RPA, LTVd0/d7/d14,pLTV и прочие «что-то per что-то» и финансово-эффективные метрики.
Оценка фрода> Коробочные решения трекеров.> Дополнительные антифрод системы вроде Fraud Score.> Косвенные метрики типа CTIT и CTDT или другие дельты повремени. 
Подытожим
— С точки зрения UA нативные баннеры в кастомных клавиатурах — не органика.
Если пользователь кликнул на рекламу — закономерно попадает в платныйтрафик.
— Нет клика — нет и атрибуции, в Baidu нет VTA, поэтому случайно в платныйтрафик пользователи тоже попасть не могут.
— Baidu не будет намеренно каннибализировать органику, но, как и со всемтрафиком, с размещениями стоит быть аккуратным — дополнительная оценкаинкрементальности еще никому не навредила.