Почему «победивший» креатив обычно выбран наугад
Типичная картина в рекламном кабинете: запустили пять баннеров, через три дня посмотрели, у какого CTR выше, остальные выключили. Формально это тест. По сути подбрасывание монеты с лишними шагами.
За три дня и полторы сотни кликов разница между креативами почти всегда укладывается в обычный статистический шум. Отключив «слабый» вариант, вы с равной вероятностью убрали и действительно провальную картинку, и хорошую, которой не повезло с первой сотней показов. Дальше решение закрепляется: следующие макеты рисуются «в стиле победителя», и компания год едет на выводе, у которого не было оснований.
Есть и вторая сложность, менее очевидная. Когда несколько групп объявлений крутятся в одном кабинете без специального инструмента тестирования, площадка не делит аудиторию между ними поровну. Meta прямо предупреждает: без инструмента A/B-тестирования система рассматривает одновременно работающие кампании и группы объявлений в связке, из-за чего показы и бюджет распределяются неравномерно, а сравнение выходит некорректным. Честное намерение «пусть покрутятся вместе, а потом посмотрим» ломается о механику аукциона ещё до того, как вы откроете отчёт.
Практический вывод, с которого начинается любое осмысленное ab тестирование рекламы, из этого следует прямо: сравнивать креативы можно только там, где площадка гарантирует, что один человек увидел ровно одну версию.
Что в креативе имеет смысл тестировать
Под словом «креатив» в рекламном кабинете скрывается связка из четырёх слоёв, и каждый влияет на результат по-своему.
Самый крупный по влиянию слой это визуал: фотография товара против человека с товаром, студийная съёмка против съёмки на телефон, статичная картинка против короткого видео. Именно визуал решает, остановится ли палец на ленте. Следом идут первые полторы секунды видео. Для Reels, Stories и TikTok это фактически отдельная сущность: один и тот же ролик с двумя разными открывающими кадрами ведёт себя как два разных креатива.
Дальше текст объявления и заголовок. Формулировка выгоды, наличие цифры, вопрос против утверждения. Слой более дешёвый в производстве, но и эффект от него обычно меньше, чем от смены визуала. Замыкает список кнопка призыва к действию: «Подробнее» против «Отправить сообщение» против «В магазин». Она меняет не столько кликабельность, сколько состав тех, кто доходит до заявки.
Тестирование креативов имеет смысл начинать сверху этого списка. Пока вы не знаете, работает ли у вас в принципе формат «человек в кадре», спорить о формулировке заголовка бессмысленно: разница между двумя заголовками внутри провального визуала будет неотличима от нуля.
Правило одной переменной, которое нарушают чаще всего
Meta формулирует требование к своим тестам однозначно: меняться должна одна переменная, всё остальное в настройке кампании и в креативе остаётся идентичным. Звучит очевидно, а на практике почти каждый второй запуск это правило нарушает.
Выглядит нарушение так. Вариант A: фотография товара на белом фоне, заголовок про скидку, кнопка «В магазин». Вариант B: видео с распаковкой, заголовок про доставку, кнопка «Отправить сообщение». Победил B. И что вы теперь знаете? Что видео лучше фотографии? Что доставка продаёт лучше скидки? Что в мессенджер заявок приходит больше? Три гипотезы слиплись в один результат, разделить их задним числом невозможно.
Разбор такого запуска обычно заканчивается тем, что решение принимают по ощущению, то есть возвращаются ровно в ту точку, из которой хотели уйти.
Дисциплинирующий приём простой: перед запуском запишите одним предложением, на какой вопрос отвечает тест. «Работает ли у нас видео лучше статики при прочих равных» это нормальная формулировка. «Какой креатив лучше» вообще не формулировка.
Инструменты площадок: что они делают за вас
У всех крупных площадок есть встроенные механизмы, которые берут на себя честное деление аудитории и подсчёт достоверности. Ручное сравнение цифр из отчёта далеко не единственный вариант.
Meta (Facebook и Instagram)
Инструмент A/B-тестирования в Ads Manager делит аудиторию на случайные непересекающиеся группы: каждая группа видит только одну версию, пересечений нет. Тестировать можно до пяти вариантов, срок теста задаётся от 1 до 30 дней. Переменной может быть креатив, аудитория, плейсмент, оптимизация показа или настройка кампании целиком, например кампания Advantage+ против ручной.
Победителя Meta определяет по стоимости за результат исходя из цели кампании, а не по CTR. Дальше система прогоняет возможные исходы теста десятки тысяч раз и считает, как часто выигрывал бы тот же вариант. Это и даёт уровень уверенности. Ориентиры площадки такие: 65% и выше считается победившим результатом, выше 75% результатом, на который уже можно опираться при планировании следующих кампаний.
Деталь важная для тех, кто привык смотреть на CTR. Креатив с высоким CTR и дорогой заявкой в тесте Meta проиграет, и правильно сделает.
TikTok
Сплит-тест в TikTok Ads Manager делит аудиторию на две равные группы, каждая видит только одну группу объявлений, поэтому прямого конкурирования между вариантами за одних и тех же людей не происходит. Тестировать можно таргетинг, плейсменты, креатив, стратегию бюджета, ставки и оптимизацию.
Достоверность площадка считает на уровне 90%: по итогам теста вы увидите либо «победившая группа объявлений найдена» с этим уровнем уверенности, либо «победившая группа не найдена». Второй исход тоже результат. Он означает, что между вариантами нет разницы, которую стоило бы учитывать. Рекомендованный минимум по длительности семь дней, максимум тридцать.
Google Ads
В поиске логика другая, потому что и креатив другой. «Варианты объявлений» позволяют протестировать правку сразу по нескольким кампаниям или по всему аккаунту: выбирается адаптивное поисковое объявление, задаётся дата окончания и доля трафика, на которой показывается изменённая версия.
Для более крупных изменений есть страница «Эксперименты» и пользовательские эксперименты, доступные для поисковых, медийных, видеокампаний и Demand Gen. Здесь бюджет и трафик делятся между исходной кампанией и экспериментальной, а по итогам эксперимент можно применить к исходной кампании или полностью заменить её.
Если вы ведёте поисковые кампании в Казахстане и хотите, чтобы такие эксперименты кто-то ставил регулярно, а не раз в полгода, это как раз тот случай, когда проще настроить контекстную рекламу через подрядчика с выстроенным процессом.
Динамические креативы это не A/B-тест
Advantage+ creative у Meta работает с одним изображением или видео и автоматически создаёт несколько вариаций объявления, показывая каждому человеку ту, на которую он с большей вероятностью отреагирует. Механика полезная, но это не эксперимент. Она не отвечает на вопрос «что лучше», она максимизирует результат здесь и сейчас. Путаница между этими двумя вещами возникает регулярно и стоит дорого.
Разница становится заметной в отчётности. По Advantage+ creative для каталога в Ads Manager вы увидите совокупные показатели всех показанных вариаций, но без разбивки по формату или конкретному варианту креатива. То есть кампания может отработать отлично и при этом не оставить вам ни одного переносимого вывода.
Рабочее разделение получается такое. Автоматические вариации подходят кампаниям, которые должны просто приносить заявки. Контролируемый тест с одной переменной нужен, когда вы решаете, во что вкладывать производство креативов в следующем квартале. Задачи разные, и подменять одну другой не стоит.
Сколько данных нужно, чтобы результату можно было верить
Самый частый вопрос и самая частая причина испорченных тестов. Универсальной цифры нет, но есть ориентиры, от которых можно считать.
Отталкивайтесь не от бюджета и не от дней, а от количества целевых действий. Если ваша метрика заявка, то на каждый вариант нужно набрать хотя бы несколько десятков заявок, иначе разница между 12 и 17 заявками не означает ничего. Если заявок в месяц у вас двадцать, честный тест на два креатива займёт месяц минимум. Это нормальный ответ, а не повод сокращать срок.
Когда целевых действий мало, тестируйте по метрике выше по воронке. Не по заявкам, а по кликам в профиль или переходам на сайт. Вывод будет менее прямым, зато он будет.
Второй ориентир это недельный цикл. Поведение аудитории в понедельник и в субботу отличается настолько, что тест длиной в четыре дня измеряет в первую очередь день недели. Рекомендация TikTok про минимум семь дней ровно об этом. Кратные неделе сроки, 7 и 14 дней, снимают перекос.
Третий ориентир поведенческий. Если вы имеете привычку выключать отстающий вариант на вторые сутки, никакого теста нет: вы просто автоматизировали своё нетерпение. Смотреть в отчёт каждый день можно, а вот право всё остановить лучше у себя на время теста отобрать.
Как выглядит нормальный цикл тестирования: пример
Возьмём иллюстративный пример. Интернет-магазин мебели в Алматы, реклама в Instagram, средний чек около 300 тысяч тенге, порядка 40 заявок в месяц. Ситуация типовая: креативы делает дизайнер по вдохновению, обратной связи о том, что работает, у него нет.
Первый месяц уходит на тест формата. Вариант A: студийное фото дивана на светлом фоне. Вариант B: то же изделие в интерьере квартиры, снятое телефоном. Заголовок, кнопка, аудитория, бюджет одинаковые. Через 14 дней вариант B даёт стоимость заявки ниже примерно на четверть, уверенность выше 75%. Вывод: снимаем в интерьере, студийные фото уходят в карточки товара.
Второй месяц это тест внутри победившего формата. Вариант A: интерьерное фото. Вариант B: пятисекундное вертикальное видео того же интерьера с проходом камеры. Всё прочее как в первом тесте. Разница по итогам двух недель оказывается в пределах шума, уверенности нет. Тоже полезный результат: производство видео дороже, а преимущества не даёт, значит статику можно оставить основным форматом.
Третий месяц отдан тексту. Заголовок с ценой против заголовка со сроком изготовления. Побеждает срок изготовления, и это меняет не только рекламу, но и то, что менеджеры говорят в первом сообщении клиенту.
За квартал бизнес получает три переносимых вывода вместо трёх ощущений. Каждый дальше работает и в новых кампаниях, и в контенте, и в скриптах отдела продаж. Окупается тестирование именно так: накопленным знанием об аудитории, а деньги, сэкономленные на отключении слабого баннера, тут вторичны.
Откуда брать гипотезы, чтобы не тестировать случайное
Слабое место большинства рекламных кабинетов не в самой механике теста. Тестировать зачастую просто нечего: дизайнер приносит два макета, отличающиеся оттенком плашки, и весь квартал уходит на проверку различий, которые аудитория не замечает.
Рабочих источников гипотез немного, зато они всегда под рукой. Первый это возражения отдела продаж. Если менеджеры каждый день слышат «а есть ли рассрочка» и «сколько ждать доставку», у вас на руках две готовые темы для креатива, каждая с понятной проверяемой формулировкой. Второй источник это поисковые запросы, по которым к вам приходят на сайт: они показывают, каким языком клиент описывает свою задачу, и язык этот обычно отличается от языка вашего маркетинга.
Третий источник это реклама конкурентов. Смотреть на неё стоит не для копирования, а чтобы увидеть, какие темы рынок уже отработал и какие никто не трогает. Четвёртый самый недооценённый: ваш собственный органический контент. Пост, который без бюджета собрал в три раза больше сохранений, чем обычно, уже прошёл естественный отбор. Довести его до рекламного формата и поставить в тест против текущего лидера дешевле, чем придумывать идею с нуля.
Что специфично для казахстанского рынка
Язык объявления это полноценная переменная, и в тесте её нужно изолировать так же строго, как визуал. Русская и казахская версии одного креатива работают по-разному не только в разных регионах, но и в разных возрастных группах внутри Алматы. Смешивать их в одной группе объявлений значит получить усреднённый результат, из которого ничего не следует. Проверять языковые версии стоит отдельными тестами с разделением аудитории по языку интерфейса.
Вторая местная особенность это сезонность, более резкая, чем на многих других рынках. Наурыз, длинные майские выходные и декабрь смещают и стоимость показа, и готовность людей покупать. Тест, целиком попавший в такой период, даёт вывод, который через месяц уже не воспроизводится. Планировать эксперименты лучше на спокойные отрезки, а праздничные периоды тестировать отдельно и сравнивать с прошлогодним аналогичным периодом, а не с обычным месяцем.
Ошибки, которые обесценивают тест
Тест на слишком узкой аудитории. Если охват совпадает по объёму с несколькими тысячами человек, обе группы упрутся в частоту показов раньше, чем наберут данные. Для теста берите аудиторию шире, чем для обычной кампании.
Разные бюджеты у вариантов. Кажется мелочью, но группа с большим бюджетом уходит в другие сегменты аудитории и сравнивается уже не с тем.
Правки по ходу теста. Любое редактирование креатива, аудитории или ставки внутри работающего теста обнуляет период до правки. Если очень нужно поправить, останавливайте и запускайте заново.
Тест поверх распродажи или праздника. Периоды с аномальным спросом вроде Наурыза, Чёрной пятницы и конца года дают выводы, которые не переносятся на обычные месяцы.
Один тест на все каналы. Победитель в Instagram далеко не всегда победитель в TikTok: там другая механика внимания и другой формат подачи. Meta отдельно предупреждает, что результаты теста плейсментов не стоит переносить на кампании с другой целью, и тот же принцип действует при переносе выводов между площадками.
Отсутствие журнала тестов. Через полгода никто не помнит, что и на чём проверяли. Простая таблица с колонками «гипотеза, переменная, период, метрика, результат, вывод» стоит десяти часов работы в год и превращает разрозненные запуски в базу знаний.
Что делать с результатом
Победивший креатив это вход в следующий цикл, а не финиш.
Победителя переводите в основную кампанию и оставляете работать до тех пор, пока не начнёт расти частота показов и падать эффективность. На активной аудитории это обычно происходит за несколько недель. Проигравший вариант не удаляйте, а записывайте в журнал вместе с причиной: половина ценности теста именно в понимании того, что не работает.
Следующую гипотезу стройте на уровень глубже. Победило видео, тестируйте разные первые кадры. Победил заголовок со сроком, проверяйте, какой именно срок звучит убедительнее. Так набор креативов постепенно перестаёт быть случайным и превращается в систему.
И держите в голове, что рекламный кабинет не единственный источник ответов. Комментарии под постами, вопросы в директ, возражения, которые слышат менеджеры, всё это готовые гипотезы для следующего теста, причём сформулированные словами самих клиентов.
Выстроить такой цикл внутри компании реально, но он требует регулярности: нужен человек, который ставит тесты по расписанию, ведёт журнал и отвечает за выводы. Если такого человека нет и в ближайшее время не появится, разумнее заказать таргетированную рекламу вместе с процессом тестирования. Тогда накопленное знание об аудитории остаётся у бизнеса в виде документа, а не в чьей-то голове.
Частые вопросы
Сколько креативов можно тестировать одновременно?
В инструменте A/B-тестирования Meta допускается до пяти вариантов. На практике для большинства казахстанских рекламодателей разумный максимум это два, реже три: чем больше вариантов, тем больше данных нужно на каждый и тем дольше вы ждёте достоверного результата.
Сколько должен длиться тест?
В Meta тест создаётся на срок от 1 до 30 дней, в TikTok максимум тоже 30 дней при рекомендованном минимуме 7. Ориентируйтесь на кратные неделе сроки: 7 или 14 дней. Если целевых действий за это время набралось мало, продлевайте, а не делайте выводы из имеющегося.
Можно ли просто запустить несколько групп объявлений и сравнить отчёты?
Нежелательно. Meta предупреждает, что при одновременной работе нескольких кампаний или групп объявлений без инструмента A/B-тестирования система рассматривает их в связке, из-за чего показы и бюджет распределяются неравномерно. Сравнение получится некорректным.
По какой метрике определять победителя?
По той, которая соответствует цели кампании. Meta определяет победителя по стоимости за результат исходя из выбранной цели. CTR и охват это вспомогательные показатели: креатив с высоким CTR и дорогой заявкой бизнесу невыгоден.
Что делать, если победителя не выявили?
Это нормальный исход, TikTok даже выводит его отдельной формулировкой «победившая группа объявлений не найдена». Он означает, что разницы между вариантами нет, значит гипотеза была слишком мелкой. Переходите к более крупной переменной: не заголовок, а формат; не формат, а сама идея сообщения.