КАК ПРАВИЛЬНО ПРОВОДИТЬ A/B-ТЕСТЫ В ЯНДЕКС.ДИРЕКТЕ И КАК ПРОВЕРЯТЬ ГИПОТЕЗЫ | Вебинар eLama 13.09.22

• Обсуждение вебинара о тестировании и экспериментах в Яндекс Директе.  

• Обсуждение платформы для управления рекламой Елама и ее возможностей.  

• Определение цели эксперимента: повышение коэффициента конверсии, количества и коэффициента покупок, кликабельности и т.д.  

• Формулировка гипотезы: новый вариант работает лучше, чем изначальный.  

• Выбор метрик, близких к деньгам: коэффициент конверсии, стоимость конверсии, количество конверсий.  

• Учет других метрик, если они влияют на результат.  

• Запуск эксперимента, накопление данных, анализ результатов.  

• Оценка статистической достоверности данных с помощью калькуляторов.  

• Внедрение изменений в рекламной кампании на основе результатов эксперимента.  

• Некорректное распределение аудитории между экспериментальными и контрольными компаниями.  

• Некорректное тестирование регионов, времени показов и рекламных объявлений.  

• Важно накопить достаточное количество данных для проведения экспериментов.  

• Тестирование более одного изменения за раз может привести к некорректным результатам.  

• Проблема подглядывания: внесение изменений в рекламные компании во время эксперимента.  

• Некорректный выход из эксперимента: изменение стратегии после окончания эксперимента.  

• В видео обсуждается два подхода к проведению экспериментов в Яндекс Директе: определение целей, гипотез, метрик и создание эксперимента с помощью Яндекс Аудитории.  

• Также объясняется, как рассчитать размер выборки для эксперимента, используя калькулятор.  

• В видео обсуждаются вопросы о конкуренции внутри аккаунта, добавлении минусов в экспериментальную компанию и удержании клиентов.  

• Также показывается, как настроить эксперименты в Яндекс Директе и как разделить аудиторию для проведения экспериментов.  

• Обсуждение важности мест показов и кликов для рекламодателей, а также работы с клиентами для понимания их целей и задач.  

• Обсуждение использования экспериментов для увеличения конверсий и снижения стоимости конверсий.  

• Создание эксперимента в Яндекс Аудитории для корректного разделения аудитории между двумя рекламными компаниями.  

• Обсуждение распределения аудитории между компаниями и влияния этого на время накопления данных.  

• Возможность создания нескольких сегментов и заголовков для проведения аб-тестов.  

• Создание двух копий исходной рекламной кампании для проведения честного теста.  

• Добавление сегментов в настройки блока эксперименты.  

• Распределение бюджета между двумя рекламными компаниями.  

• Варианты перехода на автостратегию: переключение стратегии в настройках, запуск двух рекламных компаний параллельно, запуск эксперимента между исходной и тестовой, создание двух копий исходной рекламной компании, разделение трафика на три рекламные компании с помощью эксперимента.  

• Важность равномерного распределения аудитории и учета накопленной статистики в исходной рекламной компании.  

• Необходимость стабильного количества конверсий в неделю для обучения и работы конверсионной стратегии.  

• В конверсионной стратегии важно указать целевой сипей, который равен среднему значению за последние несколько недель.  

• Если на ручной стратегии конверсии стоят тысячу рублей, то в конверсионной стратегии нужно указать цель в пятьсот или сто рублей.  

• Если компания по продажам недвижимости имеет меньше десяти конверсий в неделю, то можно протестировать конверсионную стратегию.  

• Если в оптимизации конверсии указывается цель, которая не является значимой на сайте, то это может привести к снижению коэффициента конверсии.  

• В Яндекс Аудитории можно создать эксперимент, который будет использоваться в Яндекс Директе.  

• Эксперимент может быть разделен на несколько сегментов, включая исходную рекламную кампанию, конверсионную стратегию и другие.  

• В Яндекс Директе можно скопировать исходную рекламную кампанию и создать две экспериментальные рекламные кампании.  

• В настройках эксперимента нужно указать, что это эксперимент, и настроить таргетинг по сегментам.  

• В видео объясняется, как настроить конверсионную стратегию в Яндекс.  

• Аудиториях.  

• Сначала создается экспериментальная компания, затем в ней настраивается конверсионная стратегия.  

• В настройках эксперимента выбирается сегмент, стратегия и цена конверсии.  

• Бюджет экспериментальной компании должен быть равен бюджету исходной компании.  

• После запуска эксперимента, статистика собирается в течение четырех недель.  

• Если конверсионная стратегия победила, то бюджет исходной компании увеличивается в два раза или в три раза, в зависимости от настроек эксперимента.  

• Если бюджет исходной компании не увеличивается, то она продолжает работать с тем же бюджетом.  

• Если конверсионная стратегия не победила, то бюджет исходной компании остается неизменным, а бюджет экспериментальной компании увеличивается в два раза.  

• Если при увеличении бюджета конверсионной стратегии результаты ухудшаются, то бюджет остается неизменным, и компания продолжает работать с тем же бюджетом.  

• В видео обсуждается, как анализировать результаты эксперимента на конверсионные компании.  

• Рекомендуется анализировать результаты с третьей недели, так как первые две недели отдаются на обучение алгоритма.  

• В Яндекс Метрике можно использовать мастер отчетов или калькулятор для анализа результатов.  

• В Яндекс Метрике есть режим сравнения, который показывает, значимо ли лучше результаты экспериментальной группы по сравнению с контрольной.  

• В калькуляторе можно указать статистическую достоверность результатов, например, 95% или 68%.  

• Если результаты значимо лучше, то можно доверять полученным данным.  

• Если результаты значимо хуже, то данных недостаточно для внедрения изменений.  

• В видео обсуждается калькулятор достоверности и его использование для определения оптимального коэффициента жесткости дополнительных вложений.  

• Указывается, что по умолчанию стоит коэффициент 2, но его можно изменить.  

• Обсуждается использование калькулятора для определения достоверности и мощности эксперимента.  

• В видео объясняется, как использовать отчеты в Яндекс Метрике и Директа для анализа результатов эксперимента.  

• Упоминается возможность фильтрации данных по компаниям и сегментам для более детального анализа.  

• Обсуждается возможность использования моделей атрибуции для тестирования работы конверсионных стратегий с разными моделями.  

• В видео обсуждается тестирование объявлений в Яндекс Директе.  

• Если в группу объявлений добавить несколько объявлений, Яндекс Директ автоматически проводит сплит-тестирование этих объявлений.  

• Однако, в большинстве случаев такое автоматическое тестирование отжирает трафик и сложно оценить все показатели.  

• Рекомендуется проводить тестирование объявлений с помощью Яндекс Аудитории и инструментария экспериментов.  

• Тестирование может включать в себя тестирование одного элемента объявления (например, заголовка) или тестирование нескольких объявлений сразу.  

• В мастер-компаниях Яндекс самостоятельно проводит эксперименты, оптимизируя объявления по конверсионности.  

• В стандартных рекламных компаниях, созданных в режиме эксперта, оптимизация идет только по кликабельности.  

• Обсуждение возможности тестирования структур и медиапланов в Яндекс.Директе.  

• Пример гипотезы: объединение рекламных кампаний по регионам для увеличения конверсии.  

• Обсуждение принципа разумного укрупнения рекламных компаний для улучшения работы алгоритма.  

• Пример: объединение разных направлений и продуктов в одной рекламной компании.  

• Анонс бесплатных вебинаров и партнерской программы для специалистов и рекламодателей.  

• Упоминание акции для получения бесплатных стартовых рекламных компаний при пополнении баланса в ЕЛАМ.