A/B тест карточки товара: как оценить статистическую значимость результатов
Немного занудства, но оно пригодится каждому.
Почему 50 и 60 кликов на 2 000 показов в A/B тесте маркетплейса — это одинаковый результат
Разница формально есть.
Но доверять ей не стоит.
Результат не является статистически значимым.
Каждая полученная цифра — это не фиксированная точка, а один из возможных исходов.
В следующем эксперименте значение могло оказаться немного выше или ниже — именно это описывает распределение вероятностей.
С помощью расчётов строятся доверительные интервалы — они показывают, в каком диапазоне с вероятностью 95% (или 99%) находится реальное значение показателя.
У карточек A и B эти интервалы перекрываются.
А это значит, что уверенно определить победителя невозможно.
Чем меньше пересечение интервалов, тем надёжнее наблюдаемая разница.
Если же они сильно накладываются — перед нами случайный шум, а не реальное отличие.
Как оценивать результаты A/B теста на маркетплейсе правильно
Вывод:
Анализируйте итоги не только по абсолютным числам, но и по степени уверенности в них.
Доверительный интервал — это защита от ошибочных заключений.
Для такой проверки существует специальный калькулятор — https://abtestguide.com/calc/
В A/Б-тестах на Wildberries эта функция уже встроена в интерфейс.
Когда кто-либо — в том числе и автор этого канала — демонстрирует CTR на выборке в 2 000–3 000 показов, сразу проверяйте данные через этот калькулятор и самостоятельно решайте, можно ли доверять результатам эксперимента.
Статья с развёрнутыми пояснениями
Wildberries скрывает билеты в поисковой выдаче — и это не случайность, а намеренная практика платформы.
По большинству моих товаров допустимый CPM реклама Wildberries снова оказывается ниже минимальной ставки, которую выставляет площадка, — останавливаю кампании ещё на одну неделю.
Если вы привлекаете внешний трафик на маркетплейсы из Instagram, YouTube или Telegram, работающих через VPN, то переход на WB и Ozon попросту не состоится — сайты не откроются. А если пользователь вернётся, например, в тот же Reels, то с высокой…
С 29 марта фиксируется снижение СПП Wildberries.