A/B-тесты на малом трафике: как не обмануть себя

Малый трафик ≠ нельзя улучшать

Нельзя только делать вид, что у вас Netflix-статистика. На малых цифрах шум больше сигнала. Нужны другие методы: качественные исследования, крупные гипотезы, последовательные изменения.

Почему классический A/B врёт

Чтобы поймать рост конверсии с 2% до 2.4%, нужно много данных. Иначе «вариант B победил» на удачной неделе и откатится на следующей.

Что делать вместо

• смотреть Вебвизор и реальные отказы в формах;
• говорить с менеджерами: где клиенты тупят;
• вносить крупные ясные правки (оффер, первый экран, поля);
• сравнивать периоды аккуратно (сезон, реклама);
• запускать A/B только на самых частых экранах при росте трафика.

Правило

Сначала уберите очевидный мусор. Потом измеряйте. Тест цвета кнопки при сломанной маске телефона - театр.

В ВебШтрих на небольших проектах опираемся на практику и аналитику поведения, а не на ложную точность «+12% к конверсии за 3 дня».