Незафиксированные критерии подгоняются под результат. Разбираем регламент, который сэкономил нам тестовый бюджет.
В Колумбии у нас было шесть недель и ограниченный бюджет на десять гипотез. Побеждающая связка оказалась комбинацией, которую никто из команды не ставил фаворитом. Регламент теста оказался важнее интуиции.
Критерии до, а не после
Если критерий успеха не зафиксирован письменно до первого открута, он будет подогнан под полученный результат. Это происходит не из недобросовестности, а автоматически: человек видит цифру и достраивает объяснение, почему она хорошая.
Одна переменная за раз
Смешанный тест, где меняется формат, оффер и аудитория одновременно, даёт красивый результат, который невозможно воспроизвести. Вы узнаёте, что комбинация работает, но не знаете, какая её часть делает результат, — и не можете перенести это знание на следующий проект.
Закрывать по расписанию
Самая дорогая ошибка — продлевать пограничную гипотезу, потому что «вот-вот пойдёт». Три таких продления съедают бюджет на оставшиеся семь тестов. Закрывайте по регламенту и возвращайтесь позже, уже на бюджете победившей связки.
Равные условия для сравнимости
Одинаковый бюджет, одинаковый срок, одинаковый источник. Гипотеза, получившая вдвое больше времени, выигрывает по причинам, не имеющим отношения к её содержанию. Сравнимость важнее точности отдельного замера.
Коротко
- Незафиксированный критерий успеха подгоняется под результат автоматически.
- Смешанные переменные дают невоспроизводимый результат.
- Дисциплина закрытия гипотез экономит больше, чем оптимизация ставок.
Главное — не копировать связку целиком, а понимать, какая её часть делает результат.