Измеряйте возврат уникальных гостей в одном окне, сохраняя контроль без предложения.
Ситуация
В случайной тестовой группе 400 гостей, вернулись 48 — 12%. В контроле 200, вернулись 16 — 8%. Разница — 4 процентных пункта, описательная оценка — 16 дополнительных покупателей в тесте. Маленькая выборка и случайность могут объяснить часть разницы.
Рабочий расчёт / свои данные
Сравните возврат гостей с контрольной группой
Начальные значения — учебный пример.
Разница описательная: статистическая значимость не проверяется. Группы должны быть случайными, непересекающимися, с одинаковым окном наблюдения. Проверьте затраты на предложение и повторите тест.
Как считаем
Доли возврата считаются по уникальным гостям. Оценка дополнительных покупателей = (доля теста − доля контроля) × размер теста.
Как применить это в работе
Определите отсутствие по вашему циклу
Посмотрите обычный интервал покупок и выберите один период без завершённых заказов. Не путайте покупку любимого блюда когда-либо с давностью последнего заказа. Исключите незакрытые жалобы и недоступные каналы связи по вашему процессу.
Случайно разделите подходящих гостей
Сохраните непересекающиеся тест и контроль до отправки. Не выбирайте «самых активных» только в тест. Соблюдайте настройки получения сообщений и ограничение частоты; этот инструмент не отправляет рассылку.
Дайте одно понятное предложение
Согласуйте экономику, срок и доступность блюд в нужных цехах. Проверьте переход в приложение, текущий каталог и повтор заказа. Контроль не должен получить то же предложение через другую кампанию.
Сведите итог в одинаковом окне
Посчитайте уникальных гостей с завершённым заказом в обеих группах. Сравните доли, затраты, отмены и остаток с заказов. Положительная разница в калькуляторе сама по себе не подтверждает статистическую значимость.
Где легко ошибиться
- Разные сроки наблюдения делают группы несопоставимыми.
- Число заказов не равно числу вернувшихся гостей.
- Историческая выручка после push не доказывает дополнительный эффект.
Чек-лист для команды
Рабочий лист / к следующей смене
Примените к своей доставке
- Когда открывать
- Есть база давно не покупавших гостей, но результат рассылок оценивают только по выручке.
- Кто ведёт
- Маркетолог
- Что собрать
- Правило отбора, размеры групп, уникальные покупатели, одинаковое окно, расходы предложения.
- Что измерять
- Разница долей возврата, затраты и остаток с заказов.
- Когда проверять
- До отправки и после полного заранее выбранного окна.
Разбор можно завершить, когда: Группы сверены, ограничения результата описаны, принято решение о следующем тесте.
Сохранение — только на этом устройстве, без отправки в Супердоставку. На общем компьютере удалите черновик после работы.
Как помогает Супердоставка
Приложение умеет готовить повтор заказа по текущему каталогу и отдельно отмечать недоступные позиции. Это помогает проверить путь вернувшегося гостя. Случайное деление на контроль и анализ эффекта здесь — предлагаемый рабочий процесс, а не утверждение о встроенном экспериментальном модуле.
Мобильное приложение для ресторанаЧто ещё стоит учесть
Можно ли судить по промокоду?
Он помогает связать покупки с предложением, но без контроля не отделяет дополнительный спрос от тех, кто и так собирался заказать.
Что делать при отрицательной разнице?
Проверьте сопоставимость групп, доставку сообщения, доступность предложения и окно. Не масштабируйте акцию только из-за высокой абсолютной выручки.