Как пользоваться: Калькулятор значимости A/B теста
- Введите посетителей и конверсии для версии A (контрольной).
- Введите те же данные для версии B.
- Выберите уровень доверия. Обычно используют 95%.
- Прочитайте результат, затем проверьте p-value и диапазон разницы.
Что означает статистическая значимость
Случайные колебания означают, что две одинаковые страницы редко показывают одинаковую конверсию. Тест значимости отвечает на вопрос, насколько вероятна такая большая разница, если версии работают одинаково. Эта вероятность и есть p-value. При уровне доверия 95% результат считается значимым, если p-value меньше 0,05.
Как это считается
Инструмент использует двусторонний z-тест для двух пропорций. Формула: z = (конверсия B − конверсия A) ÷ √(p(1 − p)(1/посетители A + 1/посетители B)), где p — объединенная конверсия.
Частые ошибки
- Не останавливайте тест досрочно. Если проверять результаты каждый день и остановиться на первом значимом результате, вы получите ложных победителей.
- Заранее рассчитайте выборку. Перед запуском воспользуйтесь калькулятором размера выборки для A/B теста.
- Проводите тест полные недели. Посетители в будни и в выходные ведут себя по-разному.
Также ищут как: калькулятор статистической значимости, калькулятор сплит-теста, p-value a/b тест, значимость конверсии.
Инструменты, которые хорошо сочетаются с Калькулятор значимости A/B теста
- Калькулятор CTR — Введите клики и показы, чтобы получить показатель кликабельности (CTR) для рекламы, email или Search Console.
- Калькулятор ROAS — Узнайте, сколько приносит каждый рубль, вложенный в рекламу.
- UTM-генератор — Добавляйте utm_source, utm_medium, utm_campaign и другие параметры к любой ссылке, смотрите, в какой канал GA4 попадёт переход, и размечайте сразу целый список URL.
- Калькулятор процентов — Семь популярных расчётов с процентами на одной странице.
Часто задаваемые вопросы
Сохраняются ли или отправляются ли введенные данные?
Нет. Расчет выполняется в вашем браузере. Последние введенные значения запоминаются только на этом устройстве, чтобы страница открывалась там, где вы остановились.
Какой p-value считается хорошим для A/B теста?
Обычно используют порог ниже 0,05, что соответствует уровню доверия 95%. Для важных изменений берите 0,01.
Означает ли 95% доверия, что B лучше с вероятностью 95%?
Не совсем. Это значит, что если реальной разницы нет, такой или более сильный результат появится менее чем в 5% случаев.
Почему мой результат не значим?
Обычно выборка слишком мала для такого размера разницы. Продолжайте тест до запланированного размера выборки.
Можно ли установить Калькулятор значимости A/B теста как веб-приложение и пользоваться им офлайн?
Да. Калькулятор значимости A/B теста — это веб-приложение (PWA), которое можно установить из браузера, без скачивания из магазина приложений. В Chrome или Edge (Windows, macOS, Linux, ChromeOS) или на Android нажмите вверху этой страницы «Установить приложение»; на iPhone и iPad используйте «Поделиться → На экран «Домой»», а в Safari 17+ на Mac — «Файл → Добавить в Dock». После этого приложение откроется в отдельном окне со своим значком, и так как оно полностью работает в браузере, оно продолжит работать офлайн. Firefox на компьютере не умеет устанавливать веб-приложения. Как работает установка.