Расчёт p-value: формула, примеры и онлайн-калькулятор

Представьте: вы подбросили монетку 100 раз и 60 раз выпал орёл. Вам кажется, что монетка нечестная. Но какова вероятность, что такой результат — просто случайность? Это и есть p-value. Если p-value маленький (обычно меньше 0,05), мы говорим: «Маловато шансов, что это случайно, скорее всего монетка кривая».

P-value (probability value) — это вероятность получить наблюдаемые данные (или ещё более экстремальные) при условии, что нулевая гипотеза верна. Нулевая гипотеза — это обычно утверждение «ничего не изменилось, всё как обычно».

Важно: p-value не говорит, что ваша гипотеза верна с вероятностью 95%. Это лишь оценка «неожиданности» данных, если нулевая гипотеза правдива.

Пример из жизни: вы тестируете новую кнопку на сайте. Старая кнопка давала конверсию 5%. Новая — 6%. Разница есть, но может быть случайной. P-value покажет: «Вероятность увидеть разницу в 1% при условии, что на самом деле разницы нет, равна, скажем, 0,03». Раз 0,03 < 0,05, вы решаете: «Да, разница не случайна, оставляем новую кнопку».

Формула зависит от типа данных и теста. Мы разберём самый частый случай — z-тест для среднего (когда известна дисперсия генеральной совокупности).

Где:

• X̄ (икс с чертой) — выборочное среднее (ваш результат).
• μ (мю) — среднее по генеральной совокупности (если бы ничего не изменилось).
• σ (сигма) — стандартное отклонение генеральной совокупности (мера разброса).
• n — объём выборки (сколько наблюдений).

После вычисления z мы находим p-value как площадь под кривой нормального распределения за пределами |z|. Для двустороннего теста:

где Φ — функция стандартного нормального распределения (её значения берут из таблицы или считают в Калькуляторе p-value).

Если вы используете t-тест (когда σ неизвестно), формула похожа, но вместо z — t, и распределение Стьюдента с n−1 степенями свободы. Для пропорций формула своя, но суть та же.

Задача: Время загрузки сайта в среднем 2 секунды (μ). Вы внедрили оптимизацию и замерили 100 загрузок (n=100), среднее стало 1.8 секунды (X̄). Известно, что стандартное отклонение σ=0.5 секунды. Является ли улучшение статистически значимым?

1. Формулируем гипотезы:
   H₀: μ = 2 (оптимизация не повлияла)
   H₁: μ ≠ 2 (время изменилось, двусторонний тест)
2. Считаем z: (1.8 − 2) / (0.5 / √100) = -0.2 / 0.05 = -4
3. Находим p-value: Для z = 4 (по модулю) таблица даёт Φ(4) ≈ 0.99997. p = 2 * (1 − 0.99997) = 0.00006.
4. Вывод: p-value = 0.00006 < 0.05, отвергаем H₀. Улучшение статистически значимо.

Проверьте на Калькуляторе p-value — введите X̄=1.8, μ=2, σ=0.5, n=100, выберите двусторонний тест — получите то же p-value.

Задача: Вы тестируете два дизайна лендинга. Группа A (контроль) — 50 посетителей, средняя конверсия 4% (0.04), стандартное отклонение 0.02. Группа B (новая) — 50 посетителей, средняя конверсия 5% (0.05), стандартное отклонение 0.025. Различаются ли конверсии?

1. Гипотезы: H₀: μA = μB; H₁: μA ≠ μB.
2. Считаем t для независимых выборок с равными дисперсиями:
   t = (X̄A − X̄B) / (sp * √(1/nA + 1/nB)), где sp — объединённое стандартное отклонение.
   sp = √[ ((nA−1)*sA² + (nB−1)*sB²) / (nA+nB−2) ] = √[ (49*0.02² + 49*0.025²) / 98 ] = √[ (0.0196 + 0.030625) / 98 ] = √(0.050225/98) ≈ √0.0005125 ≈ 0.02264.
   t = (0.04 − 0.05) / (0.02264 * √(1/50+1/50)) = -0.01 / (0.02264 * 0.2) = -0.01 / 0.004528 ≈ -2.208.
3. Степени свободы: df = nA + nB − 2 = 98.
4. P-value: Для t = 2.208 (по модулю) и df=98 таблица даёт p ≈ 0.029 (двусторонний).
5. Вывод: p = 0.029 < 0.05, разница статистически значима. Новая версия работает лучше.

Используйте Калькулятор p-value, выбрав t-тест, чтобы избежать ошибок в расчётах.

Задача: В тесте с двумя вариантами по 10 посетителей в каждой группе: в группе A — 0 покупок, в группе B — 3 покупки. Есть ли разница?

1. Таблица сопряжённости:

Точный тест Фишера считает вероятность такой таблицы (или более экстремальной) при фиксированных итогах. Для нашего случая p-value (односторонний) = P(0,10;3,7) = C(10,0)*C(10,3)/C(20,3) = 1*120/1140 ≈ 0.1053. Двусторонний — 0.2105.

Вывод: p > 0.05, разница не значима. При малых выборках тест Фишера точнее, чем z- или t-тест. Калькулятор p-value может реализовать и этот тест.

Даже опытные исследователи допускают ошибки. Вот главные:

• «P-value — это вероятность, что нулевая гипотеза верна» — нет! Это вероятность данных при условии H₀, а не наоборот.
• «Если p > 0.05, то H₀ доказана» — неправильно. Неудача в отклонении H₀ не означает, что H₀ истинна. Просто недостаточно доказательств.
• «P-value можно использовать как меру размера эффекта» — нет. Маленький p может быть из-за большой выборки при ничтожном эффекте. Всегда смотрите на размер эффекта (например, разницу средних).
• «P-hacking» — многократный анализ данных, пока не получится p < 0.05. Это нечестно. В 2026 году многие журналы требуют предрегистрацию анализа.
• «Можно использовать p-value как единственный критерий» — надо учитывать ещё доверительные интервалы, размер выборки, практическую значимость.

Запомните: p-value — инструмент, а не истина. Всегда дополняйте его другими метриками.

Считать p-value вручную — долго и чревато ошибками. Лучший вариант — использовать Калькулятор p-value, который за секунды выдаст точный результат. Вот что он умеет:

• z-тест для среднего и пропорции;
• t-тест (одно- и двухвыборочный);
• хи-квадрат тест;
• точный тест Фишера;
• поддержка односторонних и двусторонних гипотез.

Как пользоваться: введите параметры теста (средние, дисперсии, объём выборки), выберите тип гипотезы — получите p-value и график распределения. Это незаменимо, если вы часто работаете с A/B-тестами или научными данными.

Кроме того, существуют:

• Excel: функция TTEST или Z.TEST;
• Python (scipy): scipy.stats.ttest_ind и т.д.;
• R: t.test, prop.test.

Но для быстрых расчётов лучше всего подходит веб-инструмент, который не требует установки.

1. Задача 1: Вы провели z-тест, получили z = 2.5 (двусторонний). Какое p-value? (Подсказка: Φ(2.5)≈0.9938)
2. Задача 2: В A/B-тесте (n=100 на группу) разница конверсий 1%, p=0.04. Можно ли считать результат значимым на уровне 0.05?
3. Задача 3: Вы провели 10 тестов и в одном получили p=0.03. Что это может значить?

Ответы:

1. p = 2*(1-0.9938)=0.0124
2. Да, p<0.05, отклоняем H₀.
3. Это может быть ложноположительный результат из-за множественных сравнений. Нужна поправка (например, Бонферрони).

Если хотите проверить свои вычисления, используйте Калькулятор p-value.

Хотя уровень значимости 0.05 — стандарт, разные сферы требуют разных порогов:

В 2026 году Американская статистическая ассоциация рекомендует не полагаться только на p-value, а использовать байесовские подходы или доверительные интервалы. Но p-value остаётся первым фильтром.

Для точного расчёта p-value под ваш случай всегда можно воспользоваться Калькулятором p-value. Он поддерживает разные распределения и пороги.