Статистическая значимость: что значит p < 0,05

В дипломе почти всегда наступает момент, когда всё сводится к одной фразе: «различия статистически значимы». От неё зависит, подтвердилась гипотеза или нет.

Проблема в том, что за этой фразой обычно нет понимания. Студент видит p = 0,03, пишет «значимо» — и на защите не может объяснить, что именно он доказал. Разберём по существу: что такое значимость, какой уровень брать, почему она зависит от числа испытуемых и чем «значимое» различие отличается от «большого».

В двух словах

Статистическая значимость — это утверждение о том, что найденное различие или связь вряд ли объясняются случайностью выборки. И только об этом. Она не говорит, что эффект большой, важный и полезный на практике.

Работает это так: вы считаете критерий, получаете p-значение и сравниваете его с заранее выбранным порогом α (обычно 0,05). p меньше порога — результат значим, больше — значимых различий не выявлено.

Три вещи, которые нужно держать в голове одновременно: сам факт значимости (p), величина эффекта (d Коэна) и объём выборки. Порознь они врут.

Что такое статистическая значимость по существу

Вы измерили две группы и увидели разницу в средних. У этой разницы всегда две возможные причины:

• эффект реален — экспериментальная программа правда работает;
• это случайность выборки — вам просто попались такие люди.

Статистика не умеет выбирать между этими вариантами напрямую. Она делает другое: предполагает, что различий нет (это нулевая гипотеза H₀), и считает, насколько странно выглядят ваши данные при таком предположении. Мера «странности» — p-значение.

Если данные при H₀ выглядят слишком странно (p < 0,05), объяснение «это случайность» отбрасывают. Вот это и называется статистически значимым результатом.

Из этого следует неприятное: значимость зависит не только от природы, но и от вас — от того, сколько человек вы измерили и какой порог назначили.

Уровни значимости: 0,05, 0,01 и 0,001

Уровень значимости α — это порог, который вы назначаете до расчёта. Он же — допустимая вероятность объявить эффект там, где его нет (ошибка первого рода).

• α = 0,05 — стандарт для дипломов и большинства работ по психологии, педагогике и физкультуре. Одна звёздочка в таблице.
• α = 0,01 — строгий уровень: берут, когда цена ложной находки высока (медицина, допуск к нагрузкам). Две звёздочки.
• α = 0,001 — очень высокая значимость, обычно не назначается заранее, а просто констатируется по факту. Три звёздочки.

Порог выбирают один раз и для всей работы. Менять его после расчёта («получилось 0,07, возьму α = 0,1») — подгонка, и на защите это видно сразу.

Если вы работаете не с p-значением, а с таблицами критических значений, та же логика рисуется через ось значимости, а какое число с каким сравнивать — разобрано в статье «Эмпирическое и критическое значение».

«Значимо» — это не «важно»

Самая частая подмена в дипломах: студент получает p < 0,01 и пишет «выявлено существенное улучшение показателей». Слово «существенное» тут не из статистики — p об этом ничего не сказал.

За величину отвечает размер эффекта: d Коэна, r, η². Он показывает, насколько далеко разошлись группы, и не зависит от числа испытуемых. Значимость и размер эффекта — две независимые оси, и вместе они дают четыре разных вывода.

Опасны именно два боковых квадранта. Жёлтый — когда значимость выдают за практический успех. Фиолетовый — когда реальный эффект хоронят выводом «различий нет», хотя виновата мощность, а не методика.

Пример. В дипломе по физической культуре сравнивали прыжок в длину с места у двух групп по 8 человек. Разница средних 6 см, d = 0,7 — эффект солидный, но p = 0,17. Вывод «методика не работает» здесь неверен: при 8 испытуемых на группу критерий такую разницу просто не улавливает.

Ловушка размера выборки

Вот главное, что нужно понять про значимость: p зависит не только от величины различия, но и от того, сколько человек вы измерили. Одна и та же разница на разных выборках даёт разный вердикт.

Посмотрим на числах. Тест тревожности, разброс в группе около 5 баллов.

Как объём выборки меняет вывод при одной и той же разнице

Читайте таблицу по строкам. Средний по силе эффект (d = 0,40) на 12 испытуемых остаётся «незначимым», а на 300 даёт p < 0,001 — при этом сам эффект не изменился. А в последней строке значимой становится разница в 0,8 балла, которую на практике никто не заметит.

Посчитать сам критерий и получить p вместе с размером эффекта можно здесь.

🧮Онлайн-калькулятор t-критерия СтьюдентаПосчитайте свои данные за пару минут — нажмите, чтобы открыть→

Если распределение не нормальное или шкала порядковая, тот же вывод о значимости даст критерий Манна-Уитни. Какой метод брать под ваши данные — разобрано в статье «Как выбрать статистический критерий».

Что писать в дипломе

Вывод о значимости — это не одна фраза, а связка чисел. Проверьте, что у вас есть всё перечисленное.

• Название критерия — «по t-критерию Стьюдента для независимых выборок».
• Эмпирическое значение статистики — t = 4,90 (или U, T, χ² — в зависимости от метода).
• Объём выборки или степени свободы — n = 24, df = 22.
• p-значение — точное (p = 0,034) либо порогом, если оно очень мало (p < 0,001).
• Размер эффекта — d = 0,40, и словами: малый, средний или большой.
• Направление различия — где показатель выше и на сколько единиц.

Готовые формулировки — подставьте свои числа.

• «Различия между контрольной и экспериментальной группами статистически значимы: t = 4,90; df = 598; p < 0,001. Размер эффекта средний (d = 0,40), прирост в экспериментальной группе составил 2,0 балла».
• «Статистически значимых различий не выявлено (U = 145; p = 0,34). При этом размер эффекта средний (d = 0,40), что при выборке 12 + 12 человек указывает на недостаточную мощность, а не на отсутствие эффекта».
• «Различие статистически значимо (p = 0,044), однако размер эффекта мал (d = 0,16), поэтому практическая ценность результата ограничена».

Как правильно оформлять само число p — с запятой, ведущим нулём и нужным числом знаков — показано в статье «Как записывать p-значение».

Частые ошибки

• «p > 0,05 — значит, различий нет». Отсутствие доказательства не равно доказательству отсутствия: вы просто не нашли эффект.Пишите «значимых различий не выявлено» и добавляйте размер эффекта с оценкой мощности.
• «p = 0,001 — значит, эффект в 50 раз сильнее, чем при p = 0,05». p измеряет надёжность вывода, а не величину различия.О величине судите только по d Коэна, r или η².
• Значимость выдают за практическую пользу. На выборке в 500 человек значимой становится разница, которую не увидит ни один тренер.Рядом с p всегда приводите размер эффекта и разницу в исходных единицах — секундах, баллах, сантиметрах.
• Порог назначают после расчёта. «Взял 0,1, потому что с 0,05 не получилось» — подгонка результата.Зафиксируйте α = 0,05 в методах исследования, до сбора данных.
• Считают десяток критериев и выбирают значимые. При 20 проверках одна «звёздочка» появится случайно даже на случайных данных.Заранее опишите проверяемые гипотезы, а при множественных сравнениях используйте поправку Бонферрони.
• «Достоверность» вместо «значимости». В студенческих работах эти слова смешивают, и получается «достоверность различий 95%».Пишите «статистически значимые различия» или «статистически достоверные различия (p < 0,05)» — без процентов уверенности.

Частые вопросы

Короткий алгоритм

1. До расчёта зафиксируйте гипотезы H₀ и H₁ и уровень значимости α = 0,05.
2. Выберите критерий под тип данных и посчитайте его в каталоге калькуляторов.
3. Сравните полученное p с α: меньше — различия значимы, больше — значимых различий не выявлено.
4. Посчитайте размер эффекта и оцените его словами — малый, средний, большой.
5. Запишите вывод связкой: критерий, статистика, df или n, p, размер эффекта, направление различия.
6. Если значимости нет — проверьте объём выборки и мощность, прежде чем писать «методика не работает».

Что ещё почитать

• Что такое p-значение простыми словами — как читать само число p.
• Размер эффекта: d Коэна, r и η² — чем измерить величину различия.
• Статистическая мощность — почему маленькая выборка «не видит» эффект.
• Ось значимости — как оформить вывод через критические значения.
• Различия не значимы: что делать — план действий при p > 0,05.

Не уверены, что ваш вывод о значимости сформулирован корректно, — посчитайте критерий в базе методов или закажите консультацию, проверим расчёт и формулировки.