Типичные ошибки в статистической части диплома

Статистика в дипломе пугает не формулами, а ощущением, что где-то всё равно ошибёшься — и научрук вернёт работу. Хорошая новость: серьёзных ошибок наперечёт, и почти все они повторяются из работы в работу.

Ниже — семь самых частых промахов в статчасти и как обойти каждый. С примерами на числах и готовыми формулировками, которые можно вставить в текст.

В двух словах

• Большинство провалов — это неправильно выбранный критерий: параметрику применяют там, где данные ненормальны или это баллы анкеты.
• Перед выбором метода ответьте на три вопроса: связанные или независимые выборки, сколько групп сравниваете, числа или баллы. Общая схема — в статье «Как выбрать статистический критерий».
• Посчитать онлайн можно в наших калькуляторах: Стьюдент, Вилкоксон, Манна-Уитни, Краскел-Уоллис, ANOVA.

Ошибка 1. Стьюдент на малых и ненормальных данных

Критерий Стьюдента (t-критерий) — параметрический. Это значит, он рассчитан на числовые данные с нормальным распределением: рост, время реакции, давление, концентрация лактата. На балльных анкетах и кривых выборках он начинает врать.

Пример. У 14 студентов измерили тревожность по шкале Спилбергера-Ханина до и после тренинга. Это баллы опросника, да ещё и выборка маленькая. Парный Стьюдент здесь некорректен — нужен критерий Вилкоксона.

Как правильно. Сначала определитесь с типом данных. Числовые измерения с нормальным распределением — Стьюдент. Баллы, ранги, ненормальные или малые выборки — непараметрика (Вилкоксон для связанных, Манна-Уитни для независимых). Нормальность проверяют не на глаз, а критерием Шапиро-Уилка: если p > 0,05 — распределение можно считать нормальным.

В чём вообще разница между параметрикой и непараметрикой — подробно в статье «Параметрические и непараметрические критерии». А пара «Стьюдент или Вилкоксон» разобрана отдельно.

Ошибка 2. Куча попарных Стьюдентов вместо ANOVA

Когда групп три и больше (например, контроль и две экспериментальные), студенты часто сравнивают их попарно: 1 с 2, 1 с 3, 2 с 3. Кажется логичным — но это ловушка множественных сравнений.

Каждый отдельный тест с порогом p < 0,05 допускает 5% риска ошибиться (найти различие там, где его нет). Чем больше сравнений, тем выше шанс случайно поймать «значимость». На трёх парах суммарный риск ложного вывода уже около 14%, а не 5%.

Пример. Сравнивают выносливость в трёх группах по тесту Купера. Вместо трёх t-тестов берут однофакторный ANOVA: он одним расчётом проверяет, есть ли различия хоть между какими-то группами, и держит общий риск ошибки на уровне 5%.

Как правильно. Для трёх и более групп берите критерий «на всё сразу»:

• Числовые нормальные данные. Однофакторный дисперсионный анализ (ANOVA). Если он показал значимость — дальше идут поправленные попарные сравнения (post-hoc). Сравнение ANOVA и t-критерия — здесь.
• Баллы или ненормальные данные. Критерий Краскела-Уоллиса — непараметрический аналог ANOVA. См. «ANOVA или Краскел-Уоллис».
• Три и более связанных замера (до / в середине / после у одних людей). Числа — повторные измерения; баллы — критерий Фридмана.

Простое правило: две группы — один тест, три и больше — сначала ANOVA или Краскел-Уоллис, и только потом попарные сравнения с поправкой.

Ошибка 3. Путают связанные и независимые выборки

Это решает, какой критерий вообще брать, поэтому ошибка здесь самая дорогая. Разница простая:

• Связанные (зависимые) выборки. Одни и те же люди, измеренные дважды: до и после. Сравниваем человека с самим собой.
• Независимые выборки. Две разные группы из разных людей: контрольная и экспериментальная.

Пример. «Замерили агрессию по Бассу-Дарки до и после программы» — это связанные выборки, одни и те же подростки. А «сравнили агрессию у спортсменов и не-спортсменов» — это независимые группы. Критерии для этих случаев разные, хотя анкета одна.

Как правильно. Сопоставьте тип выборки и шкалу данных:

Таблица 1 — Какой критерий брать для двух групп

Из таблицы видно главное: Вилкоксон — для одних и тех же людей дважды, Манна-Уитни — для двух разных групп. Их регулярно путают местами, а это значит выбрать заведомо неподходящий метод.

Ошибка 4. «p < 0,05» без значения статистики

Очень частый огрех: в работе написано только «различия достоверны, p < 0,05». Без числовых значений самого критерия такой вывод выглядит голословным — непонятно, что именно посчитали и на каких данных.

Полная запись результата всегда содержит: название критерия, значение его статистики (U, T, t), число степеней свободы или объём выборки и p-значение. Что такое само p-значение — в статье «Что такое p-value».

Как правильно — приведите всё одной строкой:

• Стьюдент: «t = 2,84; df = 38; p = 0,007».
• Манна-Уитни: «U = 142; p = 0,03».
• Вилкоксон: «T = 42; p < 0,05».

Для парного Стьюдента указывают df (степени свободы = число пар минус 1). Для Манна-Уитни и Вилкоксона степеней свободы нет — там приводят U или T и объёмы выборок. Все эти числа калькуляторы выдают автоматически, останется только перенести их в текст.

Ошибка 5. Среднее там, где нужна медиана

Среднее арифметическое корректно описывает только симметричные числовые данные. Для баллов анкет и любых перекошенных распределений «средняя температура по больнице» искажает картину — особенно если есть выбросы.

Пример. Доходы семей: 20, 22, 25, 28 тысяч и один предприниматель с 300. Среднее — 79 тысяч, хотя так не живёт никто. Медиана — 25 тысяч — честно показывает «типичного» человека. Один выброс утащил среднее вверх, а медиану не сдвинул.

Как правильно. Числовые симметричные данные описывайте средним (M) и стандартным отклонением (SD). Баллы, ранги и асимметричные распределения — медианой (Me) и квартилями. Разбор различий — в статьях «Среднее, медиана, мода» и «Описательная статистика в дипломе». Посчитать всё сразу удобно в калькуляторе описательной статистики.

Логичное следствие: если показатель вы сравнивали Вилкоксоном или Манна-Уитни, то и в описании, и в таблицах приводите медианы, а не средние. Несостыковка «критерий непараметрический, а в таблице средние» сразу бросается в глаза.

Ошибка 6. Нет размера эффекта

Критерий отвечает только на вопрос «различие есть или нет». Но насколько оно большое — он не говорит. На крупной выборке статистически значимым окажется даже копеечный сдвиг, практической пользы в котором ноль.

Пример. На 500 студентах прирост мотивации по методике Элерса с 17,2 до 17,9 балла даёт p < 0,05. Формально значимо — но эффект крошечный, и честнее это признать. Размер эффекта (d Коэна ≈ 0,1) сразу показывает, что сдвиг мизерный.

Как правильно. Рядом с p-значением приводите меру величины эффекта:

• d Коэна — для сравнения средних (Стьюдент). Ориентир: 0,2 — слабый эффект, 0,5 — средний, 0,8 — сильный. Подробно — в статье «Размер эффекта d Коэна».
• r — для ранговых критериев (Вилкоксон, Манна-Уитни).
• η² (эта-квадрат) — для ANOVA.

Ошибка 7. Выводы шире данных

Последняя ловушка — на этапе интерпретации. Корреляция показывает, что два показателя меняются вместе, но не доказывает, что один вызывает другой.

Пример. Нашли связь: чем выше школьная мотивация по Лускановой, тем ниже тревожность (r = −0,6). Написать «мотивация снижает тревожность» нельзя: возможно, наоборот — спокойному ребёнку легче учиться, или обе связаны с поддержкой семьи. Связь есть, а направление причины — неизвестно.

Как правильно. В выводах по корреляции пишите «связан», «сопряжён», «выше — тем ниже», но не «влияет», «приводит к», «вызывает». Чтобы говорить о влиянии и прогнозе, нужны другой дизайн исследования и регрессия — разница разобрана в статье «Корреляция или регрессия». Какой коэффициент корреляции брать — Пирсона или Спирмена.

Что писать в дипломе

Готовые формулировки, которые закрывают разом несколько ошибок выше:

• «Распределение разностей проверено критерием Шапиро-Уилка: для парного Стьюдента условие нормальности выполнено (p = 0,21)».
• «Поскольку данные представлены баллами опросника, применён непараметрический критерий Манна-Уитни».
• «Различия между тремя группами оценивались однофакторным дисперсионным анализом (ANOVA)».
• «Сдвиг статистически значим (T = 42; p < 0,05); размер эффекта r = 0,55 (сильный)».
• «Между показателями выявлена обратная корреляция средней силы (r = −0,6; p < 0,05); о причинно-следственной связи на основании корреляции судить нельзя».

Частые ошибки

Коротко, всё в одном списке:

• Стьюдент на баллах и малых выборках. Берите Вилкоксона или Манна-Уитни.
• Множество t-тестов на 3+ группах. Сначала ANOVA или Краскел-Уоллис.
• Путают связанные и независимые выборки. Вилкоксон — одни и те же люди, Манна-Уитни — разные группы.
• «p < 0,05» без статистики. Указывайте U / T / t и df или n.
• Среднее вместо медианы для баллов и данных с выбросами.
• Нет размера эффекта рядом с p-значением.
• Слово «влияет» по корреляции. Связь ≠ причина.

Частые вопросы

Как понять, нормальное у меня распределение или нет?

Не на глаз, а критерием Шапиро-Уилка (для малых выборок) или Колмогорова-Смирнова. Если p > 0,05 — распределение можно считать нормальным и брать параметрику. Подробнее — в статье «Как проверить нормальность распределения».

Можно ли вообще не проверять нормальность, а сразу брать непараметрику?

Да, это безопасный путь. Непараметрические критерии (Вилкоксон, Манна-Уитни, Краскел-Уоллис) корректны и для нормальных данных тоже — просто чуть менее «мощные». При сомнениях это разумный выбор, который трудно оспорить на защите.

Сколько респондентов нужно, чтобы расчёт был валидным?

Зависит от метода, но непараметрика работает и на малых выборках (Вилкоксон — от ~6 пар). Чем больше людей, тем надёжнее вывод. Ориентиры по объёму — в статье «Сколько респондентов нужно для диплома».

Что делать, если ANOVA показала значимость — какие группы различаются?

ANOVA говорит только «различия где-то есть». Чтобы узнать, между какими именно группами, проводят попарные сравнения post-hoc (с поправкой на множественность). В дипломе достаточно указать сам факт значимости ANOVA и привести пары, различающиеся значимо.

Обязательно ли считать размер эффекта?

Формально критерий «работает» и без него, но всё больше научруков и журналов требуют размер эффекта обязательно. Это сильный аргумент: он показывает не только «различие есть», но и «оно практически весомое». Добавить его — почти всегда плюс к работе.

Короткий алгоритм

Чтобы пройти статчасть без типичных ошибок:

1. Определите тип выборки — связанные (до/после) или независимые (разные группы).
2. Посчитайте группы — две или три и больше (для 3+ нужен ANOVA / Краскел-Уоллис).
3. Уточните шкалу — числа (проверьте нормальность) или баллы.
4. Выберите критерий по таблице 1 и посчитайте в калькуляторе.
5. Опишите данные правильно — средним для чисел, медианой для баллов.
6. Запишите результат полностью — критерий + статистика + p + размер эффекта.
7. Сформулируйте вывод по данным — для корреляции «связан», а не «влияет».

Что ещё почитать

• Как выбрать статистический критерий для диплома — общая схема с развилками.
• Параметрические и непараметрические критерии — в чём принципиальная разница.
• Среднее, медиана, мода — чем и когда описывать данные.
• Размер эффекта d Коэна — зачем нужна величина эффекта.
• Корреляция или регрессия — где заканчивается «связь» и начинается «причина».

Запутались, какой критерий нужен именно вашим данным — загляните в базу методов или закажите консультацию: эксперт подберёт метод, посчитает и поможет с формулировками.