Ограничения статистических методов. Непараметрические методы.

.title[
# Ограничения статистических методов. Непараметрические методы.
]
.subtitle[
## Основы биостатистики, осень 2022
]
.author[
### Марина Варфоломеева
]

---

- Трансформации данных
- Непараметрические методы
- Альтернативы одновыборочному и парному t-тестам
 - Тест знаков и тест Вилкоксона
- Альтернативы двухвыборочному t-тесту
 - Тест U Манна-Уитни и тест Колмогорова-Смирнова
- Пермутационные тесты

---

## Если нарушаются условия применимости метода

- параметрический метод с другими условиями применимости
]

- обобщенная линейная модель, вместо простой линейной регрессии
]

.pull-left[
- подходящая трансформация данных `$^*$`
]
.pull-right[
- логарифмирование счетных данных для нормализации формы распределения
]

.pull-left[
- пермутационные тесты `$^*$`
]
.pull-right[
- распределения любых статистик для `$H_0$` генерируются из самих данных
]

---

# Трансформация данных

---

## Трансформация данных

__Трансформация данных__ — математическая операция, которую применяют к значениям переменной (т.е. к ряду данных целиком, а не к единичным наблюдениям)

- для коррекции формы распределения
- для выравнивания дисперсий

### Самые распространенные трансформации

- логарифм
- квадратный корень
- арксинус-преобразование

???

Не всегда лучший, но самый простой способ.

---

## Логарифмирование

<img src="23-assumptions-and-nonparametrics_files/figure-html/gg-log-1.png" width="432" />
]

`$$x^\prime = \log(x)$$`

Если в данных есть нули, то прибавляют маленькую константу `$x^\prime = \log(x + 1)$`.

]

.pull-left[
<img src="23-assumptions-and-nonparametrics_files/figure-html/gg-dlognorm-1.png" width="432" />

]

.pull-right[
<img src="23-assumptions-and-nonparametrics_files/figure-html/gg-dlognorm-t-1.png" width="432" />
]

Подойдет, если

- распределение имеет длинный правый хвост
- измерения — это отношения, произведения, подсчеты численности
- в группах с большим средним большое стандартное отклонение
- диапазон данных несколько порядков

---

## Извлечение корня

.pull-left[
<img src="23-assumptions-and-nonparametrics_files/figure-html/gg-sqrt-1.png" width="432" />

]
.pull-right[

`$$x^\prime = \sqrt{x}$$`

Иногда используют корни других степеней.

]

.pull-left[
<img src="23-assumptions-and-nonparametrics_files/figure-html/gg-dsqrt-1.png" width="432" />

]

.pull-right[
<img src="23-assumptions-and-nonparametrics_files/figure-html/gg-dsqrt-t-1.png" width="432" />
]

Подойдет, если

- распределение имеет длинный левый хвост
- данные - это подсчеты численности
- в группах с большим средним большое стандартное отклонение

---

## Арксинус-преобразование для долей

.pull-left[
<img src="23-assumptions-and-nonparametrics_files/figure-html/gg-asin-1.png" width="432" />

]
.pull-right[
`$$p^\prime = \arcsin{\sqrt{p}}$$`

Значения долей ограничены `$0 \le p \le 1$`.
Если много долей, близких к 0 или 1, трансформация "растянет" концы шкалы.
]

Усовершенствованные варианты:

- `$p^\prime = \arcsin{\sqrt{\cfrac{x + 3/8}{n + 3/4}}}$` (Johnson, Kotz, 1969)
- `$p^\prime = 2\sqrt{n}\cdot\Big(\arcsin{\sqrt{\cfrac{x + 3/8}{n + 3/4}}} - \arcsin{\sqrt{p}}\Big)$` (Freeman, Tukey, 1950)

---

## Основные трансформации данных

### Степенные

| Название | Трансформация | Обратная трансформация |
| ---------------- | --------------- | ---------------------- | 
| степень -2 | `$x^\prime = 1/x^2$` | `$x = \sqrt{1/x^\prime}$` |
| степень -1 | `$x^\prime = 1/x$` | `$x = 1/x^\prime$` |
| степень -0.5 | `$x^\prime = 1/\sqrt{x}$` | `$x = 1/x^{\prime~2}$` |
| степень 0.5 | `$x^\prime = \sqrt{x}$` | `$x = x^{\prime~2}$` |
| логарифмирование | `$x^\prime = \log(x)$` | `$x = e^{x}$` |

### Для долей

| Название         | Трансформация   | Обратная трансформация |
| ---------------- | --------------- | ---------------------- | 
| Арксинус-трансформация | `$p^\prime = \arcsin{\sqrt{p}}$` | `$p = \sin(p^\prime)^2$` |
| Логит-преобразование   | `$p^\prime = \log{\Big(\cfrac{p}{1-p}\Big)}$` | `$p = \cfrac{e^{p^\prime}}{1+e^{p^\prime}} = \cfrac{1}{1+e^{-p^\prime}}$` |

---

## Подбор подходящей трансформации

Нечестно специально выбирать трансформацию, приводящую к наиболее значимому результату теста.

Выбирайте трансформацию, которая лучше всего приближает к выполнению условий применимости.

---

## Пример: морские заповедники

Эффективны ли морские заповедники для сохранения природы (Halpern, 2003)?

32 пары заповедник—контрольная точка (до заповедника или рядом с ним)

Показатель успеха защиты `$I = \cfrac{B_\text{заповедник}}{B_\text{контроль}}$`.

`$H_0: \mu = 1$` — среднее отношение биомасс не зависит от статуса акватории
`$H_1: \mu \ne 1$` — среднее отношение биомасс различается в охраняемых и не охраняемых акваториях

---

## Проверяем условия для одновыборочного t-теста

Асимметрия вправо. Попробуем логарифмировать данные.

Неидеально, но явно лучше.

---

## Одновыборочный t-тест по трансформированным данным

- `$H_0: \mu = 0$` — средний логарифм отношения биомасс не зависит от статуса
- `$H_1: \mu \ne 0$` — средний логарифм отношения биомасс различается  
  в защищенных и не защищенных акваториях

Формулировка изменилась, т.к. `$log(1) = 0$`

В нашем примере средний логарифм отношения биомасс `$\overline {log(I)} = \overline{log\Big(\frac{B_\text{заповедник}}{B_\text{контроль}}\Big)} = 0.479$`.

`$s = 0.366$`, `$n = 32$`

`$t = \frac{0.479 - 0}{0.366 / \sqrt{32}} = 7.40$`, `$df = 32 - 1 = 31$`

`$p = 2.49e-08$`

Т.е. средний логарифм биомассы статистически значимо выше в охраняемых акваториях.

---

## Доверительный интервал по трансформированным данным

`$$\overline {log(I)} - t_{\alpha, df} \cdot SE_{\overline {log(I)}} \le \overline {log(I)} \le \overline {log(I)} + t_{\alpha, df} \cdot SE_{\overline {log(I)}}$$`

В этом интервале лежит средний логарифм (в 95% провторных выборок):

`$$0.479 - 2.04 \cdot \frac{0.366} {\sqrt{32}} \le \overline {log(I)} \le 0.479 + 2.04 \cdot \frac{0.366} {\sqrt{32}}$$`

`$$0.347 \le \overline {log(I)} \le 0.611$$`

Само среднее (геометрическое - из-за логарифмирования)  
лежит в другом интервале:

`$$e^{0.347}  \le \text{среднее геометрическое } {I} \le  e^{0.611}$$`

`$$1.415  \le \text{среднее геометрическое } {I} \le  1.843$$`

Т.е. в заповедниках биомасса в среднем выше, чем в неохраняемых акваториях в `$1.415$` — `$1.843$` раз.

---

# Непараметрические методы

---

## Непараметрические методы

- не делают никаких предположений о значениях __параметров__ статистических распределений
- имеют менее жесткие условия применимости (например, не требуют нормальности)
- часто основаны на использовании рангов

---

## Ранги

Допустим, вы поймали несколько ящериц и измерили их длину (см).

10, 4, 7, 8, 7, 6, 11, 6, 13, 6, 10

![:scale 80%](img/lizards-unsorted.png)

]

4, 6, 6, 6, 7, 7, 8, 10, 10, 11, 13

![:scale 80%](img/lizards-sorted.png)

]

__Ранг__ наблюдения — это его порядковый номер в отсортированном ряду. Одинаковые наблюдения ("связанные ранги", tied ranks) получат один и тот же ранг — чаще это среднее их номеров.
]

Исходные значения можно заменить на их ранги и работать уже с ними.

8.5, 1, 5.5, 7, 5.5, 3, 10, 3, 11, 3, 8.5

---

## Ошибки I и II рода

У параметрических тестов соответствует `$\alpha$` только если выполнены условия применимости. Если нет, то увеличивается.

У непараметрических тестов — соответствует  `$\alpha$`, если выполнены более мягкие условия применимости.
]

У непараметрических тестов увеличивается вероятность ошибки II рода `$\beta$`, из-за потери информации при переходе к рангам.
]

---

# Проверка гипотез для одной или парных выборок  
при помощи непараметрических тестов

---

## Тест знаков

Sign test

Альтернатива одновыборочному или парному t-тестам, когда данные не подчиняются нормальному распределению.

Проверяет равенство медианы переменной `$x$` конкретному значению `$m_0$`.

- `$H_0: m = m_0$`
- `$H_A: m \ne m_0$`

Обозначим `$x > m_0$` как "+", а `$x < m_0$` как "—", остальные не будем учитывать вообще.

При `$H_0$` можно ожидать что, доля "+" и "—" равна 0.5.

Для вычисления p используется биномиальное распределение.

---

## Пример: половой конфликт и происхождение видов

Половой конфликт более выражен у видов, чьи самки спариваются больше одного раза. Значит ли это, что у них быстрее видообразование (Arnqvist et al., 2000)?

25 пар групп насекомых со множественным и однократным спариванием.

В каких из этих групп таксонов больше родственных видов?

.small[
.scroll-box-18[
<table class="table" style="margin-left: auto; margin-right: auto;">
 <thead>
<tr>
<th style="empty-cells: hide;border-bottom:hidden;" colspan="1"></th>
<th style="border-bottom:hidden;padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; " colspan="2"><div style="border-bottom: 1px solid #ddd; padding-bottom: 5px; ">Спаривание (число таксонов)</div></th>
<th style="empty-cells: hide;border-bottom:hidden;" colspan="1"></th>
</tr>
 <tr>
 <th style="text-align:left;"> Пара таксонов </th>
 <th style="text-align:right;"> Множественное </th>
 <th style="text-align:right;"> Однократное </th>
 <th style="text-align:right;"> Разница </th>
 </tr>
 </thead>
<tbody>
 <tr>
 <td style="text-align:left;"> A </td>
 <td style="text-align:right;"> 53 </td>
 <td style="text-align:right;"> 10 </td>
 <td style="text-align:right;"> 43 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> B </td>
 <td style="text-align:right;"> 73 </td>
 <td style="text-align:right;"> 120 </td>
 <td style="text-align:right;"> -47 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> C </td>
 <td style="text-align:right;"> 228 </td>
 <td style="text-align:right;"> 74 </td>
 <td style="text-align:right;"> 154 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> D </td>
 <td style="text-align:right;"> 353 </td>
 <td style="text-align:right;"> 289 </td>
 <td style="text-align:right;"> 64 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> E </td>
 <td style="text-align:right;"> 157 </td>
 <td style="text-align:right;"> 30 </td>
 <td style="text-align:right;"> 127 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> F </td>
 <td style="text-align:right;"> 300 </td>
 <td style="text-align:right;"> 4 </td>
 <td style="text-align:right;"> 296 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> G </td>
 <td style="text-align:right;"> 34 </td>
 <td style="text-align:right;"> 18 </td>
 <td style="text-align:right;"> 16 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> H </td>
 <td style="text-align:right;"> 3400 </td>
 <td style="text-align:right;"> 3500 </td>
 <td style="text-align:right;"> -100 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> I </td>
 <td style="text-align:right;"> 20 </td>
 <td style="text-align:right;"> 1000 </td>
 <td style="text-align:right;"> -980 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> J </td>
 <td style="text-align:right;"> 196 </td>
 <td style="text-align:right;"> 486 </td>
 <td style="text-align:right;"> -290 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> K </td>
 <td style="text-align:right;"> 1750 </td>
 <td style="text-align:right;"> 660 </td>
 <td style="text-align:right;"> 1090 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> L </td>
 <td style="text-align:right;"> 55 </td>
 <td style="text-align:right;"> 63 </td>
 <td style="text-align:right;"> -8 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> M </td>
 <td style="text-align:right;"> 37 </td>
 <td style="text-align:right;"> 115 </td>
 <td style="text-align:right;"> -78 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> N </td>
 <td style="text-align:right;"> 100 </td>
 <td style="text-align:right;"> 30 </td>
 <td style="text-align:right;"> 70 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> O </td>
 <td style="text-align:right;"> 21000 </td>
 <td style="text-align:right;"> 60 </td>
 <td style="text-align:right;"> 20940 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> P </td>
 <td style="text-align:right;"> 37 </td>
 <td style="text-align:right;"> 40 </td>
 <td style="text-align:right;"> -3 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Q </td>
 <td style="text-align:right;"> 7 </td>
 <td style="text-align:right;"> 5 </td>
 <td style="text-align:right;"> 2 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> R </td>
 <td style="text-align:right;"> 15 </td>
 <td style="text-align:right;"> 7 </td>
 <td style="text-align:right;"> 8 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> S </td>
 <td style="text-align:right;"> 18 </td>
 <td style="text-align:right;"> 6 </td>
 <td style="text-align:right;"> 12 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> T </td>
 <td style="text-align:right;"> 240 </td>
 <td style="text-align:right;"> 13 </td>
 <td style="text-align:right;"> 227 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> U </td>
 <td style="text-align:right;"> 15 </td>
 <td style="text-align:right;"> 14 </td>
 <td style="text-align:right;"> 1 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> V </td>
 <td style="text-align:right;"> 77 </td>
 <td style="text-align:right;"> 16 </td>
 <td style="text-align:right;"> 61 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> W </td>
 <td style="text-align:right;"> 15 </td>
 <td style="text-align:right;"> 14 </td>
 <td style="text-align:right;"> 1 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> X </td>
 <td style="text-align:right;"> 85 </td>
 <td style="text-align:right;"> 6 </td>
 <td style="text-align:right;"> 79 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Y </td>
 <td style="text-align:right;"> 86 </td>
 <td style="text-align:right;"> 8 </td>
 <td style="text-align:right;"> 78 </td>
 </tr>
</tbody>
</table>
]]

---

## Проверяем условия для одновыборочного t-теста

Есть наблюдение-выброс — таксон, в котором видов со множественным спариванием на 20400 больше, чем с однократным.

Никакая трансформация не поможет.

---

## Гипотезы для теста знаков

- `$H_0: m = m_0$` — медианная разница числа видов между группами  
со множественным и однократным спариванием равна 0.
- `$H_A: m \ne m_0$` — медианная разница числа видов между этими группами не равна 0.

При `$H_0$` разница числа видов > 0 у половины наблюдений, а у другой половины < 0.

Тест знаков — это биномиальный тест.

---

## Расставляем знаки

.small[
.scroll-box-26[
<table class="table" style="width: auto !important; margin-left: auto; margin-right: auto;">
 <thead>
<tr>
<th style="empty-cells: hide;border-bottom:hidden;" colspan="1"></th>
<th style="border-bottom:hidden;padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; " colspan="2"><div style="border-bottom: 1px solid #ddd; padding-bottom: 5px; ">Спаривание (число таксонов)</div></th>
<th style="empty-cells: hide;border-bottom:hidden;" colspan="2"></th>
</tr>
 <tr>
 <th style="text-align:left;"> Пара таксонов </th>
 <th style="text-align:right;"> Множественное </th>
 <th style="text-align:right;"> Однократное </th>
 <th style="text-align:right;"> Разница </th>
 <th style="text-align:left;"> Знак </th>
 </tr>
 </thead>
<tbody>
 <tr>
 <td style="text-align:left;"> A </td>
 <td style="text-align:right;"> 53 </td>
 <td style="text-align:right;"> 10 </td>
 <td style="text-align:right;"> 43 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> B </td>
 <td style="text-align:right;"> 73 </td>
 <td style="text-align:right;"> 120 </td>
 <td style="text-align:right;"> -47 </td>
 <td style="text-align:left;"> - </td>
 </tr>
 <tr>
 <td style="text-align:left;"> C </td>
 <td style="text-align:right;"> 228 </td>
 <td style="text-align:right;"> 74 </td>
 <td style="text-align:right;"> 154 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> D </td>
 <td style="text-align:right;"> 353 </td>
 <td style="text-align:right;"> 289 </td>
 <td style="text-align:right;"> 64 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> E </td>
 <td style="text-align:right;"> 157 </td>
 <td style="text-align:right;"> 30 </td>
 <td style="text-align:right;"> 127 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> F </td>
 <td style="text-align:right;"> 300 </td>
 <td style="text-align:right;"> 4 </td>
 <td style="text-align:right;"> 296 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> G </td>
 <td style="text-align:right;"> 34 </td>
 <td style="text-align:right;"> 18 </td>
 <td style="text-align:right;"> 16 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> H </td>
 <td style="text-align:right;"> 3400 </td>
 <td style="text-align:right;"> 3500 </td>
 <td style="text-align:right;"> -100 </td>
 <td style="text-align:left;"> - </td>
 </tr>
 <tr>
 <td style="text-align:left;"> I </td>
 <td style="text-align:right;"> 20 </td>
 <td style="text-align:right;"> 1000 </td>
 <td style="text-align:right;"> -980 </td>
 <td style="text-align:left;"> - </td>
 </tr>
 <tr>
 <td style="text-align:left;"> J </td>
 <td style="text-align:right;"> 196 </td>
 <td style="text-align:right;"> 486 </td>
 <td style="text-align:right;"> -290 </td>
 <td style="text-align:left;"> - </td>
 </tr>
 <tr>
 <td style="text-align:left;"> K </td>
 <td style="text-align:right;"> 1750 </td>
 <td style="text-align:right;"> 660 </td>
 <td style="text-align:right;"> 1090 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> L </td>
 <td style="text-align:right;"> 55 </td>
 <td style="text-align:right;"> 63 </td>
 <td style="text-align:right;"> -8 </td>
 <td style="text-align:left;"> - </td>
 </tr>
 <tr>
 <td style="text-align:left;"> M </td>
 <td style="text-align:right;"> 37 </td>
 <td style="text-align:right;"> 115 </td>
 <td style="text-align:right;"> -78 </td>
 <td style="text-align:left;"> - </td>
 </tr>
 <tr>
 <td style="text-align:left;"> N </td>
 <td style="text-align:right;"> 100 </td>
 <td style="text-align:right;"> 30 </td>
 <td style="text-align:right;"> 70 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> O </td>
 <td style="text-align:right;"> 21000 </td>
 <td style="text-align:right;"> 60 </td>
 <td style="text-align:right;"> 20940 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> P </td>
 <td style="text-align:right;"> 37 </td>
 <td style="text-align:right;"> 40 </td>
 <td style="text-align:right;"> -3 </td>
 <td style="text-align:left;"> - </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Q </td>
 <td style="text-align:right;"> 7 </td>
 <td style="text-align:right;"> 5 </td>
 <td style="text-align:right;"> 2 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> R </td>
 <td style="text-align:right;"> 15 </td>
 <td style="text-align:right;"> 7 </td>
 <td style="text-align:right;"> 8 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> S </td>
 <td style="text-align:right;"> 18 </td>
 <td style="text-align:right;"> 6 </td>
 <td style="text-align:right;"> 12 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> T </td>
 <td style="text-align:right;"> 240 </td>
 <td style="text-align:right;"> 13 </td>
 <td style="text-align:right;"> 227 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> U </td>
 <td style="text-align:right;"> 15 </td>
 <td style="text-align:right;"> 14 </td>
 <td style="text-align:right;"> 1 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> V </td>
 <td style="text-align:right;"> 77 </td>
 <td style="text-align:right;"> 16 </td>
 <td style="text-align:right;"> 61 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> W </td>
 <td style="text-align:right;"> 15 </td>
 <td style="text-align:right;"> 14 </td>
 <td style="text-align:right;"> 1 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> X </td>
 <td style="text-align:right;"> 85 </td>
 <td style="text-align:right;"> 6 </td>
 <td style="text-align:right;"> 79 </td>
 <td style="text-align:left;"> + </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Y </td>
 <td style="text-align:right;"> 86 </td>
 <td style="text-align:right;"> 8 </td>
 <td style="text-align:right;"> 78 </td>
 <td style="text-align:left;"> + </td>
 </tr>
</tbody>
</table>
]]

Подсчитаем количество

---

## Тест знаков

Гипотезы можно переформулировать как для биномиального теста

`$H_0: \pi = 0.5$` — доля "-" в генеральной совокупности равна `$0.5$`

`$H_A: \pi \ne 0.5$` — доля "-" не равна `$0.5$`

]
.pull-right[

]

Биномиальное распределение:  
`$P(X \text{'успех'}) = \frac{n!}{X! (n-X)!} \pi^X (1 - \pi)^{n-X}$`

Какова вероятность получить `$\le 7$` "-" из 25 когда `$p_{\text{"-"}} = 0.5$`?

Находим и суммируем вероятности для 0-7:

`$$P(X \le 7) = \sum^7_{i = 0} \frac{25!}{i! (25-i)!} 0.5^i (1 - 0.5)^{25-i} = 0.02164$$`

Двусторонняя альтернативная гипотеза, поэтому `$p = 2 \cdot 0.02164 = 0.043$`

---

## Тест знаковых рангов Вилкоксона

Wilcoxon signed-rank test

"Усовершенствованная" (плохо) версия теста знаков.

Сохраняет информацию о величине отличия от `$m_0$`.

__Осторожно!__

Условие применимости: распределение измерений __симметрично__ относительно медианы.

Почти невыполнимо, т.к. в большинстве случаев проблемы с нормальностью распределения именно из-за асимметрии.

Лучше использовать тест знаков.

---

# Сравнение двух групп 
при помощи непараметрических тестов

---

## Тест U Манна-Уитни

The Mann-Whitney U-test

Альтернатива двухвыборочному t-тесту.

По ранжированным данным сравнивает среднее значение рангов в двух выборках.

p-значение зависит от степени несоответствия средних рангов.

Особенности:

- Регистрирует в основном различия медиан
- Есть адаптации для связанных рангов

= тест суммы рангов Вилкоксона (Wilcoxon rank sum test).

Не путайте с тестом знаковых рангов Вилкоксона.

???

Приблизительные значения p можно найти по трансформированным значениям U-статистики.
Их распределение можно аппроксимировать нормальным.

`$Z=\frac{2 U-n_1 n_2}{\sqrt{n_1 n_2\left(n_1+n_2+1\right) / 3}}$`

---

## Пример: канибализм у сверчков

У сверчков Cyphoderris strepitans  во время спаривания самец предлагает самке съесть свои мясистые крылья.

Зависит ли вероятность спаривания от того, голодные ли самки (Johnson, 1999)?

Свежих самцов предлагали самкам из двух групп:

- 11 голодных 
- 13 сытых

Регистрировали время до начала спаривания.

---

## Проверяем условия для двухвыборочного t-теста

Асимметрия вправо. В одной группе есть выброс. В другой полимодальное распределение. Малый объем выборки.

Логарифмирование не поможет.

---

## Медианное время до спаривания

- у голодных самок 13.0 ч.
- у сытых самок 22.8 ч.

Гипотезы для теста Манна-Уитни

- `$H_0: m_1 - m_2 = 0$` — медианное время до спаривания одинаковое  
у сытых и голодных самок.
- `$H_A: m_1 - m_2 \ne 0$` — медианное время до спаривания разное  
у сытых и голодных самок.

---

## Ранжируем данные
.pull-left-40[

.small[
.scroll-box-26[
<table class="table" style="margin-left: auto; margin-right: auto;">
 <thead>
 <tr>
 <th style="text-align:left;"> Аппетит </th>
 <th style="text-align:right;"> Время до спаривания </th>
 <th style="text-align:right;"> Ранг </th>
 </tr>
 </thead>
<tbody>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 1.5 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 1 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 1.7 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 2 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 1.9 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 3 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 2.1 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 4 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 2.4 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 5 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 3.6 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 6 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 3.8 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 7 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 5.7 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 8 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 9.0 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 9 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 9.6 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 10 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 13.0 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 11 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 14.7 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 12 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 17.9 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 13 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 21.7 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 14 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 22.6 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 15 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 22.8 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 16 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 29.0 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 17 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 39.0 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 18 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 54.4 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 19 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 72.1 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 20 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightcoral !important;font-weight: bold;"> Голодные </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 72.3 </td>
 <td style="text-align:right;color: black !important;background-color: lightcoral !important;"> 21 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 73.6 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 22 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 79.5 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 23 </td>
 </tr>
 <tr>
 <td style="text-align:left;color: black !important;background-color: lightblue !important;font-weight: bold;"> Сытые </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 88.9 </td>
 <td style="text-align:right;color: black !important;background-color: lightblue !important;"> 24 </td>
 </tr>
</tbody>
</table>
]
]]
.pull-right-60[

Сумма рангов в группе 1 (голодные): `$R_1 = 121$`

]

Сколько раз у наблюдений из группы 1 меньший ранг, чем в группе 2 (во всех возможных парах): 
`$U_1 = n_1 \cdot n_2 + \cfrac{n_1 (n_1 + 1)}{2} - R_1 = \\ = 11 \cdot 13 +\cfrac{11(11+1)}{2} - 121 = 88$`

--
 
Аналогично для группы 2: 
`$U_2 = n_1 \cdot n_2 - U_1 = 11 \cdot 13 - 88 = 55$`

Максимальное из них — это U-статистика:
`$U = U_1 = 88$`

P-значение определяем по U-распределению.

Критическое значение `$U_{0.05, df = 2, n_1 = 11, n_2  = 13} = 106$`,
поэтому `$p > 0.05$`, сохраняем `$H_0$`.

---

## Тест Колмогорова-Смирнова

The Kolmogorov-Smirnov test

Сравнивает кумулятивное распределение в двух выборках (goodness-of-fit test).

p-значение зависит от степени несоответствия кумулят.

__Недостатки__:

- Регистрирует любые различия формы распределений. Т.е. не умеет отличать положение медианы от различий размаха и асимметрии.
- Плохо работает со связанными рангами.

Лучше использовать тест U Манна-Уитни

---

# Пермутационные методы

---

## Пермутационные методы

- используют перестановки (пермутации, permutations) исходных данных для тестирования гипотез

--
  - о равенстве средних (аналог t-тестов)

--
  - о связи между категориальными переменными (таблицы сопряженности)

--
  - о связи между непрерывными переменными (коэффициент корреляции)

--
- делают меньше предположений о распределении данных

---

## Пермутационный тест в общем виде

.pull-left-60[
__0.__ Вычисляем тестовую статистику на исходных данных.
]
.pull-right-40[
![](img/permutations-0.png)
]

Случайно переставляем данные, смешивая сравниваемые группы. 
Это моделирует ситуацию для `$H_0$`.
]
.pull-right-40[
 
![](img/permutations-01.png)
]

---

## Пермутационный тест в общем виде

.pull-left-60[
__0.__ Вычисляем тестовую статистику на исходных данных.
]
.pull-right-40[
![](img/permutations-0.png)
]

Случайно переставляем данные, смешивая сравниваемые группы.  
Это моделирует ситуацию для `$H_0$`.

__2.__ Вычисляем тестовую статистику на пермутированных данных.

]

---

## Пермутационный тест в общем виде

.pull-left-60[
__0.__ Вычисляем тестовую статистику на исходных данных.
]
.pull-right-40[
![](img/permutations-0.png)
]

Случайно переставляем данные, смешивая сравниваемые группы.  
Это моделирует ситуацию для `$H_0$`.

__2.__ Вычисляем тестовую статистику на пермутированных данных.

__3.__ Повторяем 1 и 2 много раз ( `$\ge 1000$`)

Получаем распределение тестовой статистики при `$H_0$` (с учетом вычисленного про исходным данным значения).

]
.pull-right-40[
![](img/permutations-2.png)
]

Например, в двустороннем тесте разницы средних, если статистика >0, _p_ — удвоенная доля пермутаций, где значение статистики больше исходного (и наоборот, если < 0).

]
.pull-right-40[
![](img/permutations-3.png)
]

---

## Условия применимости пермутационного теста о сравнении средних

- данные — это случайная выборка
- распределение переменной одинаковое в сравниваемых группах (устойчив при больших выборках)

- p-значение зависит от количества пермутаций

Число возможных пермутаций `$n!$`,  
т.е. годится для не слишком малых выборок ( `$n>5$` или `$7$`).

---

## Мощность

- При малых выборках мощность меньше, чем у параметрического t-теста, но больше, чем у теста U Манна-Уитни.
- При больших выборках сходная мощность у всех трех типов.

---

## Пермутационный тест для сверчков-каннибалов

### Считаем статистику на исходных данных

.small[.scroll-box-30[
<table class="table" style="width: auto !important; margin-left: auto; margin-right: auto;">
 <thead>
 <tr>
 <th style="text-align:left;"> Аппетит </th>
 <th style="text-align:left;"> Время до спаривания </th>
 </tr>
 </thead>
<tbody>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 1.9 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 2.1 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 3.8 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 9 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 9.6 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 13 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 14.7 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 17.9 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 21.7 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 29 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 72.3 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 1.5 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 1.7 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 2.4 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 3.6 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 5.7 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 22.6 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 22.8 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 39 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 54.4 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 72.1 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 73.6 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 79.5 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 88.9 </td>
 </tr>
</tbody>
</table>
]
]]

у голодных самок `$\bar y_{голодные} = 17.73$`

у сытых самок `$\bar y_{сытые} = 35.98$`

Разница `$\bar y_{голодные}  - \bar y_{сытые}  = -18.26$`
]

---

### Считаем статистику на пермутированных данных

.small[.scroll-box-30[
<table class="table" style="margin-left: auto; margin-right: auto;">
 <thead>
 <tr>
 <th style="text-align:left;"> Аппетит </th>
 <th style="text-align:left;"> Время до спаривания </th>
 </tr>
 </thead>
<tbody>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 1.9 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 2.1 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 3.8 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 9 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 9.6 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 13 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 14.7 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 17.9 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 21.7 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 29 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 72.3 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 1.5 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 1.7 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 2.4 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 3.6 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 5.7 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 22.6 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 22.8 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 39 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 54.4 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 72.1 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 73.6 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Сытые </td>
 <td style="text-align:left;"> 79.5 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Голодные </td>
 <td style="text-align:left;"> 88.9 </td>
 </tr>
</tbody>
</table>
]
]]

у голодных самок `$\bar y_{голодные_1} = 35.66$`

у сытых самок `$\bar y_{сытые_1} = 20.81$`

Разница `$\bar y_{голодные_1}  - \bar y_{сытые_1}  = 14.86$`
]

---

### Распределение статистики по пермутированным данным

Если процесс повторить 10000 раз, получится такое распределение

В нашем двустороннем тесте p-значение — это удвоенная доля пермутаций, в которых значение меньше исходного.

`$p = 2 \cdot 0.0672 = 0.134$`

Сохраняем `$H_0$`

Т.е. не обнаружено статистически-значимых различий среднего времени до спаривания у голодных и сытых самок.

---

## Обращайте внимание, что вы сравниваете

Тест U Манна-Уитни сравнивает медианы, а в пермутационном тесте мы решили сравнивать средние значения (хотя могли бы медианы). Это разные гипотезы.

---

# Summary

---

## Summary

- Условия применимости статистических методов не всегда выполняются.

- Если нарушаются условия применимости метода, можно использовать
  - другой параметрический метод
  - трансформировать данные
  - непараметрические методы
  - пермутационные методы

---

## Что почитать

Whitlock, M., & Schluter, D. (2015). The analysis of biological data (Second edition). Roberts and Company Publishers.