Проверка статистических гипотез — бесплатный тест онлайн

Вопрос 1 из 25

Ситуация: Незначимый результат объявляют доказательством полного отсутствия различий между методами. Какое правило нужно применить к этому фрагменту прежде всего?

x <- c(10,11,9,10,12)
result <- t.test(x, mu=10)
result

p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных

Вопрос 2 из 25

Ситуация: Незначимый результат объявляют доказательством полного отсутствия различий между методами. Что в этой ситуации способно исказить вывод без явной синтаксической ошибки?

x <- c(10,11,9,10,12)
result <- t.test(x, mu=10)
result

Малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия Неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения Выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным

Вопрос 3 из 25

Ситуация: Незначимый результат объявляют доказательством полного отсутствия различий между методами. Что следует изменить в коде или процессе?

Задайте семейство гипотез и примените подходящую коррекцию, например Holm для FWER или BH для FDR Выбирайте alpha, мощность и минимально важный эффект до сбора данных, учитывая цену двух типов ошибок Сообщайте размер эффекта и интервал вместе с p-value, связывая вывод с заранее заданным вопросом Зафиксируйте план, проверяйте допущения и показывайте все существенные аналитические решения Заранее задайте эффект, тест и критерий решения, а при интересе к эквивалентности используйте соответствующий дизайн

Вопрос 4 из 25

Ситуация: Незначимый результат объявляют доказательством полного отсутствия различий между методами. Какой тест лучше всего ловит повтор этой ошибки?

Проведите расчёт мощности и анализ чувствительности к размеру эффекта и дисперсии Сравните p-value при разных n для одинакового эффекта и оцените предметную значимость Воспроизведите анализ по протоколу, проведите диагностику и сравните устойчивость к альтернативным разумным спецификациям Сравните сырые и скорректированные p-value и число открытий при разных разумных методах Проверьте размер эффекта, интервал и мощность, а не только бинарное решение

Вопрос 5 из 25

Ситуация: Незначимый результат объявляют доказательством полного отсутствия различий между методами. Как сформулировать вывод без лишних обобщений?

x <- c(10,11,9,10,12)
result <- t.test(x, mu=10)
result

Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных; поэтому отсутствие сообщения об ошибке уже подтверждает корректность результата Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных; при этом главный риск состоит в том, что неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; при этом главный риск состоит в том, что неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных; при этом главный риск состоит в том, что малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна; при этом главный риск состоит в том, что снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее

Вопрос 6 из 25

Ситуация: Разница в три сотых единицы статистически значима на огромной выборке, и её называют крупным улучшением. Какой механизм точнее всего объясняет связь кода с ситуацией?

set.seed(2)
x <- rnorm(10000, mean=.03, sd=1)
result <- t.test(x, mu=0)
result

Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план

Вопрос 7 из 25

Ситуация: Разница в три сотых единицы статистически значима на огромной выборке, и её называют крупным улучшением. Какой дефект нужно искать в первую очередь?

set.seed(2)
x <- rnorm(10000, mean=.03, sd=1)
result <- t.test(x, mu=0)
result

Выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия Выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения Снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее

Вопрос 8 из 25

Ситуация: Разница в три сотых единицы статистически значима на огромной выборке, и её называют крупным улучшением. Какой вариант исправления сохраняет смысл анализа?

Зафиксируйте план, проверяйте допущения и показывайте все существенные аналитические решения Выбирайте alpha, мощность и минимально важный эффект до сбора данных, учитывая цену двух типов ошибок Задайте семейство гипотез и примените подходящую коррекцию, например Holm для FWER или BH для FDR Заранее задайте эффект, тест и критерий решения, а при интересе к эквивалентности используйте соответствующий дизайн Сообщайте размер эффекта и интервал вместе с p-value, связывая вывод с заранее заданным вопросом

Вопрос 9 из 25

Ситуация: Разница в три сотых единицы статистически значима на огромной выборке, и её называют крупным улучшением. Какая проверка относится к исходному риску, а не к внешнему виду результата?

Проведите расчёт мощности и анализ чувствительности к размеру эффекта и дисперсии Проверьте размер эффекта, интервал и мощность, а не только бинарное решение Сравните сырые и скорректированные p-value и число открытий при разных разумных методах Воспроизведите анализ по протоколу, проведите диагностику и сравните устойчивость к альтернативным разумным спецификациям Сравните p-value при разных n для одинакового эффекта и оцените предметную значимость

Вопрос 10 из 25

Ситуация: Разница в три сотых единицы статистически значима на огромной выборке, и её называют крупным улучшением. Какое заключение лучше всего выдерживает проверку?

set.seed(2)
x <- rnorm(10000, mean=.03, sd=1)
result <- t.test(x, mu=0)
result

p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; при этом главный риск состоит в том, что выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных; при этом главный риск состоит в том, что неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; поэтому достаточно один раз проверить класс объекта на текущем наборе данных p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; при этом главный риск состоит в том, что малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план; при этом главный риск состоит в том, что малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия

Вопрос 11 из 25

Ситуация: Команда резко снижает порог значимости, но оставляет прежний размер выборки и ожидает ту же чувствительность. На какое свойство R здесь следует опереться?

result <- power.t.test(delta=.5, sd=1, sig.level=.05, power=.8, type='two.sample')
result

При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы

Вопрос 12 из 25

Ситуация: Команда резко снижает порог значимости, но оставляет прежний размер выборки и ожидает ту же чувствительность. Почему успешный запуск ещё не доказывает корректность?

result <- power.t.test(delta=.5, sd=1, sig.level=.05, power=.8, type='two.sample')
result

Выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения Выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия

Вопрос 13 из 25

Ситуация: Команда резко снижает порог значимости, но оставляет прежний размер выборки и ожидает ту же чувствительность. Какая правка лучше локальной заплатки?

Задайте семейство гипотез и примените подходящую коррекцию, например Holm для FWER или BH для FDR Сообщайте размер эффекта и интервал вместе с p-value, связывая вывод с заранее заданным вопросом Заранее задайте эффект, тест и критерий решения, а при интересе к эквивалентности используйте соответствующий дизайн Зафиксируйте план, проверяйте допущения и показывайте все существенные аналитические решения Выбирайте alpha, мощность и минимально важный эффект до сбора данных, учитывая цену двух типов ошибок

Вопрос 14 из 25

Ситуация: Команда резко снижает порог значимости, но оставляет прежний размер выборки и ожидает ту же чувствительность. Как подтвердить корректность на граничном случае?

Проведите расчёт мощности и анализ чувствительности к размеру эффекта и дисперсии Сравните сырые и скорректированные p-value и число открытий при разных разумных методах Воспроизведите анализ по протоколу, проведите диагностику и сравните устойчивость к альтернативным разумным спецификациям Проверьте размер эффекта, интервал и мощность, а не только бинарное решение Сравните p-value при разных n для одинакового эффекта и оцените предметную значимость

Вопрос 15 из 25

Ситуация: Команда резко снижает порог значимости, но оставляет прежний размер выборки и ожидает ту же чувствительность. Какой вывод точнее всего связывает механизм и главный риск?

result <- power.t.test(delta=.5, sd=1, sig.level=.05, power=.8, type='two.sample')
result

Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна; при этом главный риск состоит в том, что неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; при этом главный риск состоит в том, что малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна; следовательно, совпадение числа строк можно считать полной проверкой решения Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна; при этом главный риск состоит в том, что снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных; при этом главный риск состоит в том, что снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее

Вопрос 16 из 25

Ситуация: Из двухсот показателей публикуют пять с наименьшими p-value, не упоминая остальные проверки. Какое утверждение лучше всего объясняет показанный фрагмент?

p <- c(.001,.01,.03,.2,.8)
result <- p.adjust(p, method='BH')
result

p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна

Вопрос 17 из 25

Ситуация: Из двухсот показателей публикуют пять с наименьшими p-value, не упоминая остальные проверки. Какое скрытое допущение здесь опаснее остальных?

p <- c(.001,.01,.03,.2,.8)
result <- p.adjust(p, method='BH')
result

Выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия Выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения Снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее

Вопрос 18 из 25

Ситуация: Из двухсот показателей публикуют пять с наименьшими p-value, не упоминая остальные проверки. Что нужно сделать, чтобы ошибка не вернулась на следующем наборе данных?

Заранее задайте эффект, тест и критерий решения, а при интересе к эквивалентности используйте соответствующий дизайн Выбирайте alpha, мощность и минимально важный эффект до сбора данных, учитывая цену двух типов ошибок Задайте семейство гипотез и примените подходящую коррекцию, например Holm для FWER или BH для FDR Сообщайте размер эффекта и интервал вместе с p-value, связывая вывод с заранее заданным вопросом Зафиксируйте план, проверяйте допущения и показывайте все существенные аналитические решения

Вопрос 19 из 25

Ситуация: Из двухсот показателей публикуют пять с наименьшими p-value, не упоминая остальные проверки. Какая проверка непосредственно подтверждает, что дефект устранён?

Проверьте размер эффекта, интервал и мощность, а не только бинарное решение Воспроизведите анализ по протоколу, проведите диагностику и сравните устойчивость к альтернативным разумным спецификациям Проведите расчёт мощности и анализ чувствительности к размеру эффекта и дисперсии Сравните сырые и скорректированные p-value и число открытий при разных разумных методах Сравните p-value при разных n для одинакового эффекта и оцените предметную значимость

Вопрос 20 из 25

Ситуация: Из двухсот показателей публикуют пять с наименьшими p-value, не упоминая остальные проверки. Что стоит написать в технической рецензии к этому фрагменту?

p <- c(.001,.01,.03,.2,.8)
result <- p.adjust(p, method='BH')
result

При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план; при этом главный риск состоит в том, что малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; при этом главный риск состоит в том, что выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа; при этом главный риск состоит в том, что выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план; при этом главный риск состоит в том, что выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план; поэтому повторный запуск в той же сессии заменяет проверку граничных случаев

Вопрос 21 из 25

Ситуация: После просмотра результата аналитик выбирает из нескольких тестов тот, который первым дал значимость. Что является главным техническим основанием для разбора?

set.seed(3)
x <- rnorm(30); y <- rnorm(30)
result <- list(t=t.test(x,y), w=wilcox.test(x,y))
result

Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа

Вопрос 22 из 25

Ситуация: После просмотра результата аналитик выбирает из нескольких тестов тот, который первым дал значимость. Что именно может сломаться при новых данных?

set.seed(3)
x <- rnorm(30); y <- rnorm(30)
result <- list(t=t.test(x,y), w=wilcox.test(x,y))
result

Выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения Малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия

Вопрос 23 из 25

Ситуация: После просмотра результата аналитик выбирает из нескольких тестов тот, который первым дал значимость. Какое изменение устраняет именно причину проблемы?

Заранее задайте эффект, тест и критерий решения, а при интересе к эквивалентности используйте соответствующий дизайн Сообщайте размер эффекта и интервал вместе с p-value, связывая вывод с заранее заданным вопросом Выбирайте alpha, мощность и минимально важный эффект до сбора данных, учитывая цену двух типов ошибок Зафиксируйте план, проверяйте допущения и показывайте все существенные аналитические решения Задайте семейство гипотез и примените подходящую коррекцию, например Holm для FWER или BH для FDR

Вопрос 24 из 25

Ситуация: После просмотра результата аналитик выбирает из нескольких тестов тот, который первым дал значимость. Какой контроль отличит исправление от случайно удачного результата?

Сравните сырые и скорректированные p-value и число открытий при разных разумных методах Проверьте размер эффекта, интервал и мощность, а не только бинарное решение Сравните p-value при разных n для одинакового эффекта и оцените предметную значимость Проведите расчёт мощности и анализ чувствительности к размеру эффекта и дисперсии Воспроизведите анализ по протоколу, проведите диагностику и сравните устойчивость к альтернативным разумным спецификациям

Вопрос 25 из 25

Ситуация: После просмотра результата аналитик выбирает из нескольких тестов тот, который первым дал значимость. Какое заключение останется верным и на новых данных?

set.seed(3)
x <- rnorm(30); y <- rnorm(30)
result <- list(t=t.test(x,y), w=wilcox.test(x,y))
result

При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план; при этом главный риск состоит в том, что выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа; при этом главный риск состоит в том, что выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа; при этом главный риск состоит в том, что выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна; при этом главный риск состоит в том, что снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа; следовательно, предупреждения можно не учитывать, если итог выглядит ожидаемо