🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Сложный ·

Математика машинного обучения

Формулы машинного обучения полезны не сами по себе, а как способ предсказать поведение модели: что изменит вероятность, почему признак не влияет на результат, откуда берётся нестабильный градиент и как статистическая неопределённость ограничивает выводы. Тест соединяет вычисления с инженерным смыслом.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

В выборке 1% писем — фишинг. Фильтр находит 90% фишинга и ошибочно помечает 5% обычных писем. Среди помеченных писем фишинг составляет примерно:

P(F\mid +)=\frac{P(+\mid F)P(F)}{P(+\mid F)P(F)+P(+\mid \neg F)P(\neg F)}

N=10_000
phishing=0.01*N
true_alerts=0.90*phishing
false_alerts=0.05*(N-phishing)
posterior=true_alerts/(true_alerts+false_alerts)

Около 5%, потому что ложноположительная доля равна 5% Около 1%, как исходная доля фишинга в потоке Около 90%, если чувствительность фильтра высокая Около 15%

Вопрос 2 из 20

У модели ошибки [1, 1, 1, 1, 20]. Какое утверждение точнее?

errors=[1,1,1,1,20]
mean=sum(errors)/len(errors)
median=sorted(errors)[len(errors)//2]

Медиана равна 20, так как она отражает максимальную ошибку в малой выборке Медиана равна 1 и лучше описывает типичную ошибку, а среднее 4,8 чувствительно к выбросу Среднее равно 1, а медиана 4,8, потому что выброс учитывается только медианой Среднее почти не меняется, потому что четыре значения из пяти равны единице

Вопрос 3 из 20

Вектор признаков x=(2, -1), веса w=(3, 4), смещение b=1. Чему равен линейный логит?

z=w^T x+b

x=[2,-1]
w=[3,4]
b=1
z=sum(xi*wi for xi,wi in zip(x,w))+b

7, если не учитывать смещение или знак второго признака 3 11, если сложить произведения без учёта отрицательного признака −3, если сначала сложить признаки, а затем умножить на сумму весов

Вопрос 4 из 20

Для функции f(w)=(w-5)^2 параметр w=1, скорость обучения 0,1. Каков один шаг градиентного спуска?

w_{t+1}=w_t-\eta\nabla f(w_t)

w=1.0
lr=0.1
grad=2*(w-5)
w_next=w-lr*grad

w станет 1,8 0,2, если вычесть градиент без умножения на скорость обучения 1,4, если использовать производную `w-5` вместо `2(w-5)` 5, если за один шаг перейти непосредственно в точку минимума

Вопрос 5 из 20

Модель присвоила правильному классу вероятность 0,9, а затем 0,6. Как изменится log loss для этого примера?

L=-\log p_y

import math
loss_good=-math.log(0.9)
loss_worse=-math.log(0.6)

Станет отрицательной, потому что логарифм вероятности меньше единицы отрицателен Не изменится, если предсказанный класс остался тем же при пороге 0,5 Уменьшится, потому что модель стала менее уверенной и лучше откалиброванной Увеличится, потому что -log(0,6) больше -log(0,9)

Вопрос 6 из 20

На пяти случайных запусках accuracy равна 0,81; 0,82; 0,80; 0,95; 0,79. Что разумнее отчёта «лучший результат 0,95»?

scores=[0.81,0.82,0.80,0.95,0.79]
report(mean(scores), stdev(scores), scores)

Показать все запуски, среднее и разброс, а выброс отдельно исследовать Выбрать последний запуск, если все эксперименты использовали одинаковые параметры Сообщить медиану 0,815 и не показывать разброс, чтобы выброс 0,95 не влиял на вывод Исключить запуск 0,95 как аномальный и усреднить остальные без расследования причины

Вопрос 7 из 20

Матрица X имеет форму (100, 32), матрица W — (32, 8). Какова форма XW?

(100\times 32)(32\times 8)=(100\times 8)

X.shape == (100,32)
W.shape == (32,8)
Y = X @ W

(100, 32) (8, 100) (32, 32) (100, 8)

Вопрос 8 из 20

Training loss быстро колеблется и иногда растёт на несколько порядков. Первая разумная гипотеза?

loss=[1.2,0.8,4.7,0.6,19.3,1.1]
lr=1.0
feature_std=[0.01,5400,2.3]

Модель переобучается уже на первых шагах, поэтому нужно уменьшить объём обучающих данных Слишком большая скорость обучения или плохое масштабирование признаков Batch слишком мал; увеличение размера пакета гарантированно устранит нестабильность Validation set слишком мал и создаёт шум в training loss

Вопрос 9 из 20

Два независимых события имеют вероятности 0,3 и 0,4. Вероятность их совместного наступления равна:

P(A\cap B)=P(A)P(B)

0,35 0,12 0,1 0,7

Вопрос 10 из 20

Эксперимент остановили в тот день, когда p-value впервые стал меньше 0,05, после ежедневных проверок. Какой риск?

for day in range(1,31):
    p=run_test(data[:day])
    if p < 0.05: stop_and_publish()

Последовательные проверки не меняют ошибку первого рода, если порог остаётся 0,05 Практическая значимость подтверждается автоматически после первого статистически значимого дня p-value можно интерпретировать как вероятность отсутствия эффекта после остановки Многократные подсматривания повышают шанс случайно объявить эффект

Вопрос 11 из 20

Косинусная близость векторов (1,0) и (3,0) равна:

\cos(a,b)=\frac{a\cdot b}{\|a\|\|b\|}

a=[1,0]
b=[3,0]
cos=dot(a,b)/(norm(a)*norm(b))

0 1 3 1/3

Вопрос 12 из 20

L2-регуляризация увеличена. Какое изменение наиболее типично?

L_{total}=L_{data}+\lambda\|w\|_2^2

loss = data_loss + lam * sum(w*w for w in weights)
lam *= 10

Все веса станут нулевыми, если коэффициент регуляризации больше нуля Веса сильнее тянутся к нулю, variance может снизиться, но слишком сильная регуляризация повышает bias Регуляризация увеличит размер выборки за счёт дополнительных ограничений на веса Training loss уменьшится, потому что штраф помогает точнее подогнать обучающие данные

Вопрос 13 из 20

Ожидаемый ущерб действия A: 2% шанс потери 1000, иначе 0. Действия B: гарантированная потеря 25. Что меньше по ожиданию?

\mathbb{E}[L]=\sum_i p_i L_i

EA=0.02*1000 + 0.98*0
EB=25

B, потому что гарантированная потеря 25 меньше максимально возможной потери 1000 Ожидания равны, если считать риск A как 2% от 1000 и округлить до ближайших 25 Сравнение невозможно без знания отношения к риску, хотя математические ожидания можно вычислить A, потому что ожидаемая потеря 20

Вопрос 14 из 20

Время ответа измерили на 100 запросах, запущенных одновременно на одном сервере, и приняли их независимыми. Что нарушено?

Задержки связаны общей очередью и конкуренцией за ресурсы Среднее время нельзя использовать при конкурирующих запросах; допустимы только медиана и квантили Сто запросов недостаточно для оценки задержки независимо от способа запуска Параллельный запуск делает наблюдения независимыми, но меняет только среднее значение

Вопрос 15 из 20

Матрица признаков имеет два одинаковых столбца. Как это влияет на линейную модель без регуляризации?

X[:,5] = X[:,2]
w = fit_linear_model(X,y)

Параметры могут стать неидентифицируемыми: разные пары весов дают одинаковый прогноз Градиенты двух весов будут независимыми, хотя столбцы признаков совпадают Прогнозы станут неопределёнными, поэтому модель не сможет вычислить ни одного значения Ранг увеличится, потому что число столбцов стало больше

Вопрос 16 из 20

После 20 эпох training loss продолжает падать, validation loss растёт. Наиболее вероятный вывод?

train=[0.9,0.6,0.4,0.25,0.16]
val=[0.95,0.68,0.52,0.57,0.71]

Началось переобучение; стоит рассмотреть раннюю остановку, регуляризацию или данные Нужно продолжить обучение, поскольку падение training loss означает улучшение модели Оптимизатор не сошёлся, потому что validation loss должен падать вместе с training loss Validation set следует добавить в обучение, чтобы кривые снова совпали

Вопрос 17 из 20

Вероятность класса после sigmoid равна 0,5. Какой логит ей соответствует?

\sigma(z)=\frac{1}{1+e^{-z}}

import math
def sigmoid(z): return 1/(1+math.exp(-z))

0,5 -1 1 0

Вопрос 18 из 20

У двух моделей средняя accuracy различается на 0,2 процентного пункта, а 95% интервалы широко перекрываются. Что корректно?

A=(0.842,(0.833,0.851))
B=(0.844,(0.835,0.853))

Данных недостаточно, чтобы уверенно отличить модели по этой метрике Широкое перекрытие интервалов доказывает, что истинные качества моделей строго равны Следует выбрать более сложную модель, так как малая разница метрик неинформативна Вторая модель лучше, потому что её средняя accuracy выше независимо от неопределённости

Вопрос 19 из 20

Внимание использует Q формы (batch, heads, tokens, d), а K — (batch, heads, tokens, d). Что получается до softmax после QKᵀ?

S=\frac{QK^T}{\sqrt{d_k}}

scores = Q @ K.transpose(-1,-2)

Матрица оценок между каждой парой токенов формы Тензор `(batch, d)`, потому что головы и токены сокращаются при умножении Один скаляр на пакет, отражающий общую близость всех запросов и ключей Вектор длины `d`, полученный после суммирования по токенам

Вопрос 20 из 20

Градиент почти нулевой, но loss высок и параметры не меняются. Какой диагноз нельзя делать автоматически?

loss=8.4
grad_norm=1e-10
parameter_delta=0.0

Проверить, связан ли loss с параметрами и корректно ли проходит обратное распространение Проверить насыщение активаций и численную устойчивость вычисления градиента Нельзя сразу утверждать, что найден хороший минимум: возможны насыщение, седловая область или плохой масштаб Сравнить разные инициализации и масштабы признаков, чтобы исключить плохую область оптимизации

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу