🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Сложный · 👥 1 прошёл

Математика машинного обучения

Формулы машинного обучения полезны не сами по себе, а как способ предсказать поведение модели: что изменит вероятность, почему признак не влияет на результат, откуда берётся нестабильный градиент и как статистическая неопределённость ограничивает выводы. Тест соединяет вычисления с инженерным смыслом.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

В выборке 1% писем — фишинг. Фильтр находит 90% фишинга и ошибочно помечает 5% обычных писем. Среди помеченных писем фишинг составляет примерно:

P(F\mid +)=\frac{P(+\mid F)P(F)}{P(+\mid F)P(F)+P(+\mid \neg F)P(\neg F)}

N=10_000
phishing=0.01*N
true_alerts=0.90*phishing
false_alerts=0.05*(N-phishing)
posterior=true_alerts/(true_alerts+false_alerts)

Около 90%, если чувствительность фильтра высокая Около 1%, как исходная доля фишинга в потоке Около 15% Около 5%, потому что ложноположительная доля равна 5%

Вопрос 2 из 20

У модели ошибки [1, 1, 1, 1, 20]. Какое утверждение точнее?

errors=[1,1,1,1,20]
mean=sum(errors)/len(errors)
median=sorted(errors)[len(errors)//2]

Медиана равна 1 и лучше описывает типичную ошибку, а среднее 4,8 чувствительно к выбросу Медиана равна 20, так как она отражает максимальную ошибку в малой выборке Среднее почти не меняется, потому что четыре значения из пяти равны единице Среднее равно 1, а медиана 4,8, потому что выброс учитывается только медианой

Вопрос 3 из 20

Вектор признаков x=(2, -1), веса w=(3, 4), смещение b=1. Чему равен линейный логит?

z=w^T x+b

x=[2,-1]
w=[3,4]
b=1
z=sum(xi*wi for xi,wi in zip(x,w))+b

11, если сложить произведения без учёта отрицательного признака 3 −3, если сначала сложить признаки, а затем умножить на сумму весов 7, если не учитывать смещение или знак второго признака

Вопрос 4 из 20

Для функции f(w)=(w-5)^2 параметр w=1, скорость обучения 0,1. Каков один шаг градиентного спуска?

w_{t+1}=w_t-\eta\nabla f(w_t)

w=1.0
lr=0.1
grad=2*(w-5)
w_next=w-lr*grad

0,2, если вычесть градиент без умножения на скорость обучения 5, если за один шаг перейти непосредственно в точку минимума w станет 1,8 1,4, если использовать производную `w-5` вместо `2(w-5)`

Вопрос 5 из 20

Модель присвоила правильному классу вероятность 0,9, а затем 0,6. Как изменится log loss для этого примера?

L=-\log p_y

import math
loss_good=-math.log(0.9)
loss_worse=-math.log(0.6)

Увеличится, потому что -log(0,6) больше -log(0,9) Не изменится, если предсказанный класс остался тем же при пороге 0,5 Уменьшится, потому что модель стала менее уверенной и лучше откалиброванной Станет отрицательной, потому что логарифм вероятности меньше единицы отрицателен

Вопрос 6 из 20

На пяти случайных запусках accuracy равна 0,81; 0,82; 0,80; 0,95; 0,79. Что разумнее отчёта «лучший результат 0,95»?

scores=[0.81,0.82,0.80,0.95,0.79]
report(mean(scores), stdev(scores), scores)

Исключить запуск 0,95 как аномальный и усреднить остальные без расследования причины Выбрать последний запуск, если все эксперименты использовали одинаковые параметры Сообщить медиану 0,815 и не показывать разброс, чтобы выброс 0,95 не влиял на вывод Показать все запуски, среднее и разброс, а выброс отдельно исследовать

Вопрос 7 из 20

Матрица X имеет форму (100, 32), матрица W — (32, 8). Какова форма XW?

(100\times 32)(32\times 8)=(100\times 8)

X.shape == (100,32)
W.shape == (32,8)
Y = X @ W

(32, 32) (100, 8) (8, 100) (100, 32)

Вопрос 8 из 20

Training loss быстро колеблется и иногда растёт на несколько порядков. Первая разумная гипотеза?

loss=[1.2,0.8,4.7,0.6,19.3,1.1]
lr=1.0
feature_std=[0.01,5400,2.3]

Validation set слишком мал и создаёт шум в training loss Модель переобучается уже на первых шагах, поэтому нужно уменьшить объём обучающих данных Batch слишком мал; увеличение размера пакета гарантированно устранит нестабильность Слишком большая скорость обучения или плохое масштабирование признаков

Вопрос 9 из 20

Два независимых события имеют вероятности 0,3 и 0,4. Вероятность их совместного наступления равна:

P(A\cap B)=P(A)P(B)

0,35 0,12 0,7 0,1

Вопрос 10 из 20

Эксперимент остановили в тот день, когда p-value впервые стал меньше 0,05, после ежедневных проверок. Какой риск?

for day in range(1,31):
    p=run_test(data[:day])
    if p < 0.05: stop_and_publish()

Многократные подсматривания повышают шанс случайно объявить эффект Последовательные проверки не меняют ошибку первого рода, если порог остаётся 0,05 p-value можно интерпретировать как вероятность отсутствия эффекта после остановки Практическая значимость подтверждается автоматически после первого статистически значимого дня

Вопрос 11 из 20

Косинусная близость векторов (1,0) и (3,0) равна:

\cos(a,b)=\frac{a\cdot b}{\|a\|\|b\|}

a=[1,0]
b=[3,0]
cos=dot(a,b)/(norm(a)*norm(b))

1/3 0 3 1

Вопрос 12 из 20

L2-регуляризация увеличена. Какое изменение наиболее типично?

L_{total}=L_{data}+\lambda\|w\|_2^2

loss = data_loss + lam * sum(w*w for w in weights)
lam *= 10

Веса сильнее тянутся к нулю, variance может снизиться, но слишком сильная регуляризация повышает bias Training loss уменьшится, потому что штраф помогает точнее подогнать обучающие данные Регуляризация увеличит размер выборки за счёт дополнительных ограничений на веса Все веса станут нулевыми, если коэффициент регуляризации больше нуля

Вопрос 13 из 20

Ожидаемый ущерб действия A: 2% шанс потери 1000, иначе 0. Действия B: гарантированная потеря 25. Что меньше по ожиданию?

\mathbb{E}[L]=\sum_i p_i L_i

EA=0.02*1000 + 0.98*0
EB=25

B, потому что гарантированная потеря 25 меньше максимально возможной потери 1000 Ожидания равны, если считать риск A как 2% от 1000 и округлить до ближайших 25 A, потому что ожидаемая потеря 20 Сравнение невозможно без знания отношения к риску, хотя математические ожидания можно вычислить

Вопрос 14 из 20

Время ответа измерили на 100 запросах, запущенных одновременно на одном сервере, и приняли их независимыми. Что нарушено?

Среднее время нельзя использовать при конкурирующих запросах; допустимы только медиана и квантили Сто запросов недостаточно для оценки задержки независимо от способа запуска Задержки связаны общей очередью и конкуренцией за ресурсы Параллельный запуск делает наблюдения независимыми, но меняет только среднее значение

Вопрос 15 из 20

Матрица признаков имеет два одинаковых столбца. Как это влияет на линейную модель без регуляризации?

X[:,5] = X[:,2]
w = fit_linear_model(X,y)

Ранг увеличится, потому что число столбцов стало больше Прогнозы станут неопределёнными, поэтому модель не сможет вычислить ни одного значения Градиенты двух весов будут независимыми, хотя столбцы признаков совпадают Параметры могут стать неидентифицируемыми: разные пары весов дают одинаковый прогноз

Вопрос 16 из 20

После 20 эпох training loss продолжает падать, validation loss растёт. Наиболее вероятный вывод?

train=[0.9,0.6,0.4,0.25,0.16]
val=[0.95,0.68,0.52,0.57,0.71]

Началось переобучение; стоит рассмотреть раннюю остановку, регуляризацию или данные Нужно продолжить обучение, поскольку падение training loss означает улучшение модели Validation set следует добавить в обучение, чтобы кривые снова совпали Оптимизатор не сошёлся, потому что validation loss должен падать вместе с training loss

Вопрос 17 из 20

Вероятность класса после sigmoid равна 0,5. Какой логит ей соответствует?

\sigma(z)=\frac{1}{1+e^{-z}}

import math
def sigmoid(z): return 1/(1+math.exp(-z))

0,5 -1 0 1

Вопрос 18 из 20

У двух моделей средняя accuracy различается на 0,2 процентного пункта, а 95% интервалы широко перекрываются. Что корректно?

A=(0.842,(0.833,0.851))
B=(0.844,(0.835,0.853))

Следует выбрать более сложную модель, так как малая разница метрик неинформативна Данных недостаточно, чтобы уверенно отличить модели по этой метрике Вторая модель лучше, потому что её средняя accuracy выше независимо от неопределённости Широкое перекрытие интервалов доказывает, что истинные качества моделей строго равны

Вопрос 19 из 20

Внимание использует Q формы (batch, heads, tokens, d), а K — (batch, heads, tokens, d). Что получается до softmax после QKᵀ?

S=\frac{QK^T}{\sqrt{d_k}}

scores = Q @ K.transpose(-1,-2)

Вектор длины `d`, полученный после суммирования по токенам Тензор `(batch, d)`, потому что головы и токены сокращаются при умножении Один скаляр на пакет, отражающий общую близость всех запросов и ключей Матрица оценок между каждой парой токенов формы

Вопрос 20 из 20

Градиент почти нулевой, но loss высок и параметры не меняются. Какой диагноз нельзя делать автоматически?

loss=8.4
grad_norm=1e-10
parameter_delta=0.0

Проверить, связан ли loss с параметрами и корректно ли проходит обратное распространение Проверить насыщение активаций и численную устойчивость вычисления градиента Нельзя сразу утверждать, что найден хороший минимум: возможны насыщение, седловая область или плохой масштаб Сравнить разные инициализации и масштабы признаков, чтобы исключить плохую область оптимизации

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу