🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний ·

Как устроено машинное обучение

Рабочая модель появляется не после одного вызова fit. Сначала формулируют задачу, собирают и проверяют данные, строят признаки, отделяют честную проверочную выборку, обучают несколько вариантов и только затем внедряют прогноз в процесс. Тест проверяет этот путь на конкретных конвейерах и сбоях.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Сервис прогнозирует, отменит ли пассажир поездку. Что является объектом наблюдения?

Вся совокупность пассажиров за период, для которой вычисляется один общий прогноз Название выбранного алгоритма, поскольку именно оно определяет способ обработки данных Отдельное бронирование Значение итоговой метрики, рассчитанное после обучения на всех бронированиях

Вопрос 2 из 20

Что изменяется при выполнении fit в этом конвейере?

pipe = make_pipeline(StandardScaler(), LogisticRegression())
pipe.fit(X_train, y_train)

Конвейер только фиксирует названия и порядок столбцов, не оценивая числовые параметры Целевая переменная заменяется первым прогнозом, после чего модель обучается на собственных ответах Параметры масштабирования и классификатора оцениваются по X_train и y_train Во время fit контрольные объекты автоматически присоединяются к обучающим для устойчивости

Вопрос 3 из 20

Почему этот код делает оценку нечестной?

model.fit(X, y)
pred = model.predict(X)
print(accuracy_score(y, pred))

Модель проверяется на тех же объектах, на которых обучалась Проблема в самой accuracy: эту метрику нельзя использовать ни в одной задаче классификации Наличие нескольких признаков делает сравнение прогноза с целевой меткой некорректным Оценка нечестна, потому что прогноз сохранён в отдельной переменной pred

Вопрос 4 из 20

Модель рекомендаций отвечает за 40 мс, но обновление списка товаров занимает 15 минут, а пользователь ждёт его сразу после клика. Какой вывод верен?

Увеличение числа эпох сократит время обновления рекомендаций без изменения конвейера Полный путь слишком медленный, даже если сам прогноз быстр Для пользователя важна только задержка вызова модели; обновление каталога относится к другой системе Пятнадцатиминутное обновление не влияет на применение модели, если один прогноз занимает 40 мс

Вопрос 5 из 20

Что произойдёт с обучением?

for _ in range(10):
    y_hat = model.predict(X_new)

Десять прогнозов приведут к переобучению на контрольных объектах Каждый вызов predict создаст независимую копию модели с собственными весами Код только десять раз вычислит прогноз; параметры не изменятся Параметры обновятся после каждого predict, поскольку модель видит новые входные данные

Вопрос 6 из 20

Кривая показывает: ошибка на обучении продолжает падать, а ошибка на проверке после 20 эпох растёт. Что происходит?

for epoch in range(100):
    train_one_epoch(model, train)
    print(epoch, loss(model, train), loss(model, valid))

Переобучение после примерно двадцатой эпохи После двадцатой эпохи проверочная часть автоматически стала частью обучения Расхождение кривых нужно прежде всего объяснить ошибкой вычисления метрики, не проверяя переобучение Рост проверочной ошибки означает, что модель всё сильнее недообучается на тренировочных данных

Вопрос 7 из 20

После запуска доля неизвестных категорий в поле device_type выросла с 1% до 18%. Что следует сделать первым?

Отключить журнал неизвестных значений, чтобы они не влияли на агрегированные показатели Повысить скорость обучения уже развёрнутой модели, не обновляя данные и кодировщик категорий Проверить сдвиг входных данных и влияние неизвестной категории на прогноз Продолжить работу без изменений, поскольку качество на старом контрольном наборе осталось прежним

Вопрос 8 из 20

Какой столбец нельзя использовать для прогноза просрочки в момент выдачи кредита?

Подтверждённый доход нельзя использовать, потому что он может быть связан с будущей просрочкой Возраст на дату заявки нужно исключить как будущий признак, хотя он известен до решения Сумма кредита является утечкой, поскольку банк определяет её одновременно с выдачей Число дней фактической просрочки через год

Вопрос 9 из 20

Почему этот способ подбора гиперпараметра портит окончательную оценку?

best = None
for k in [1, 3, 5, 9, 15]:
    model = KNN(k).fit(X_train, y_train)
    score = accuracy(model.predict(X_test), y_test)
    if best is None or score > best.score:
        best = Result(k, score)

Перебор нескольких значений гиперпараметра сам по себе делает оценку смещённой Сохранение лучшего значения в переменной best приводит к утечке между строками Лучшее k выбирается по тестовой выборке, поэтому тест участвует в настройке Цикл в коде нарушает независимость выборок, даже если каждая метрика считается отдельно

Вопрос 10 из 20

Старая модель и новая модель работают параллельно, но пользователю показывают только старый ответ. Зачем это делают?

Старая модель дообучается на прогнозах новой и постепенно копирует её поведение Теневой запуск нужен, чтобы кандидат незаметно изменял рабочие данные до официального выпуска Параллельная работа искусственно увеличивает контрольную выборку за счёт повторных запросов Чтобы сравнить поведение и задержку кандидата без влияния на пользователя

Вопрос 11 из 20

Какое представление часа суток лучше учитывает близость 23:00 и 00:00?

x_1=\sin(2\pi h/24),\quad x_2=\cos(2\pi h/24)

hour_sin = sin(2*pi*hour/24)
hour_cos = cos(2*pi*hour/24)

Удалить час из признаков, поскольку циклическую близость нельзя представить численно Назначить каждому часу случайный код, чтобы между соседними значениями не было ложного порядка Хранить час целым числом и полагаться на модель, которая сама заметит близость границы суток Два циклических признака sin и cos

Вопрос 12 из 20

Почему регуляризация может улучшить качество на новых данных?

L_{total}=L_{data}+\lambda\lVert w\rVert_2^2

objective = data_loss(y, model(X)) + alpha * sum(w*w for w in model.weights)

При достаточной силе регуляризации ошибка на новых данных гарантированно становится нулевой Регуляризация улучшает обобщение, добавляя контрольные объекты в обучение с меньшим весом Она приводит все коэффициенты к единице и тем самым делает влияние признаков одинаковым Она запрещает модели слишком сильно подгонять параметры под шум обучения

Вопрос 13 из 20

В рабочей системе модель перестала отвечать, но приложение должно продолжать обслуживать запросы. Что предусмотреть?

try:
    score = predict_with_timeout(features, seconds=0.2)
except TimeoutError:
    score = baseline_rule(features)

При недоступности модели автоматически выбирать самое рискованное действие как наиболее информативное Ждать ответа модели без ограничения времени, чтобы не потерять потенциально точный прогноз Отключить журналы при сбое, чтобы запасной сценарий включался с меньшей задержкой Ограничение времени и безопасный запасной сценарий

Вопрос 14 из 20

Какой порядок действий правильнее после формулировки задачи?

Сначала развернуть модель на малой доле трафика и уже по рабочим ошибкам формулировать задачу Сразу выбрать сложную архитектуру, а пригодность данных оценивать после обучения Настроить метрику на высокий результат до построения исходного уровня сравнения Проверить данные и построить простой базовый уровень

Вопрос 15 из 20

Почему scaler нельзя обучать на объединении train и test?

scaler.fit(np.vstack([X_train, X_test]))
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)

Масштабирование обычно ухудшает модель, поэтому его нужно проверять только на тесте Средние и масштабы теста попадут в подготовку тренировочных признаков Scaler нельзя обучать на полном наборе, потому что он обрабатывает только по одной строке Контрольные данные допустимо использовать для параметров преобразования, если их не хранить в памяти

Вопрос 16 из 20

Модель выдаёт вероятность оттока. Как превратить её в действие корректно?

expected_value = p_churn * benefit_if_saved - contact_cost
contact = expected_value > 0

Связываться со всеми клиентами, поскольку любая ненулевая вероятность означает риск оттока Случайно округлять вероятность, чтобы сохранить среднюю долю положительных решений Использовать порог 0,5 как универсальный независимо от стоимости контакта и ошибок Выбрать порог с учётом стоимости контакта, пользы удержания и ошибок

Вопрос 17 из 20

В задаче распознавания редкого дефекта признаки собраны только для изделий, которые уже отправили на ручную проверку. Какой риск возникает?

Деревья решений не могут обучаться на данных, собранных после предварительного отбора Выборка отражает процедуру отбора, а не всё производство Наличие ручной проверки автоматически превращает целевую переменную в непрерывную Отобранные изделия займут слишком много памяти, поэтому признаки придётся сжимать

Вопрос 18 из 20

Что делает optimizer.step() в типичном цикле обучения?

optimizer.zero_grad()
pred = model(x)
loss = criterion(pred, y)
loss.backward()
optimizer.step()

Вычисляет новые признаки из контрольного набора и записывает их в параметры модели Удаляет использованные обучающие объекты, чтобы следующая эпоха была независимой Обновляет параметры по накопленным градиентам Запускает окончательную оценку и блокирует дальнейшее изменение параметров

Вопрос 19 из 20

Какой способ оценки лучше для небольшого набора, если отдельный validation сделал бы обучение слишком малым?

Выбирать модель по максимальной тренировочной точности без повторных разбиений Подбирать настройки непосредственно по test, поскольку отдельной проверочной части недостаточно Оценивать качество по первым десяти строкам, оставляя остальные для обучения Использовать перекрёстную проверку внутри train, сохранив test отдельно

Вопрос 20 из 20

После развёртывания истинная метка появляется только через три месяца. Что следует мониторить до неё?

monitor.log({
  "missing_rate": missing(features),
  "score_mean": scores.mean(),
  "latency_p95": p95(latency),
  "errors": error_rate
})

Контролировать число строк исходного кода после каждого обновления сервиса Не собирать промежуточные показатели, пока не появятся окончательные метки через три месяца Следить за размером файла модели как главным индикатором изменения качества Распределения входов, долю пропусков, частоты прогнозов, задержку и ошибки сервиса

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу