🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний ·

Обучение с учителем

В обучении с учителем у каждого примера есть целевой ответ, но этого недостаточно для хорошей модели. Нужно правильно выбрать признаки, понять, является ли задача классификацией или регрессией, подобрать функцию потерь и оценивать именно те ошибки, которые важны в применении. Тест строится вокруг небольших моделей и реальных решений.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Модель должна предсказывать стоимость ремонта в рублях. К какому типу относится задача?

Кластеризация ремонтов по стоимости и признакам без прямого прогноза суммы Экспертная система с правилами расчёта, хотя в условии предполагается обучение по известной цели Регрессия Двоичная классификация «дорогой или дешёвый ремонт» с фиксированным порогом стоимости

Вопрос 2 из 20

Что означает второй столбец результата predict_proba?

proba = model.predict_proba(X_new)
print(model.classes_)
print(proba[:, 1])

Итоговую метку, которую модель использовала как правильный ответ во время обучения Порог классификации, автоматически выбранный для каждого объекта Вероятностную оценку положительного класса для каждого объекта Количество признаков, оказавшихся важными для положительного класса

Вопрос 3 из 20

Какой показатель сильнее штрафует один очень крупный промах?

MAE=\frac1n\sum|e_i|,\qquad MSE=\frac1n\sum e_i^2

errors = np.array([1, 1, 1, 10])
mae = np.mean(np.abs(errors))
mse = np.mean(errors**2)

Доля классов Медиана цели MAE MSE

Вопрос 4 из 20

В задаче обнаружения опасного дефекта пропуск дефекта гораздо дороже ложной тревоги. Какую характеристику положительного класса стоит особенно контролировать?

Общую accuracy на сбалансированном наборе, поскольку она одинаково учитывает оба вида ошибок Число параметров модели как показатель способности заметить редкий дефект Полноту Среднюю длину названий классов, чтобы исключить перекос кодирования меток

Вопрос 5 из 20

Почему столбец approved нельзя оставлять в X, если y — тот же approved?

X = df[["income", "age", "approved"]]
y = df["approved"]
model.fit(X, y)

Английское название столбца может быть неверно преобразовано кодировщиком признаков Модель не сможет скопировать approved, если целевая переменная хранится в другом массиве Бинарные признаки нельзя помещать во вход классификатора вместе с числовыми Он непосредственно раскрывает целевой ответ

Вопрос 6 из 20

Как изменится число положительных решений при снижении порога с 0.7 до 0.4?

scores = np.array([0.2, 0.45, 0.65, 0.8])
print(scores >= 0.7)
print(scores >= 0.4)

Число положительных решений уменьшится примерно вдвое пропорционально снижению порога Оно не изменится без повторного обучения, поскольку вероятности модели остались прежними Обычно увеличится Число положительных решений станет нулевым: более низкий порог отсекает слабые прогнозы

Вопрос 7 из 20

Модель цены систематически недооценивает самые дорогие объекты. Что покажет этот дефект?

Число эпох: систематическая недооценка дорогих объектов обычно означает слишком короткое обучение Размер файла модели по диапазонам цены, поскольку крупные объекты требуют больше параметров График остатков против истинной цены Список признаков: само наличие ценовых столбцов показывает направление ошибки

Вопрос 8 из 20

Какой признак доступен в момент прогноза поступления студента?

Баллы вступительных испытаний до решения комиссии Факт получения диплома, который позволяет отделить действительно успешных поступивших Итоговый статус зачисления, поскольку комиссия формирует его одновременно с прогнозом Средний балл первого курса как более надёжный показатель будущего успеха

Вопрос 9 из 20

В трёхклассовой задаче модель вывела эти вероятности. Какой класс выберет argmax?

classes = ["A", "B", "C"]
proba = [0.34, 0.25, 0.41]
print(classes[np.argmax(proba)])

Класс нельзя выбрать: для многоклассового argmax каждой вероятности нужен отдельный порог 0,5 C Класс A, потому что он записан первым в массиве вероятностей Класс B, если его вероятность ближе остальных к порогу 0,5

Вопрос 10 из 20

Почему сравнение модели только с нулевой ошибкой как идеалом недостаточно?

Базовым решением должна быть нейросеть меньшего размера, иначе сравнение нечестно Ошибки разных моделей нельзя сравнивать одной метрикой из-за различия архитектур Идеальная нулевая ошибка достижима при достаточно большой модели, поэтому сравнение полезно Нужно также знать качество простого базового решения и цену улучшения

Вопрос 11 из 20

Как правильно кодировать категорию city для линейной модели, если города не имеют естественного порядка?

train_cities = train_df[["city"]]
encoder = OneHotEncoder(handle_unknown="ignore")
X_train = encoder.fit_transform(train_cities)
X_test = encoder.transform(test_df[["city"]])

Использовать индикаторные признаки или подходящее категориальное кодирование Присвоить городам числа по размеру населения и трактовать разницу как расстояние Заменить название суммой кодов букв, получив одно числовое значение для города Удалить город, поскольку категорию без естественного порядка нельзя представить для линейной модели

Вопрос 12 из 20

Что означает хорошо откалиброванная вероятность 0.8?

bin_scores = [0.78, 0.81, 0.82, 0.79, ...]
observed_rate = mean(y_true_in_bin)

Калибровка 0,8 означает accuracy 80% для любого порога и любой группы объектов Хорошая калибровка требует использовать порог классификации ровно 0,8 Среди большого числа похожих случаев с прогнозом около 0.8 событие происходит примерно в 80% Каждый объект с вероятностью 0,8 должен оказаться положительным, иначе модель не откалибрована

Вопрос 13 из 20

Почему MAPE плохо ведёт себя при истинных значениях около нуля?

MAPE=\frac1n\sum_i\left|\frac{y_i-\hat y_i}{y_i}\right|

mape = np.mean(np.abs((y_true - y_pred) / y_true))

Относительная ошибка определена только для текстовых целевых переменных MAPE не использует прогноз модели и зависит только от истинного значения MAPE ведёт себя как MSE, поэтому проблема связана с возведением ошибки в квадрат Деление на маленькое |y| делает относительную ошибку огромной или неопределённой

Вопрос 14 из 20

Классы распределены как 99,5% «норма» и 0,5% «авария». Модель всегда отвечает «норма». Что верно?

Accuracy высокая, но модель не обнаруживает ни одной аварии Модель почти идеальна, потому что правильный ответ дан для 99,5% объектов Сильный дисбаланс автоматически компенсируется высокой accuracy и не требует других показателей Полнота аварий равна 100%, поскольку модель ни разу не перепутала нормальный случай с аварией

Вопрос 15 из 20

Какой вариант корректно отделяет признаки от цели?

X = df.drop(columns=["outcome"])
y = df["outcome"]

Использовать прогнозы другой модели как единственные признаки, не сохраняя исходные входы Поместить все признаки в y, а outcome оставить единственным столбцом X X содержит входные столбцы, y — отдельный столбец outcome Оставить outcome и во входе, и в цели, чтобы модель могла проверить правильность ответа

Вопрос 16 из 20

Модель выдаёт сумму страховой выплаты, но отрицательные прогнозы невозможны по смыслу. Какой подход разумнее простого обрезания без анализа?

model.fit(X_train, np.log1p(y_train))
pred = np.expm1(model.predict(X_test))

Интерпретировать отрицательную выплату как задолженность клиента перед страховой компанией Не менять модель, а скрывать отрицательные результаты при выводе отчёта пользователю Заменять любой прогноз нулём, поскольку это ближайшее допустимое значение Рассмотреть преобразование цели или модель с подходящим распределением и проверить остатки

Вопрос 17 из 20

Что произойдёт, если в бинарной классификации поменять местами названия положительного и отрицательного класса, не изменив прогнозы?

Смысл precision и recall для выбранного положительного класса изменится Все значения precision и recall сохранятся, потому что набор прогнозов не изменился После смены названий задача автоматически становится регрессией вероятности отрицательного класса Число объектов удвоится, поскольку каждый пример будет учтён для двух положительных классов

Вопрос 18 из 20

Для оценки модели прогноза доставки данные имеют сезонность. Что лучше?

train = orders[orders.date < "2025-10-01"]
test = orders[orders.date >= "2025-10-01"]

Обучать на более поздних периодах и проверять на прошлом, поскольку будущие данные полнее Случайно перемешать даты, чтобы сезонные пики равномерно попали в обучение и проверку Оценивать только тренировочную ошибку по каждому сезону отдельно Проверять на более позднем периоде, чем обучение

Вопрос 19 из 20

Как интерпретировать коэффициент линейной регрессии при стандартизованных признаках?

Xz = (X - X.mean(axis=0)) / X.std(axis=0)
model = LinearRegression().fit(Xz, y)

Это вероятность положительного класса при увеличении признака на единицу Модуль коэффициента равен ожидаемому числу пропусков в стандартизованном столбце Изменение прогноза при росте признака на одно стандартное отклонение при прочих равных Коэффициент показывает причинный эффект признака, поскольку стандартизация устраняет смешивающие факторы

Вопрос 20 из 20

Модель A имеет F1 = 0.82, модель B — 0.80, но B вдвое быстрее и лучше калибрована. Какой вывод корректен?

Нельзя выбрать только по F1: нужно учитывать требования действия, задержку и качество вероятностей Модель A лучше при любом использовании, поскольку её F1 выше на две сотых Модель B нельзя выпускать: меньший F1 нельзя компенсировать скоростью и калибровкой Калибровка не влияет на решение, если модель уже возвращает числовые вероятности

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу