🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний · 👥 1 прошёл

Данные для обучения модели

Модель редко бывает лучше данных, но фраза «нужно больше данных» слишком груба. Иногда важнее исправить единицы измерения, убрать дубли между выборками, проверить разметку или собрать примеры редкого случая. Тест предлагает исследовать таблицы и конвейеры так, как это делает внимательный аналитик до обучения.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Компания обучает модель по отзывам только тех клиентов, которые добровольно заполнили длинную анкету. Какой риск наиболее вероятен?

Из-за добровольной анкеты модель будет использовать только линейные зависимости между признаками Основной риск — повторные ответы одних и тех же активных клиентов, а не отличие отвечающих от остальных При самоотборе целевая переменная станет недоступной для большинства заполненных анкет Смещение самоотбора: отвечающие могут отличаться от остальных клиентов

Вопрос 2 из 20

Что не так с этим способом обработки температуры?

rows = [
  {"temperature": 20, "unit": "C"},
  {"temperature": 68, "unit": "F"}
]
mean = sum(r["temperature"] for r in rows) / len(rows)

Температуру следует хранить строкой вместе с обозначением единицы и передавать модели без преобразования Отсутствие пропусков делает объединение градусов Цельсия и Фаренгейта безопасным Значения в разных единицах объединены без приведения к одной шкале Среднее температуры нужно считать векторной операцией, иначе порядок строк влияет на результат

Вопрос 3 из 20

Два разметчика получили согласие 98%, но 97% примеров относятся к классу «нет дефекта». Почему одной доли согласия недостаточно?

Высокое согласие может возникнуть за счёт доминирующего класса Процент согласия нельзя использовать для категориальных меток; нужен только средний числовой балл Надёжные разметчики должны расходиться примерно в половине редких случаев, иначе проверка слишком простая Ошибки на редком классе почти не влияют на обучение, если общий объём данных велик

Вопрос 4 из 20

В таблице по одному пользователю есть десятки сессий. Как лучше разделить данные для оценки на новых пользователях?

train_users, test_users = split_unique(users)
train = df[df.user_id.isin(train_users)]
test = df[df.user_id.isin(test_users)]

Разделить сессии по длине, используя короткие для обучения, а длинные для проверки Перемешать все сессии и случайно разделить строки, сохранив одинаковую долю событий в частях Поместить часть сессий каждого пользователя и в обучение, и в проверку, чтобы все профили были представлены Оставлять все сессии пользователя в одной части

Вопрос 5 из 20

Почему безусловное заполнение всех пропусков нулём опасно?

for col in numeric_columns:
    df[col] = df[col].fillna(0)

Ноль может быть допустимым значением и смешать отсутствие измерения с реальным нулём После добавления нулей числовые признаки будут прочитаны как текстовые категории Нулевое заполнение опасно главным образом потому, что большинство моделей не поддерживают значение 0 Заполнение пропусков уменьшит число строк и изменит доли классов

Вопрос 6 из 20

Какое улучшение инструкции разметчикам наиболее полезно?

При сомнении выбирать первый класс: так разногласия будут разрешаться одинаково Разрешить разметчикам выбирать класс по общему впечатлению, чтобы не ограничивать профессиональное суждение Добавить примеры пограничных случаев и правило разрешения неоднозначности Не показывать определения классов, чтобы независимые оценки не становились слишком похожими

Вопрос 7 из 20

Почему этот код создаёт утечку между выборками?

train, test = train_test_split(df, test_size=0.2, random_state=7)
train = train.drop_duplicates("text")
test = test.drop_duplicates("text")

Метод drop_duplicates нельзя применять к текстам после разделения, поскольку он меняет порядок строк Проблема объясняется тем, что test меньше train, поэтому одинаковые тексты чаще остаются в обучении Фиксированный random_state создаёт утечку, потому что одни и те же строки повторяются при каждом запуске Дубликаты удаляются после разделения, поэтому копии одного текста могут остаться в train и test

Вопрос 8 из 20

Система собирает данные только с устройств новой версии приложения. Что нужно выяснить до обучения?

Убедиться, что строки новой версии корректно выводятся в журнал; этого достаточно для оценки охвата Похожи ли пользователи и поведение новой версии на весь будущий поток Проверить оформление приложения: новый цвет значка может изменить поведение пользователей и качество модели Переименовать столбцы новой версии так же, как в старой, и считать выборку сопоставимой

Вопрос 9 из 20

Какой столбец наиболее подозрителен для прогноза возврата товара до отправки заказа?

Способ доставки нужно исключить: выбор пользователя слишком тесно связан с будущим возвратом Цена товара кажется самым сильным признаком, поэтому её можно использовать независимо от момента появления Причина возврата, заполненная после получения Регион покупателя является утечкой сам по себе, даже если он известен при оформлении заказа

Вопрос 10 из 20

Модель получила 99% на test, но выяснилось, что снимки одного пациента делились случайно. Почему результат завышен?

train, test = train_test_split(images, test_size=0.2)

Модель могла узнавать особенности пациента, уже встречавшегося в train Результат завышен прежде всего потому, что проверочная часть меньше обучающей Медицинские снимки одного пациента нельзя использовать в машинном обучении больше одного раза Точность 99% на медицинских данных обычно невозможна и указывает на арифметическую ошибку

Вопрос 11 из 20

Какой способ помогает обнаружить, что сбор данных пропускает ночные события?

Увеличить глубину модели: более сложная архитектура заметит отсутствующие ночные события по дневным признакам Сравнить только среднюю целевую метку днём и ночью без проверки числа зарегистрированных событий Сравнить распределение времени в данных с журналом всех событий Удалить время из данных, чтобы неравномерность по часам не влияла на обучение

Вопрос 12 из 20

В коде выбросы удаляются по статистикам всей таблицы до split. В чём проблема?

lo, hi = df.amount.quantile([0.01, 0.99])
df = df[df.amount.between(lo, hi)]
train, test = split(df)

Порог очистки использует сведения о будущей тестовой части Проблема в том, что квантили неприменимы к выбросам и должны заменяться средним Удаление до split допустимо, поскольку редкие экстремальные значения почти не меняют статистики После фильтрации выбросов обучаемая модель начинает генерировать новые строки вместо прогноза

Вопрос 13 из 20

Цель — предсказать, нарушил ли водитель правила, но меткой служит наличие выписанного штрафа. Какой риск возникает?

Метка отражает ещё и вероятность обнаружения и оформления штрафа Использование официального штрафа гарантирует одинаковую справедливость метки для всех водителей Бинарная метка непригодна для обучения, если нарушение могло остаться незамеченным Наличие штрафа нужно считать непрерывной величиной, потому что разные нарушения имеют разную тяжесть

Вопрос 14 из 20

Что делает этот код разумнее простого удаления всех строк с пропусками?

median = train.income.median()
for part in [train, valid, test]:
    part["income_missing"] = part.income.isna().astype(int)
    part["income"] = part.income.fillna(median)

Сохраняет информацию о факте пропуска и заполняет значение оценкой по train Метод заменяет каждый входной признак целевой переменной и тем самым устраняет пропуски Оценка заполнения использует контрольную часть, поэтому вся процедура становится обучением на test Индикатор пропуска гарантирует отсутствие смещения независимо от причины пропущенных значений

Вопрос 15 из 20

Как проверить, что категория «другое» не скрывает слишком много разных случаев?

Посмотреть исходные значения, частоты и ошибки модели внутри этой категории Переименовать категорию в «прочее»: более нейтральное название сделает объединённые случаи однороднее Изменить отображение категории в отчёте, чтобы её доля и ошибки были заметнее визуально Удалять категорию «другое» перед обучением, поскольку она не имеет единого предметного смысла

Вопрос 16 из 20

Почему агрегат «число покупок за следующие 30 дней» нельзя использовать для прогноза сегодняшнего оттока?

cutoff = "2026-01-01"
feature = purchases.between(cutoff, cutoff + 30*DAY).count()
label = churn_after(cutoff)

Он использует информацию после момента прогноза Короткое название признака не раскрывает временное окно, поэтому модель не сможет его интерпретировать Признак нельзя использовать, потому что счётчик покупок является целым числом, а отток — бинарной меткой Если в столбце нет пропусков, его можно считать доступным в момент прогноза независимо от периода расчёта

Вопрос 17 из 20

Какой сбор данных лучше для редкого отказа оборудования?

Заменить реальные отказы большим числом синтетических примеров без отдельной проверки их реалистичности Удалить большинство отказов, чтобы доли классов стали ближе к обычному рабочему потоку Сохранять только первые минуты работы каждого устройства: одинаковое окно упростит сравнение Целенаправленно сохранить все отказы и репрезентативную выборку нормальной работы с корректными весами

Вопрос 18 из 20

Что покажет этот запрос?

SELECT event_id, COUNT(*) AS n
FROM events
GROUP BY event_id
HAVING COUNT(*) > 1
ORDER BY n DESC

Запрос оценивает качество классификатора, поскольку повторяющиеся события могли получить одинаковую метку Время выполнения запроса отражает качество набора данных и скорость последующего обучения Результат показывает согласие разметчиков: одинаковые event_id должны иметь одинаковые ответы Число повторяющихся event_id и масштаб проблемы дублей

Вопрос 19 из 20

Какой признак плохой разметочной инструкции виден в таблице?

example_id  annotator_A  annotator_B
101         sarcasm      negative
114         sarcasm      negative
139         sarcasm      negative

Независимая работа разметчиков сама по себе указывает на неоднозначность инструкции Инструкция достаточна, если все названия классов встречаются хотя бы в одной строке таблицы Одни и те же пограничные примеры систематически получают разные классы Наличие идентификаторов строк мешает разметчикам независимо оценивать один и тот же случай

Вопрос 20 из 20

Для прогноза спроса на следующую неделю данные делят случайно по строкам за пять лет. Какой вариант честнее?

train = df[df.date < "2025-01-01"]
test = df[df.date >= "2025-01-01"]

Проверять на самом старом периоде, а более новые годы использовать для обучения Обучать на прошлом, проверять на более позднем непрерывном периоде Добавить будущую цену как признак, поскольку она известна при расчёте исторического спроса Случайно смешать годы, чтобы в обеих частях сохранились одинаковые сезонные колебания

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу