🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний ·

Предвзятость и справедливость моделей

Модель может одинаково применять формулу и всё же давать неравные ошибки, потому что данные, признаки и сама постановка задачи отражают прошлые перекосы. Тест проверяет поиск источника проблемы, чтение показателей по группам и выбор мер, которые уменьшают вред, а не только улучшают отчёт.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Компания учит модель найма на прошлых решениях рекрутеров. Женщин раньше реже приглашали на технические роли. В чём главный риск?

features = historical_data[candidate_features]
target = historical_data["invited_to_interview"]
model.fit(features, target)
invite_rate = target.groupby(historical_data["sex"]).mean()

Большой объём прошлых решений усреднит индивидуальные предубеждения рекрутеров Исторические решения можно использовать как точную цель, если убрать чувствительный признак из входа Полностью исключить старые данные — единственный способ избежать переноса прежней практики Метка «пригласили» отражает прежнюю практику компании, а не только пригодность кандидата

Вопрос 2 из 20

Для двух групп получены показатели. Где заметнее всего неравенство ошибок?

A = {'TP': 180, 'FN': 20, 'FP': 30, 'TN': 170}
B={"TP":72,"FN":28,"FP":12,"TN":88}

Только в размере выборки: различие числа примеров само по себе и есть неравенство ошибок В доле пропущенных положительных случаев: 28% у группы B против 10% у группы A В общей точности: у группы B она ниже примерно на 28 процентных пунктов В доле ложных тревог: у группы B она почти втрое выше

Вопрос 3 из 20

В медицинском скрининге особенно важно не пропускать заболевание. Какое равенство уместнее обсуждать?

Одинаковую положительную прогностическую ценность среди тех, кому модель дала направление Одинаковую долю направлений в каждой группе независимо от распространённости заболевания Одинаковую калибровку риска, считая её полной заменой контролю пропусков Сходную полноту по заболевшим пациентам в разных группах

Вопрос 4 из 20

Что лучше всего снижает вред от ошибочного автоматического отказа в кредите?

Повысить общий порог одобрения, не анализируя причины групповых различий и последствия отказа Разрешить пересмотр, но проводить его тем же автоматическим правилом без новых данных Понятная причина, возможность исправить данные и независимый пересмотр решения Показывать только итоговый балл, чтобы люди не учились подстраиваться под модель

Вопрос 5 из 20

Из датасета удалили столбец «пол», но оставили имя, район и историю профессий. Почему перекос может сохраниться?

features = ['first_name',
 'postcode',
 'occupation_history',
 'education']
features.remove("sex")

Оставшиеся признаки могут служить косвенными заменителями чувствительного признака Косвенные признаки безопасны, если каждый из них слабо связан с полом по отдельности После удаления столбца чувствительный признак больше не влияет на модель напрямую или косвенно Прокси-признаки создают риск только при линейной модели, но не в сложных алгоритмах

Вопрос 6 из 20

У одной группы всего 18 примеров и accuracy 61%, у другой 4000 и accuracy 74%. Какой вывод корректен?

groups = {'small': {'n': 18, 'correct': 11},
 'large': {'n': 4000, 'correct': 2960}}

Для малой группы нужна оценка неопределённости и дополнительные данные Размер выборки влияет только на среднюю метрику, но не на уверенность в разнице между группами Малую группу можно исключить из отчёта, пока не накопится несколько сотен примеров Разрыв в 13 пунктов доказывает худшее обслуживание малой группы независимо от интервала неопределённости

Вопрос 7 из 20

Банк хочет одинаковую долю одобрений в группах, хотя доля заявителей, способных вернуть кредит, различается. Что важно признать?

base_rate={"A":0.82,"B":0.61}
constraint="approval_rate_A == approval_rate_B"

Демографический паритет — отдельная цель и может конфликтовать с калибровкой или одинаковой точностью при разных базовых частотах Одинаковая доля одобрений — нейтральная бизнес-цель, не связанная с групповой справедливостью Если не использовать принадлежность к группе при принятии решения, конфликт метрик исчезнет Все требования справедливости можно одновременно выполнить подбором порогов при достаточном объёме данных

Вопрос 8 из 20

Модель распознавания речи хуже работает на пожилых женщинах, хотя отдельно по возрасту и полу разница мала. Что произошло?

Пересечённая группа мала, поэтому её ошибки следует включить только в общую метрику Достаточно отдельно сравнить мужчин и женщин, затем молодых и пожилых, не рассматривая пересечения Проблема проявилась на пересечении признаков, которое скрыли широкие срезы Небольшие различия в широких возрастных и половых срезах доказывают отсутствие значимого перекоса

Вопрос 9 из 20

Какой вопрос задаёт метрика equal opportunity?

Одинакова ли точность положительных решений среди тех, кого модель выбрала Одинакова ли вероятность получить положительное решение среди тех, кто действительно соответствует условию Одинакова ли доля положительных решений во всех группах без учёта истинного состояния Одинаково ли распределены вероятности модели среди всех представителей групп

Вопрос 10 из 20

После введения отдельного порога для группы качество выросло, но пользователю нельзя объяснить, почему порог зависит от группы. Что делать?

thresholds={"group_A":0.58,"group_B":0.44}

Сохранить разные пороги, если они улучшают метрику, и раскрывать их только аудитору Рост качества оправдывает использование группы, если средняя ошибка уменьшается Оценить законность, этическую допустимость, прозрачность и альтернативы; технического улучшения недостаточно Заменить групповые пороги одним общим после запуска, не проверяя, вернётся ли прежний разрыв

Вопрос 11 из 20

В данных о страховых случаях есть только люди, которые уже получили полис. Какой перекос возможен?

dataset = applicants[applicants.policy_issued == True]
label = dataset.claim_within_year

Смещение отбора: поведение отказанных заявителей вообще не наблюдается Отсутствующие данные можно считать случайными, если число выданных полисов велико Смещение выживших: в данных остаются только клиенты без страховых случаев Раз полис получили только одобренные заявители, их последующие исходы без смещения описывают всех подавших заявку

Вопрос 12 из 20

Общая false positive rate одинакова, но в одной группе ложная тревога чаще приводит к задержанию, а в другой — к дополнительной проверке документа. Чего не хватает метрике?

Следует сравнить только accuracy, потому что последствия находятся за пределами модели Метрика качества достаточна, а различия последующих процедур нужно оценивать отдельно от справедливости системы Она не учитывает различие последствий одной и той же ошибки Одинаковая частота ошибок означает одинаковый вред, если решение модели формально одно и то же

Вопрос 13 из 20

Два оценщика размечают «агрессивную речь», но чаще расходятся на диалектах одной группы. Что проверить?

agreement={"standard":0.91,"dialect_X":0.54}
label="aggressive"

Увеличить число оценщиков без изменения инструкции и анализа контекста диалектов Случайно перемешать строки, чтобы расхождения равномерно распределились по пакетам Инструкцию и культурную валидность разметки, а также участие компетентных оценщиков Ограничиться общим процентом согласия: высокий средний показатель исключает систематическую проблему в отдельной группе

Вопрос 14 из 20

Модель с одинаковой калибровкой по группам обязательно имеет одинаковые false positive rate?

Нет, при разных базовых частотах эти требования могут расходиться Да, если группы имеют одинаковое число примеров в контрольном наборе Нет, но только потому, что калибровка относится к вероятностям, а false positive rate — к текстовым меткам Да, одинаковая калибровка автоматически задаёт одинаковые ошибки при любом пороге

Вопрос 15 из 20

Как оценить, помогла ли переразметка спорных примеров?

before=evaluate(model_v1, frozen_eval, by_group=True)
after=evaluate(model_v2, frozen_eval, by_group=True)

Попросить тех же оценщиков оценить улучшение на примерах, которые они переразмечали Повторить раздельную проверку на неизменном наборе, включая согласованность экспертов и показатели групп Рост набора и среднего согласия достаточен без повторной проверки групповых ошибок Снижение training loss после переразметки показывает, что метки стали справедливее

Вопрос 16 из 20

Модель модерации чаще блокирует сообщения группы, потому что в них встречается слово, которое внутри сообщества нейтрально. Какая мера точнее?

Добавить слово в список всегда разрешённых, чтобы устранить ложные блокировки в этой группе Повысить общий порог блокировки, даже если это увеличит пропуски опасного содержания в других контекстах Добавить контекстные примеры, пересмотреть разметку и оценить ошибки с носителями языковой нормы Удалить все сообщения с этим словом из обучения и проверки

Вопрос 17 из 20

После автоматического отбора обучающие данные пополняются только объектами, которые модель посчитала перспективными. Какой риск растёт?

observed_next_round = applicants[prediction > threshold]
training_data.extend(observed_next_round)

Петля обратной связи: система всё реже видит отвергнутые случаи и закрепляет собственные предпочтения Целевая переменная сохраняется, поэтому обратная связь не создаёт смещения отбора Автоматический отбор уменьшает шум, поэтому данные постепенно становятся объективнее Риск ограничивается уменьшением разнообразия, но не влияет на будущие решения модели

Вопрос 18 из 20

Какой отчёт полезнее для обсуждения справедливости?

Матрицы ошибок и последствия по группам, размеры выборок, интервалы, выбранная цель и ограничения данных Одна общая accuracy с числом примеров по группам без видов ошибок и последствий Название метрики справедливости и итоговый вывод без интервалов, цели и ограничений данных Список отдельных неудачных примеров без размеров выборки и частот

Вопрос 19 из 20

Ручной пересмотр предусмотрен, но сотрудники почти всегда подтверждают решение модели за несколько секунд. Что проверить?

review = {'median_seconds': 3.2,
 'override_rate': 0.001,
 'model_score_visible': True,
 'evidence_visible': False}

Высокая доля подтверждений показывает качество модели и делает отдельный аудит пересмотра необязательным Проверить только случаи, где сотрудник отменил решение, не анализируя автоматическое согласие Увеличить число сотрудников, не меняя интерфейс, время и доступ к исходным данным Автоматическое доверие, интерфейс, время, стимулы и доступность доказательств для независимого решения

Вопрос 20 из 20

Какой подход наиболее зрелый после обнаружения группового разрыва?

Удалить чувствительный признак и больше не измерять группы, чтобы не использовать его в процессе Установить причину, оценить последствия, выбрать согласованную цель, изменить данные или процесс и проверить эффект после выпуска Выбрать одну метрику и выровнять её порогами, не проверяя цену изменений и другие ошибки Приостановить групповые измерения, если результаты могут создать юридические или репутационные риски

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу