🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний ·

Галлюцинации и надёжность ответа

Убедительная формулировка не превращает предположение в факт. Языковая модель может выдумать источник, смешать версии, неверно продолжить число или ответить за пределами доступных данных. Тест учит распознавать признаки выдумки, проверять утверждения и выбирать допустимый уровень автоматизации.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Модель попросили назвать внутренний номер договора, которого нет в контексте и открытых источниках. Почему она может выдать правдоподобный номер?

context = "Договор заключён с ООО Вектор."
question = "Назови внутренний номер договора"

Низкая температура подтверждает фактическую верность наиболее вероятного номера Она продолжает текст вероятностно и может сгенерировать форму, похожую на номера договоров, без доступа к факту Она обязательно восстановила настоящий номер по похожим договорам из обучающих данных Если формат номера похож на служебный шаблон, значит конкретное значение уже присутствовало в контексте

Вопрос 2 из 20

Какой признак сильнее всего указывает на возможную выдумку источника?

citation = {'title': 'Neural Memory in Sparse Agents',
 'doi': '10.5555/nmsa.2024.17'}
registry_lookup(citation["doi"])

Название и автор выглядят правдоподобно, однако год публикации не указан Ссылка содержит правдоподобное название и DOI, но запись не находится в каталоге издателя или реестре DOI Ссылка ведёт на настоящий журнал, но цитируемая статья не подтверждает утверждение Источник сформулирован очень уверенно, но не содержит номера страницы

Вопрос 3 из 20

Модель вычисляет 17×28 как 486. Как проверять такой ответ?

verified = 17 * 28
assert verified == 476

Передать выражение калькулятору или вычислить детерминированно, а не просить модель повторить рассуждение Сравнить ответ с числами из похожих примеров в базе знаний Попросить модель расписать умножение по разрядам и принять ответ при совпадении двух генераций Снизить температуру и выбрать результат, который повторяется чаще

Вопрос 4 из 20

Можно ли автоматически публиковать придуманные варианты названия статьи без проверки фактов?

Нет, потому что любой сгенерированный заголовок должен подтверждаться внешним источником Да, если модель несколько раз повторяет тот же вариант и оценивает уверенность как высокую Да, если это явно творческая задача и названия не содержат неподтверждённых утверждений о людях или событиях Да, если добавить пометку «возможный вариант», даже когда заголовок содержит обвинение конкретного человека

Вопрос 5 из 20

Почему низкая температура не устраняет галлюцинации?

prompt = build_prompt(context, question)
answer_1 = model.generate(prompt, temperature=0)
answer_2 = model.generate(prompt, temperature=0)
assert answer_1 == answer_2

Детерминированное декодирование устраняет ошибки, вызванные неполным или неверным контекстом Низкая температура автоматически сверяет каждое утверждение с внешними источниками При нулевой температуре модель отказывается отвечать на вопросы, для которых ей не хватает фактов Она делает выбор более повторяемым, но наиболее вероятное продолжение всё равно может быть неверным

Вопрос 6 из 20

Ответ называет закон, но в следующем абзаце меняет номер статьи. Что это за сигнал?

Абзац 1: право возникает на основании статьи 12.
Абзац 3: это право регулирует статья 21.

Внутренняя несогласованность, требующая проверки первичного текста закона Номера статей могли измениться при пересказе, поэтому достаточно выбрать тот, что встречается чаще Это может быть различие между редакциями закона, если модель не указала дату каждой версии Если оба номера существуют в законе, противоречие можно считать несущественным без сверки содержания

Вопрос 7 из 20

Как проверить цитату из документа, переданного в RAG?

source = sources[claim.source_id]
assert normalize(claim.quote) in normalize(source.text)

Сделать второй запрос к модели с просьбой подтвердить дословность цитаты Проверить, что рядом с цитатой есть ссылка на документ и номер фрагмента Сравнить ключевые слова цитаты с кратким содержанием найденного документа Сверить цитату с указанным фрагментом `source_id` после одинаковой нормализации текста

Вопрос 8 из 20

Система советует лекарственную дозировку по фотографии упаковки. Какой режим доверия уместен?

Показать дозировку вместе с предупреждением, не проверяя возраст, диагноз и противопоказания Сверить название на упаковке с общей инструкцией и использовать типовую дозировку Не использовать ответ как назначение Допустить ответ только как справочную подсказку, если модель распознала препарат и дозировку уверенно

Вопрос 9 из 20

Модель уверенно рассказывает биографию несуществующего учёного. Какой тест выявляет этот класс ошибок?

test_cases = [{'person': 'Алексей Воронцов-Кельнский',
  'exists': False}]

Проверять, совпадает ли стиль биографии со статьями о реальных учёных Просить модель привести больше биографических деталей и считать согласованность косвенным подтверждением Проверять только имена, которые выглядят необычно или содержат редкую фамилию Включить вымышленные имена и ожидать явного сообщения об отсутствии подтверждений

Вопрос 10 из 20

Два источника дают разные текущие тарифы. Что делать?

Выбрать тариф из источника с более подробным описанием условий Взять более новый по дате публикации источник, не проверяя период действия тарифа Проверить даты действия и авторитет, показать конфликт и не выбирать молча устаревшее значение Показать оба значения как равноправные, не объясняя причину расхождения

Вопрос 11 из 20

Какой ответ надёжнее при отсутствии сведений?

«В похожих договорах встречался номер 48-Р, поэтому его можно использовать как рабочий» «Данных недостаточно, но наиболее правдоподобный вариант — 48-Р; проверьте при возможности» «По типичному формату номер, вероятно, начинается с 48, но точное значение неизвестно» «В переданных материалах этого нет; нужен документ X или доступ к системе Y»

Вопрос 12 из 20

Почему самопроверка той же моделью ограниченна?

Повторный вызов становится независимым источником, даже если получает ту же модель и тот же контекст Одинаковая модель и контекст могут повторить исходное заблуждение Одинаковый контекст гарантирует, что проверяющий вызов заметит выдуманный факт Самопроверка подтверждает факты так же надёжно, как сверка с документом или расчётом

Вопрос 13 из 20

Как проверить, что указанная статистика относится к нужному году и стране?

claim = {'value': 12.4,
 'unit': '%',
 'country': 'EE',
 'year': 2025}
verify_against_dataset(claim, source_table)

Проверить формат единиц и число знаков после запятой, не открывая исходную таблицу Найти то же число в нескольких вторичных публикациях и считать совпадение подтверждением Сопоставить число с ожидаемым диапазоном и принять его, если оно выглядит реалистично Сверить первичную таблицу и метаданные показателя, включая период, территорию и единицы

Вопрос 14 из 20

Автоматический ответ на заявление о мошенничестве предлагает заблокировать счёт. Что нужно до действия?

Проверка правил, подтверждение личности и уполномоченный человек или детерминированная система решений Согласие двух независимых языковых моделей без сверки личности и правил Автоматическая проверка тона ответа и наличия объяснения причин блокировки Повторная генерация с более строгой инструкцией и высоким порогом уверенности

Вопрос 15 из 20

Ответ приводит число с точностью до 0,001, хотя исходные данные округлены до целых. Что это может означать?

Точность представления не опасна, если рядом приведено предупреждение об округлении исходных данных Ложную точность: дополнительные знаки не поддерживаются качеством источника Результат можно считать точным, если вычисление выполнено программой, даже при грубых входных данных Дополнительные знаки допустимы, когда модель указывает их как оценку, а не измерение

Вопрос 16 из 20

Какой код лучше отделяет генерацию формулировки от вычисления суммы?

total = sum(invoice.amounts)
text = model.generate({"verified_total": total, "task":"объясни расчёт"})

Получить несколько независимых ответов модели и выбрать медиану как проверенную сумму Найти похожее вычисление семантическим поиском и использовать найденный результат Попросить модель отдельно посчитать сумму, затем передать собственный результат в новый запрос для объяснения Сначала считает сумму программой, затем передаёт модели проверенное значение только для объяснения

Вопрос 17 из 20

Модель дала ссылку на страницу, которая существует, но не подтверждает утверждение. Как классифицировать?

Считать утверждение подтверждённым, если ссылка ведёт на авторитетный домен по той же теме Отнести это к неполному цитированию, если на странице встречаются похожие термины Использовать ссылку как косвенную поддержку, даже если нужный факт сформулирован только в ответе модели Ссылка настоящая, но поддержка утверждения отсутствует

Вопрос 18 из 20

Когда ответ можно использовать как черновик без проверки каждого предложения?

Когда результат служит редактируемой заготовкой и ошибка не создаёт существенного риска Когда финансовое действие можно отменить в течение короткого времени Когда медицинский ответ сопровождается общим предупреждением обратиться к врачу Когда юридический текст нужен только для внутреннего обсуждения и не публикуется

Вопрос 19 из 20

Какой мониторинг нужен после выпуска помощника по базе знаний?

metrics = ['unsupported_claim_rate',
 'bad_citation_rate',
 'abstention_rate',
 'user_correction_rate',
 'critical_incidents']

Отслеживать длину ответа, время генерации, повторные запросы и долю диалогов, завершённых без уточнений Следить за средней уверенностью модели, числом ответов со ссылками и скоростью обновления базы знаний Отслеживать ответы без источников, неверные цитаты, лишние отказы, исправления пользователей и критичные инциденты Считать открытые диалоги, популярность тем, долю длинных ответов и среднее число сообщений пользователя

Вопрос 20 из 20

Какой принцип лучше всего задаёт границу доверия?

Чем выше цена и необратимость ошибки, тем сильнее должны быть доказательства, контроль и ограничение автономности Одинаковый порог уверенности подходит для справочных, медицинских и финансовых задач Чем подробнее объяснение, тем меньше внешней проверки требуется Надёжность определяется только качеством модели, а не последствиями применения

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу