🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Сложный ·

Поиск с дополненной генерацией — RAG

RAG связывает языковую модель с внешними документами: материалы очищаются и делятся на фрагменты, запрос превращается в поиск, найденное ранжируется и только затем попадает в ответ. Тест разбирает реальные сбои — плохие границы фрагментов, устаревшие версии, смешение прав доступа, перегруженный контекст и вымышленные ссылки.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Инструкция в PDF начинается на одной странице, а исключения продолжаются на следующей. Как лучше подготовить фрагменты?

section = {"title":"Возврат", "paragraphs":[rule, exception]}
chunks = split_by_structure(section, max_tokens=700, overlap=80)

Учитывать структуру раздела и при нужности объединять соседние части Перемешать страницы перед разбиением, чтобы близкие фрагменты не дублировали друг друга Исключить длинные исключения из индекса, чтобы основные правила находились выше Разделить документ строго по страницам, сохранив номера, но не связывая заголовок с продолжением

Вопрос 2 из 20

Запрос содержит точный номер приказа «АБ-17/2026», но векторный поиск его не находит. Что добавить?

dense = vector_search(query)
sparse = bm25_search(query)
hits = reciprocal_rank_fusion(dense, sparse)

Перемешивать векторы при каждом запросе, чтобы редкая строка попадала в разные области индекса Удалить номер приказа и искать только по общим словам запроса Повысить temperature генератора: более широкий выбор токенов поможет восстановить точный номер Лексический или гибридный поиск, который хорошо сохраняет точные совпадения редких строк

Вопрос 3 из 20

Найдено 20 фрагментов, десять из них повторяют один и тот же абзац из копий документа. Что сделать перед генерацией?

hits = deduplicate(hits, key="normalized_text")
hits = diversify(hits, by=["document_id","section_id"])

Передать все копии: многократное повторение источника должно повысить вес подтверждённого факта Удалить дубли и сохранить разнообразие релевантных источников, чтобы копии не вытеснили другие условия Удалить непохожий фрагмент как вероятный шум и оставить только согласующиеся копии Отсортировать фрагменты по длине и взять самые подробные независимо от источника

Вопрос 4 из 20

Ответ ссылается на `doc-7`, но цитируемая фраза в нём отсутствует. Какая проверка должна сработать?

source = retrieved_by_id[claim["source_id"]]
assert normalize(claim["quote"]) in normalize(source.text)

Проверять формат идентификатора: корректный UUID достаточно надёжно подтверждает существование источника Ограничить длину цитаты, чтобы модель реже добавляла отсутствующие слова Проверка связи утверждение–фрагмент: цитата и смысловая опора должны находиться в разрешённом источнике Снизить temperature и считать повторяемую цитату подтверждением её наличия

Вопрос 5 из 20

Правильный фрагмент обычно находится на позиции 18, а в контекст передаются только первые 8. Какой этап улучшать прежде всего?

Менять токенизатор ответа, чтобы запрос и документы сравнивались более точными единицами Исправить оформление ссылки после генерации, поскольку неверная позиция связана с форматом цитаты Улучшать генератор: он должен восстановить содержание документа, даже если нужный фрагмент не передан Ранжирование или реранжирование, чтобы нужный фрагмент поднялся до отсечения

Вопрос 6 из 20

Два документа противоречат друг другу, один обновлён вчера, другой три года назад. Как собрать контекст?

hits.sort(key=lambda h: (h.authority, h.effective_date), reverse=True)
context = format_with_metadata(hits)

Передать версионные метаданные, предпочесть актуальный нормативный источник и явно отметить конфликт Выбрать более длинный документ как наиболее подробный и потому более надёжный Скрыть даты и позволить модели определить актуальность по стилю и полноте документа Объединить противоречащие предложения в среднее правило без указания версий

Вопрос 7 из 20

Система не нашла достаточных сведений. Какой ответ безопаснее?

Сформулировать наиболее вероятное правило по общим знаниям модели и не показывать отсутствие источника Повторить утверждение пользователя как исходный факт, не добавляя собственных подробностей Сослаться на самый близкий документ, даже если он не подтверждает требуемое условие Явно сообщить, что подтверждения в найденных источниках нет, и не дополнять ответ догадкой

Вопрос 8 из 20

В индекс попали заголовки отдельно от абзацев, поэтому поиск по названию раздела возвращает пустой короткий фрагмент. Что улучшить?

chunk.metadata["section_title"] = section.title
chunk.text = section.title + "
" + paragraph_text

Кодировать заголовок случайным вектором и использовать его только как разделитель Удалить заголовки: короткие строки мешают поиску и не содержат самостоятельного ответа Увеличить числовой идентификатор фрагмента, чтобы заголовки сортировались после абзацев Хранить заголовок вместе с содержанием или наследовать его в метаданных каждого фрагмента

Вопрос 9 из 20

Почему передача 40 релевантных фрагментов может дать хуже ответ, чем передача 6 лучших?

candidates = retrieve(query, k=50)
context = rerank(query, candidates)[:6]

Длинный контекст физически удаляет системное сообщение из модели, даже если лимит не превышен Лишний и повторяющийся контекст конкурирует за внимание, увеличивает конфликты и расходует бюджет Каждый дополнительный фрагмент обновляет веса модели и смещает её знания Языковая модель по определению учитывает не более шести строк контекста за один ответ

Вопрос 10 из 20

Какая метрика отдельно проверяет, попал ли правильный источник в первые k результатов до генерации?

\operatorname{Recall@k}=\frac{\#\{q: R_q\cap H_q^k\neq\varnothing\}}{\#Q}

recall_at_k = found_relevant_in_top_k / total_queries_with_relevant_docs

Recall@k по размеченным релевантным фрагментам Использовать BLEU готового ответа: совпадение текста косвенно покажет, что источник найден Оценивать число токенов системной инструкции как показатель полноты поиска Сравнивать среднюю длину цитат в первых k результатах вместо разметки релевантности

Вопрос 11 из 20

После удаления документа его старые фрагменты остаются в индексе. Какой дефект проектирования это показывает?

Низкая temperature заставляет генератор выбирать старую версию при наличии дублей Размерность векторов недостаточна, поэтому удалённые фрагменты нельзя отличить от актуальных Токенизатор не поддерживает удаление данных, извлечённых из PDF Нет согласованного удаления и версионирования между хранилищем документов и индексом

Вопрос 12 из 20

Запрос «условия возврата для корпоративного клиента» ищет только по исходной формулировке. Какое преобразование может повысить полноту?

queries = [original, "возврат для юридического лица", "расторжение покупки организацией"]
hits = merge([retrieve(x) for x in queries])

Удалить тип клиента, чтобы более общий запрос находил больше документов Заменить исходный запрос случайным набором близких слов и выбрать лучший результат Многократно повторить слово «возврат», усилив его вес в векторном представлении Добавить варианты вроде «юридическое лицо», сохранив исходный запрос и контролируя расширение

Вопрос 13 из 20

Пользователь имеет доступ только к проекту A, но общий индекс возвращает фрагмент проекта B. Где должна стоять защита?

hits = index.search(query, filter={"tenant_id": user.tenant_id, "acl": {"contains": user.id}})

Фильтр прав должен применяться до передачи фрагментов модели и повторно проверяться при выдаче цитат Положиться на эмбеддинги: семантическое кодирование не сохраняет секретные формулировки дословно Достаточно системной просьбы не упоминать проект B, даже если его текст уже передан модели Удалить название проекта из фрагмента и использовать оставшееся содержание без проверки прав

Вопрос 14 из 20

В таблице PDF строки извлеклись по колонкам и перемешались. Что делать до индексирования?

rows = extract_table(page)
assert rows[0].keys() == {"тариф","лимит","цена"}
index(serialize_rows_with_headers(rows))

Считать каждую ячейку отдельным документом без номера строки и названия столбца Индексировать извлечённые строки как есть и позволить модели восстановить порядок по смыслу Удалить числа, поскольку именно они чаще всего нарушают порядок колонок при извлечении Восстановить структуру таблицы или хранить её в машинно читаемом виде с заголовками столбцов

Вопрос 15 из 20

Векторный поиск возвращает семантически близкие, но устаревшие инструкции. Какой фильтр нужен?

Фильтровать по длине имени пользователя, считая её признаком типа инструкции Настраивать temperature ответа: меньшая случайность уменьшит вероятность выбора старого правила Использовать случайный токен документа как замену номеру версии По дате действия или версии документа до реранжирования и генерации

Вопрос 16 из 20

Контекст содержит цитату без названия документа и даты. Чем это мешает?

context_item = {"source_id":"policy-v4", "effective":"2026-06-01", "section":"Возвраты", "text": chunk}

Без метаданных цитата перестаёт быть текстом и не может попасть в контекст Генератор завершает ответ раньше, когда дата источника отсутствует Вектор цитаты становится нулевым, если рядом не указано название документа Модель и проверяющий не могут оценить источник, версию и конфликт с другими фрагментами

Вопрос 17 из 20

Фрагменты режутся по 500 токенов без overlap. Ответ на вопрос требует последнего предложения одного и первого предложения следующего. Что изменить?

Добавить разумное перекрытие или структурное объединение соседей при поиске Уменьшить фрагменты до одного токена, чтобы границы чаще совпадали с предложениями Индексировать только первые части документов, где обычно формулируются основные правила Удалить знак конца предложения и объединить текст уже после индексирования

Вопрос 18 из 20

Reranker обучен на общих веб-текстах и систематически занижает юридические исключения. Как проверить проблему?

metrics = evaluate_reranker(domain_pairs, slices=["general_rule","exception","definition","table_row"])

Собрать доменный набор пар запрос–фрагмент и измерить ранжирование отдельно по типам положений Удалить юридические термины из запросов, приблизив их к общему веб-домену reranker Оценивать только готовый ответ: правильная генерация компенсирует ошибки ранжирования Увеличить все фрагменты до предельной длины, чтобы юридическое исключение не отделялось от правила

Вопрос 19 из 20

В контекст попали три версии одного положения. Как избежать ответа, собранного из несовместимых правил?

Удалить даты и номера редакций, оставив только содержание положений Сгруппировать по документу и версии, выбрать действующую, а исторические пометить или исключить Перемешать предложения версий, чтобы модель усреднила различия и сформулировала общее правило Взять по одному предложению из каждой версии и объединить их как независимые условия

Вопрос 20 из 20

Какой журнал наиболее полезен для расследования ошибочного ответа RAG?

trace = {"query":q,"index_version":v,"retrieved":hits,"reranked":selected,"context":context,"answer":answer}

Сохранить только окончательный ответ: по нему можно восстановить весь путь поиска Запрос, версии индексов, найденные и отобранные фрагменты, их оценки, финальный контекст и ссылки ответа Сделать снимок интерфейса, не фиксируя точный контекст и версии индексов Записать имя модели без запроса и найденных документов

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу