🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Сложный · 👥 1 прошёл

Архитектор системы с ИИ

Итоговая система с ИИ редко состоит из одной модели. Она включает маршрутизацию, данные, поиск, инструменты, проверки, журналы, запасные пути и правила ответственности. Тест предлагает собрать эти элементы в целостную архитектуру и выбрать компромисс при конфликте качества, безопасности, скорости и стоимости.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Система отвечает по внутренним регламентам и иногда выполняет действие. Как лучше разделить компоненты?

hits=retrieve(query,acl=user.acl)
proposal=llm(context=hits,schema=ACTION_SCHEMA)
result=tool_gateway.execute(proposal,user,confirmation)

Поиск возвращает источники, модель формирует структурированное предложение, независимый шлюз проверяет и исполняет разрешённое действие Подтверждение пользователя применяется ко всей цепочке действий, которую модель построит после ответа Одна модель планирует и исполняет действия, а ограничения задаются системной инструкцией Документы могут предлагать действия, если каждый источник находится во внутреннем хранилище

Вопрос 2 из 20

Поиск имеет recall@10=95%, но конечные ответы верны лишь в 68%. Что следует проверить?

Остающиеся сбои контекста, синтеза, конфликтов источников и цитирования Повысить recall поиска, потому что почти все ошибки конечного ответа объясняются пропущенными документами Заменить сквозную оценку проверкой цитат, не анализируя синтез и отказ при отсутствии ответа Оценивать отдельно retrieval и генерацию, но считать высокий recall достаточным для выпуска

Вопрос 3 из 20

Найденная веб-страница содержит инструкцию вызвать инструмент удаления. Как должна пройти граница доверия?

retrieved.role="untrusted_content"
policy.allowed_actions={"read_order"}

Страница может давать инструкции только для обработки собственного содержимого, но не для инструментов Внутренний домен можно считать доверенным источником команд после проверки владельца Текст страницы остаётся данными Команду можно выполнить в режиме предварительного просмотра, если модель объяснила её необходимость

Вопрос 4 из 20

После инцидента команда знает модель, но не знает, какие документы были в контексте. Чего не хватает?

trace = {'model': 'm7',
 'prompt': 'p12',
 'index': 'idx_2026_07_13',
 'chunks': ['d8:c4', 'd2:c19']}

Системная инструкция и версия модели позволят приблизительно воспроизвести ответ без контекста Достаточно сохранить текст ответа и имя пользователя, если документы редко меняются Нужны общие показатели задержки поиска, чтобы определить, какие документы успели загрузиться Версий индекса и идентификаторов фрагментов в сквозной трассе

Вопрос 5 из 20

Внешняя модель недоступна. Какой режим деградации разумен для справочного сервиса?

try:
    return generate(answer_context)
except ModelTimeout:
    return search_only_with_sources(answer_context)

Вернуть последний успешный ответ из кэша без проверки вопроса и срока действия Переключиться на локальную модель с теми же полномочиями, даже если она не проходила оценку Продолжать попытки до истечения общего тайм-аута, а затем вернуть частично сформированный ответ Переключиться на проверенный поиск с показом источников или сообщить о временной недоступности без выдуманного ответа

Вопрос 6 из 20

Какой контрольный набор лучше для архитектуры с RAG?

Проверка формата ответа и наличия хотя бы одной ссылки на документ Вопросы без ожидаемых источников, чтобы не привязывать оценку к конкретной версии индекса Большой набор обычных вопросов, для которых ответ встречается в первом найденном фрагменте Вопросы с однозначным источником, конфликтами версий, отсутствующим ответом, ограничениями доступа и длинными документами

Вопрос 7 из 20

Модель возвращает команду `refund`, но сумма вычислена ею из текста. Как безопаснее?

proposal={"action":"refund","order_id":81}
amount=refund_service.calculate(order_id=81)
confirm(amount)

Исполнить сумму из JSON, если схема поля ограничивает тип положительным числом Попросить модель повторно вычислить сумму и принять значение при совпадении Сравнить сумму с текстом заказа семантической моделью до исполнения Проверить заказ и вычислить допустимую сумму детерминированным сервисом перед подтверждением

Вопрос 8 из 20

После смены embedding-модели старые векторы остались в индексе. Какой риск?

query_encoder="embed-v2"
index.metadata.encoder="embed-v1"

Запросы и документы находятся в несовместимых пространствах, поэтому качество поиска может молча упасть Качество изменится только для новых документов, а старые запросы останутся сопоставимыми Смешение векторов повысит устойчивость за счёт нескольких способов представления документов Индекс сможет искать, но оценки близости разных версий нельзя сравнивать между собой

Вопрос 9 из 20

Какой сигнал лучше обнаружит ухудшение ответа после обновления модели?

candidate=evaluate(v2,regression_set)
if critical_failures>0: block_release()

Регрессионный набор критичных случаев плюс канареечные метрики и сравнение с предыдущей версией Самооценка новой модели полезна, если она не видит ответы предыдущей версии Набор нескольких демонстрационных вопросов, которые команда проверяет после каждого обновления Рост версии модели и отсутствие технических ошибок можно считать достаточным признаком безопасного обновления

Вопрос 10 из 20

Агент имеет инструменты чтения календаря и отправки писем. Что должно определять порядок подтверждения?

Подтверждать только операции, которые стоят денег, а отправку писем считать обратимой Подтверждать все инструменты одинаково, чтобы пользователь понимал единый интерфейс Побочный эффект и обратимость: чтение можно выполнить автоматически, отправку — после показа получателя и текста Разрешать действие автоматически при высокой уверенности модели и отсутствии ошибок схемы

Вопрос 11 из 20

Средняя стоимость ответа приемлема, но 2% запросов запускают 20 циклов агента. Что добавить?

if steps>=8 or cost>=budget or state_hash in seen:
    stop(reason="limit_or_loop")

Исключать длинные цепочки из средней стоимости, но сохранять их в журнале инцидентов Лимит шагов и бюджета, обнаружение повторяющегося состояния и безопасную остановку Позволить агенту запрашивать дополнительный бюджет, если он описал ожидаемую пользу следующего шага Повысить лимит циклов и останавливать только после достижения общего бюджета

Вопрос 12 из 20

Как проверить, что цитата действительно поддерживает утверждение?

for claim in answer.claims:
    chunk=index.get(claim.source_id)
    verify_support(claim.text,chunk.text)

Показывать название и дату документа, оставляя проверку связи пользователю Сохранить связь claim→chunk и выполнить отдельную проверку entailment или экспертный аудит Считать поддержку достаточной, если документ относится к той же теме и не противоречит ответу Проверить наличие источника и совпадение нескольких ключевых слов с утверждением

Вопрос 13 из 20

Пользователь A не имеет доступа к документу, но его фрагмент попал в общий векторный индекс. Где должна быть проверка?

hits=vector_search(q,filter={"acl":user.allowed_groups})

Передавать полный контекст модели, а на клиенте скрывать ссылки на недоступные документы При индексации хранить ACL и фильтровать кандидатов до передачи модели, с защитой кэша по области доступа Описать ограничения доступа в системной инструкции и полагаться на соблюдение модели Отфильтровать ответ после генерации, удаляя фрагменты документов без прав пользователя

Вопрос 14 из 20

Почему `temperature=0` не является защитой от внедрения инструкций?

Температура задаёт права доступа к инструментам: нулевое значение оставляет только безопасные операции При нулевой температуре модель перестаёт учитывать инструкции из найденных документов Детерминированный режим автоматически блокирует вредоносные вызовы инструментов Детерминированность выбора не меняет границы доверия и полномочия инструментов

Вопрос 15 из 20

Какой набор версий нужен для воспроизводимости ответа?

versions = {'model': '7.2',
 'prompt': '18',
 'router': '4.1',
 'schema': '3',
 'index': '20260713-2',
 'tools': '9'}

Название модели, дата ответа и хэш пользовательского запроса Полный вход и ответ модели без версии индекса, схем инструментов и кода маршрутизации Версия приложения и общая задержка без фиксации документов и параметров генерации Модель и параметры, системная инструкция, инструменты и схемы, индекс и документы, код маршрутизации

Вопрос 16 из 20

Поиск и модель вместе укладываются в 900 мс, но инструмент иногда отвечает 12 секунд. Как проектировать SLA?

retrieve_timeout=.3
model_timeout=1.0
tool_timeout=2.0

Установить единый тайм-аут 12 секунд на весь запрос и считать задержку инструмента частью модели Задать отдельные тайм-ауты, асинхронность или очередь и понятный ответ при незавершённом действии Измерять только среднее время и увеличивать тайм-аут после жалоб пользователей Ждать инструмент до ответа, потому что незавершённое действие опаснее нарушения SLA

Вопрос 17 из 20

Модель уверенно отвечает, хотя поиск вернул ноль документов. Какой контракт нужен?

if not hits:
    return {"status":"insufficient_evidence","answer":None,"sources":[]}

Сгенерировать справочный ответ из внутренних знаний модели с явной пометкой о низкой уверенности Повторить поиск с более широкими настройками и всегда выбрать лучший найденный фрагмент Разрешить ответ без источника, если модель формулирует его уверенно и последовательно При отсутствии основания вернуть `insufficient_evidence`, а не свободно дополнять факты

Вопрос 18 из 20

Какой подход ограничивает радиус отказа нового инструмента?

Канареечный доступ для малой группы, минимальные права, квота и отдельный выключатель Использовать общий выключатель сервиса, чтобы при проблеме отключить всю систему Дать административный доступ, но ограничить число вызовов в минуту Включить инструмент всем пользователям в режиме только чтения, даже если он имеет побочные эффекты

Вопрос 19 из 20

После запуска выросла доля ручных исправлений, но офлайн-метрика стабильна. Что это показывает?

Нужно прекратить собирать исправления, если они не входят в исходный контрольный набор Рабочий поток или распределение запросов изменились, а офлайн-набор не отражает текущий вред Стабильная офлайн-метрика означает, что проблема находится только в интерфейсе Пользовательские исправления менее надёжны, чем офлайн-метрика, поэтому их можно считать шумом

Вопрос 20 из 20

Какой итоговый принцип лучше всего описывает зрелую архитектуру с ИИ?

system = compose(router,retrieval,model,validators,tool_gateway,observability,fallback,governance)

Модель должна иметь достаточно полномочий, чтобы самостоятельно компенсировать ошибки интеграций Модель выполняет ограниченную роль, а данные, права, проверки и наблюдаемость задаются независимыми компонентами Длинная системная инструкция может заменить раздельные права, шлюзы и контроль результатов Архитектура завершена после первого успешного ответа

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу