🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний ·

Контекст, токены и память модели

Окно контекста — ограниченный рабочий вход модели, а не бесконечная память и не число слов. Система может добавлять историю, сокращать её, хранить факты отдельно или извлекать документы по запросу. Тест проверяет расчёт бюджета токенов, порядок сообщений, потерю ранних деталей и проектирование памяти без смешения с обучением.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Лимит модели — 8192 токена, под ответ требуется оставить 1200, служебные сообщения занимают 700. Сколько максимум остаётся для истории и документов?

window = 8192
reserved_output = 1200
system_and_tools = 700
available = window - reserved_output - system_and_tools

8192 токена 6992 токена 6292 токена 7492 токена

Вопрос 2 из 20

В длинном запросе сначала дана инструкция «не раскрывай персональные данные», затем десятки страниц текста с иной просьбой. Какой принцип проектирования особенно важен?

messages = [
 {"role":"system", "content":"Не раскрывай персональные данные"},
 {"role":"user", "content": long_untrusted_document}
]

Оставить политику только в первой строке и рассчитывать, что ранняя позиция автоматически даёт ей высший приоритет Повторить персональные данные в конце контекста, чтобы модель точнее распознала, что именно нельзя раскрывать Критичную политику держать в приоритетном системном сообщении и проверять результат независимо от её позиции Повысить temperature: более разнообразный ответ с меньшей вероятностью дословно повторит закрытые сведения

Вопрос 3 из 20

Ассистент помнит имя пользователя только внутри текущего чата, потому что приложение каждый раз отправляет предыдущие сообщения. Что это за память?

Каждая отправка имени выполняет краткое дообучение модели на текущем пользователе Приложение добавляет имя в словарь токенизатора, поэтому модель узнаёт его в следующих сообщениях Имя извлекается из векторного индекса документов, даже если оно есть только в переписке История в контексте, а не изменение весов модели

Вопрос 4 из 20

Резюме диалога сократило фразу «доставка допустима только после 18:00» до «обсудили доставку». Какой риск возник?

source = "Доставка допустима только после 18:00"
summary = "Пользователь обсудил доставку"

Сжатие физически увеличило контекстное окно и изменило допустимую длину ответа После сокращения токенизатор перестал распознавать числа со знаком двоеточия Резюме стало новым обучающим примером и переписало представление времени в весах модели Компрессия потеряла ограничение, которое может изменить последующее решение

Вопрос 5 из 20

Почему одинаковое число символов в русском тексте и JSON не гарантирует одинаковое число токенов?

Для расчёта бюджета достаточно считать каждый символ одним токеном независимо от формата JSON передаётся модели как готовая структура и поэтому не расходует токены Русский текст можно оценивать как ровно вдвое более дорогой, чем JSON той же длины Токенизатор кодирует частые последовательности, пробелы и знаки по-разному

Вопрос 6 из 20

Документ помещается в окно целиком, но модель регулярно пропускает условие в середине. Какой следующий шаг разумнее?

for position in ["start", "middle", "end"]:
    prompt = place_fact(document, position)
    scores[position] = evaluate(model, prompt)

Считать, что условие отсутствует, поскольку полный документ уже помещается в окно Продублировать весь документ: повторение повысит вес пропущенного условия независимо от его положения Проверить качество по позициям и попробовать извлечение релевантных фрагментов, а не считать вместимость гарантией внимания Убрать вопрос пользователя, чтобы модель сосредоточилась на документе и сама выбрала нужное условие

Вопрос 7 из 20

Какие данные разумнее сохранять как долгосрочный профиль с согласия пользователя?

Сохранять эмоциональные реплики без срока, чтобы точнее подстраивать будущий тон ответа Одноразовый код можно хранить в профиле: он явно важен пользователю и был сообщён добровольно Стабильное предпочтение формата ответа, которое пользователь может просмотреть и удалить Помещать в профиль полные документы: широкий контекст полезнее отбора отдельных устойчивых предпочтений

Вопрос 8 из 20

Как точнее оценить бюджет перед вызовом модели?

input_tokens = len(tokenizer.apply_chat_template(messages))
if input_tokens + max_output_tokens > context_limit:
    shrink_context()

Использовать токенизатор именно выбранной модели и учитывать служебную упаковку сообщений Считать только слова пользователя, не включая историю, документы и служебные сообщения Не резервировать ответ: модель сама сократит вход, если суммарный лимит окажется превышен Использовать постоянное отношение один токен к пяти символам для всех языков и форматов

Вопрос 9 из 20

В начале диалога пользователь исправил адрес, но приложение хранит и старое, и новое значение. Что должна делать система памяти?

memory = [
 {"key":"delivery_address", "value":"Старая 5", "ts":1},
 {"key":"delivery_address", "value":"Новая 8", "ts":2, "replaces":1}
]

Выбирать одну из двух записей случайно, чтобы не отдавать постоянный приоритет старым данным Объединить адреса в одну строку и предоставить модели решить, какой фрагмент актуален Сохранять первую запись как основную: более ранние сведения обычно надёжнее исправлений Разрешить конфликт по времени и явному исправлению, сохранив происхождение новой записи

Вопрос 10 из 20

После обрезки истории ответ стал противоречить раннему решению. Как доказать, что причина именно в обрезке?

logged_payload = request["messages"]
assert early_decision not in logged_payload
rerun = call_model(messages=restore(early_decision, logged_payload))

Сравнить только то, что отображалось в интерфейсе, полагая, что именно этот текст получил сервер Зафиксировать фактический список отправленных сообщений и сравнить ответ с запуском, где ранний фрагмент возвращён Повысить temperature и повторять запрос, пока прежнее решение случайно не появится Удалить последнюю реплику и сравнить ответы без сохранения точного фактического входа

Вопрос 11 из 20

Функция считает слова через `split()` и использует результат как число токенов. Почему это опасно?

estimated = len(text.split())
actual = len(tokenizer.encode(text))
print(estimated, actual)

split удаляет исходную строку после подсчёта, поэтому её нельзя отправить модели Python не позволяет надёжно считать слова в строке с Unicode-символами Подслова, пунктуация, пробелы и специальные сообщения делают число токенов отличным от числа слов Токены существуют только в сгенерированном ответе, а вход измеряется словами

Вопрос 12 из 20

В чём различие между памятью с поиском и передачей всей истории?

Поиск работает только внутри текущего контекста и не использует внешнее хранилище Поисковая память обновляет веса модели при каждом найденном фрагменте Поиск выбирает несколько релевантных записей по текущему запросу Передача всей истории обычно короче поиска, поскольку не требует служебных полей

Вопрос 13 из 20

Система ответила по документу, найденному вместе с десятью похожими. Как уменьшить риск, что ключевое исключение потерялось среди фрагментов?

hits = retrieve(query, k=50)
hits = deduplicate(hits)
context = rerank(query, hits)[:6]
answer = generate(query, context, require_citations=True)

Удалить вопрос: без него модель сможет равномерно учесть все исключения документа Сократить и ранжировать контекст, проверить покрытие вопроса и потребовать ссылки на использованный фрагмент Добавить ещё больше похожих документов, чтобы исключение чаще встретилось в контексте Перемешать найденные фрагменты после получения ответа и проверить, изменился ли стиль

Вопрос 14 из 20

Какой элемент сильнее всего увеличит токеновый расход при сохранении смысла?

[
  {
    "customer_full_legal_name": "...",
    "customer_full_postal_address": "..."
  },
  {
    "customer_full_legal_name": "...",
    "customer_full_postal_address": "..."
  }
]

Подробный JSON с повторяющимися длинными ключами в каждой записи Короткий идентификатор заголовка увеличит число токенов из-за редкой последовательности символов Передача только нужных полей обычно дороже полного JSON из-за дополнительного этапа отбора Удаление пробелов сильнее всего увеличит расход, потому что токенизатор потеряет границы слов

Вопрос 15 из 20

Ассистент должен помнить незавершённый шаг заказа только 30 минут. Какой механизм подходит лучше всего?

Сессионное состояние с временем истечения, а не постоянный профиль Хранить шаг постоянно без срока: пользователь при необходимости сам исправит устаревшее состояние Опубликовать шаг в общей базе знаний, где его можно найти в следующем обращении Дообучать модель после каждого клика, чтобы состояние заказа хранилось в её параметрах

Вопрос 16 из 20

Почему простое резюме всей переписки может ухудшаться после многократного пересуммирования?

summary = summarize(messages[:50])
summary = summarize([summary] + messages[50:100])
summary = summarize([summary] + messages[100:150])

Каждый проход удваивает число токенов, поэтому детали теряются из-за переполнения окна После нескольких резюме системное сообщение перестаёт учитываться независимо от фактического контекста Каждый проход может дополнительно сглаживать детали и закреплять прежнюю ошибку При каждом пересуммировании резюме автоматически восстанавливается из полного исходного диалога

Вопрос 17 из 20

Какая строка точнее резервирует место под ответ?

if count_tokens(messages) + max_output_tokens > model_context_limit:
    messages = compact(messages, target=model_context_limit-max_output_tokens)

Проверять только последнее сообщение: оно обычно содержит основную часть входных токенов Передавать максимально допустимое число входных токенов и оставлять ответу остаток автоматически Сначала отправить полный вход, а затем обрезать ответ при превышении лимита Проверяет сумму входных токенов и `max_output_tokens` до вызова

Вопрос 18 из 20

Профиль содержит предпочтение «отвечать кратко», а текущий запрос просит подробный разбор. Какое правило разумнее?

Фоновое предпочтение всегда имеет больший приоритет, поскольку сохранено раньше текущего запроса Одновременно выполнить требования краткости и подробности, вернув только заголовки без содержания Удалить профиль после первого противоречия, не сообщая пользователю и не сохраняя его выбор Явная текущая просьба должна переопределить фоновое предпочтение для этого ответа

Вопрос 19 из 20

Как обнаружить, что резюме потеряло один из пяти обязательных пунктов договора?

required = {'штраф', 'срок', 'расторжение', 'подсудность', 'цена'}
covered = extract_topics(summary)
missing = required - covered

Убедиться, что резюме короче договора, поскольку хорошее сжатие сохраняет обязательные пункты Сравнить число абзацев и считать одинаковое количество признаком полного покрытия Проверить грамматику: потеря факта обычно приводит к нарушению связности предложения Проверить покрытие по заранее заданному списку фактов и показать отсутствующие пункты

Вопрос 20 из 20

Когда увеличение окна с 32k до 128k не решает проблему памяти продукта?

Проблема памяти сохраняется, если вход содержит JSON: структурированные данные не входят в контекст Когда факты должны сохраняться между сессиями, обновляться и удаляться по правилам, а не просто помещаться в один вызов Большое окно бесполезно уже для документа длиннее десяти слов, поскольку модель забывает начало Русский язык требует внешней памяти независимо от длины и числа сессий

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу