🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний ·

Как работают языковые модели

Языковая модель строит распределение вероятностей следующего токена, опираясь на предыдущий контекст и обученные представления. Из этого механизма вырастают и связный текст, и ошибки: модель не обязана знать истину и чувствительна к способу генерации. Вопросы требуют читать вероятности, маски, обучающие пары и параметры декодирования.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Токенизатор вернул шесть идентификаторов для фразы из четырёх слов. Что из этого следует?

text = "Модель отвечает довольно уверенно"
ids = tokenizer.encode(text)
print(len(text.split()), len(ids))

Каждый идентификатор представляет отдельное предложение, поэтому фраза была разделена неверно Некоторые слова или пробелы были разбиты на подсловные токены; противоречия нет Шесть идентификаторов означают ошибку: число токенов должно совпадать с числом слов До подачи в модель токенизатор потерял два слова и заменил их служебными метками

Вопрос 2 из 20

Что произойдёт после умножения матрицы весов внимания A на V?

A.shape == (T, T)
V.shape == (T, d)
Y = A @ V

Для каждой позиции получится взвешенная смесь векторов значений Операция сразу вычисляет функцию потерь по правильным токенам После умножения восстанавливаются исходные строки, поскольку A хранит порядок слов Матрица A изменяет параметры V и сохраняет новые веса в модели

Вопрос 3 из 20

Как формируется цель при обычном авторегрессионном обучении на последовательности `[A, B, C, D]`?

input_ids = [A, B, C]
target_ids = [B, C, D]

Целевая последовательность случайно переставляется, чтобы модель не запоминала порядок Модель видит префиксы и учится предсказывать следующий элемент: после A — B, после A,B — C На каждой позиции модель воспроизводит текущий токен, не используя сдвиг цели Обучение использует только последний элемент D как сводную цель для всего префикса

Вопрос 4 из 20

Логиты трёх токенов равны `[4, 2, 1]`. Что обычно делает очень низкая температура?

p_i=\operatorname{softmax}(z_i/T)

probs = softmax(logits / temperature)

Изменение температуры подключает более точные внешние знания модели Низкая температура выравнивает вероятности и делает выбор токенов почти случайным Распределение становится более острым, и первый токен выбирается почти всегда Более острое распределение автоматически увеличивает максимальную длину последовательности

Вопрос 5 из 20

Почему строка с редким химическим названием может занимать больше токенов, чем такая же по числу символов бытовая фраза?

Редкое название чаще дробится на подслова, которых нет целиком в словаре Число токенов определяется байтовой длиной, поэтому строки равной длины должны совпасть Научные термины удаляются как редкие элементы и заменяются одним неизвестным токеном Каждая буква бытовой фразы обрабатывается отдельной моделью, а химическое название — одной

Вопрос 6 из 20

Зачем в decoder используется причинная маска во время обучения, когда весь правильный текст уже загружен в память?

mask = torch.triu(torch.ones(T, T), diagonal=1).bool()
scores = scores.masked_fill(mask, -float("inf"))

Чтобы позиция не подсмотрела будущий правильный токен, который должна предсказать Она блокирует обратное распространение через будущие позиции, но разрешает видеть их значения Причинная маска удаляет все прошлые токены и оставляет только текущий для предсказания Маска случайно меняет порядок предложений, чтобы модель не копировала обучающий текст

Вопрос 7 из 20

Модель уверенно продолжила вымышленную фамилию правдоподобной биографией. Почему высокая вероятность токенов не доказывает истинность?

Высокая вероятность токенов является формальным подтверждением истинности биографического утверждения Модель оценивает правдоподобное продолжение по статистике текста Вероятное продолжение означает, что вся фраза дословно присутствовала в обучающих данных Softmax сравнивает каждый факт с внешним реестром перед нормализацией вероятностей

Вопрос 8 из 20

После `decode(encode(text))` добавился пробел перед знаком препинания. Какой вывод наиболее осторожен?

ids = tokenizer.encode("Привет, мир!")
restored = tokenizer.decode(ids)
print(repr(restored))

Нужно проверить правила конкретного токенизатора: обратное преобразование не всегда сохраняет строку побайтно Число токенов обязано совпадать с числом слов, иначе decode считается некорректным Изменение пробела показывает, что encode переписал веса эмбеддингов модели Любой корректный токенизатор обязан побайтно восстанавливать строку, включая пробелы и нормализацию

Вопрос 9 из 20

Что означает несколько голов внимания в одном слое?

attn = nn.MultiheadAttention(embed_dim=768, num_heads=12, batch_first=True)

Каждая голова — отдельная языковая модель со своим словарём и независимым обучением Головы разделяют символы по типу: одна обрабатывает буквы, другая цифры по фиксированному правилу Параллельные проекции могут учиться разным схемам связей, после чего их результаты объединяются Число голов определяет, сколько правильных продолжений хранится для каждого префикса

Вопрос 10 из 20

Top-k=3 применён к распределению из 50 тысяч токенов. Что меняется перед выбором?

top_values, top_ids = torch.topk(logits, k=3)
next_id = sample(softmax(top_values))

Остаются три токена с наибольшей вероятностью, остальные исключаются и вероятности перенормируются Модель запускается три раза, а вероятности продолжений усредняются Из исходного контекста сохраняются только три последних токена перед генерацией Оставляются три самых длинных токена, поскольку они несут больше контекста

Вопрос 11 из 20

Специальный токен конца последовательности получил максимальную вероятность. Что обычно делает генератор?

EOS удаляет весь уже созданный текст, поскольку последовательность считается незавершённой Выбор EOS запускает новый цикл обучения на сгенерированном ответе Завершает ответ, если этот токен настроен как EOS Генератор удваивает контекстное окно, чтобы проверить необходимость продолжения

Вопрос 12 из 20

Почему веса внимания после softmax по строке обычно суммируются в единицу?

scores = torch.tensor([2.0, 0.0, -1.0])
weights = torch.softmax(scores, dim=-1)
print(weights.sum())

Причинная маска назначает всем разрешённым позициям одинаковые веса Нормировка следует из единичной длины каждого вектора V Softmax превращает оценки в нормированные положительные коэффициенты смешивания Сумма равна единице, потому что матрица запросов Q изначально единичная

Вопрос 13 из 20

Loss на правильном токене равен `-log(0.8)` в одном примере и `-log(0.1)` в другом. Какой пример штрафуется сильнее?

L=-\log p(y\mid x)

loss_a = -math.log(0.8)
loss_b = -math.log(0.1)

Оба примера имеют одинаковую потерю, потому что правильный токен в итоге выбран Кросс-энтропия зависит только от индекса токена, а не от присвоенной вероятности Второй: модель дала правильному токену лишь 0,1 вероятности Первый пример штрафуется сильнее, поскольку log(0,8) по модулю больше log(0,1)

Вопрос 14 из 20

Почему два разных токенизатора нельзя без преобразования подставить к одной и той же обученной модели?

Одинаковый числовой идентификатор имеет одно значение во всех словарях и моделях Модель получает исходные символы параллельно с ids и может игнорировать несовместимый словарь Идентификаторы привязаны к конкретному словарю и таблице эмбеддингов модели Токенизатор применяется после генерации только для обратного преобразования ids в текст

Вопрос 15 из 20

В обычном чате пользователь сообщил новый факт. Что происходит без отдельного дообучения или памяти?

Новый факт автоматически попадает в общий обучающий корпус после завершения диалога Факт может использоваться в текущем контексте, но веса модели от сообщения не переписываются Сообщение немедленно обновляет веса и становится знанием для всех последующих пользователей Каждый неизвестный токен добавляет новый слой, который хранит сообщённый факт

Вопрос 16 из 20

Почему teacher forcing создаёт различие между обучением и свободной генерацией?

for t in range(T):
    logits = model(prefix=gold_tokens[:t])

При teacher forcing модель не получает текст и обучается только по градиентам выходного слоя На обучении следующий шаг получает правильный предыдущий токен, а при генерации — собственный, возможно ошибочный Teacher forcing отключает функцию потерь, поскольку правильный ответ уже известен В свободной генерации веса случайно меняются после каждого выбранного токена

Вопрос 17 из 20

В causal attention у позиции 3 веса на позиции 4 и 5 после маски должны быть какими?

scores = [1.2, 0.4, 2.1, -inf, -inf]
weights = softmax(scores)

Будущие позиции получают максимальный вес, чтобы сеть быстрее училась полной последовательности После softmax будущие позиции получают отрицательные вероятности, компенсирующие прошлые Нулевыми после softmax, потому что это будущие позиции Их веса равны весу первой позиции и не зависят от маски или логитов

Вопрос 18 из 20

Что означает perplexity 10 в упрощённой интерпретации?

\operatorname{PPL}=e^{\frac{1}{N}\sum_i -\log p(x_i)}

perplexity = math.exp(mean_cross_entropy)

Perplexity 10 означает, что модель в среднем выбирает одно продолжение из десяти кандидатов и всегда угадывает его правильно Вероятность верного продолжения близка к 10% для любого токена независимо от распределения словаря Средняя неопределённость сопоставима с выбором примерно из десяти равновероятных вариантов при той же токенизации и выборке Показатель равен примерно десяти ошибочным токенам на каждые сто токенов контрольного текста

Вопрос 19 из 20

Почему beam search с большим beam не гарантирует лучший диалоговый ответ?

Beam search проверяет кандидатов по внешним источникам и выбирает наиболее фактический Он сильнее ищет высоковероятную последовательность, но может усиливать шаблонность и не оптимизирует полезность разговора Увеличение beam меняет обучающие данные и тем самым улучшает параметры модели Большой beam добавляет случайность и поэтому делает ответы разнообразнее

Вопрос 20 из 20

Модель должна вернуть валидный JSON. Какой набор мер надёжнее одной фразы «пиши JSON»?

raw = model.generate(prompt, temperature=0)
data = json.loads(raw)
validate(instance=data, schema=SCHEMA)

Удалять кавычки после генерации, полагаясь на автоматическое восстановление типов Выбирать самый длинный ответ: подробный JSON с большей вероятностью содержит все поля Повысить температуру, чтобы модель перебрала больше способов записать JSON, и не проверять результат Схема или ограниченное декодирование, низкая случайность, проверка парсером и повтор при ошибке

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу