🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний ·

Как работают языковые модели

Языковая модель строит распределение вероятностей следующего токена, опираясь на предыдущий контекст и обученные представления. Из этого механизма вырастают и связный текст, и ошибки: модель не обязана знать истину и чувствительна к способу генерации. Вопросы требуют читать вероятности, маски, обучающие пары и параметры декодирования.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Токенизатор вернул шесть идентификаторов для фразы из четырёх слов. Что из этого следует?

text = "Модель отвечает довольно уверенно"
ids = tokenizer.encode(text)
print(len(text.split()), len(ids))

Некоторые слова или пробелы были разбиты на подсловные токены; противоречия нет Шесть идентификаторов означают ошибку: число токенов должно совпадать с числом слов До подачи в модель токенизатор потерял два слова и заменил их служебными метками Каждый идентификатор представляет отдельное предложение, поэтому фраза была разделена неверно

Вопрос 2 из 20

Что произойдёт после умножения матрицы весов внимания A на V?

A.shape == (T, T)
V.shape == (T, d)
Y = A @ V

Для каждой позиции получится взвешенная смесь векторов значений Операция сразу вычисляет функцию потерь по правильным токенам После умножения восстанавливаются исходные строки, поскольку A хранит порядок слов Матрица A изменяет параметры V и сохраняет новые веса в модели

Вопрос 3 из 20

Как формируется цель при обычном авторегрессионном обучении на последовательности `[A, B, C, D]`?

input_ids = [A, B, C]
target_ids = [B, C, D]

Обучение использует только последний элемент D как сводную цель для всего префикса На каждой позиции модель воспроизводит текущий токен, не используя сдвиг цели Целевая последовательность случайно переставляется, чтобы модель не запоминала порядок Модель видит префиксы и учится предсказывать следующий элемент: после A — B, после A,B — C

Вопрос 4 из 20

Логиты трёх токенов равны `[4, 2, 1]`. Что обычно делает очень низкая температура?

p_i=\operatorname{softmax}(z_i/T)

probs = softmax(logits / temperature)

Низкая температура выравнивает вероятности и делает выбор токенов почти случайным Более острое распределение автоматически увеличивает максимальную длину последовательности Изменение температуры подключает более точные внешние знания модели Распределение становится более острым, и первый токен выбирается почти всегда

Вопрос 5 из 20

Почему строка с редким химическим названием может занимать больше токенов, чем такая же по числу символов бытовая фраза?

Научные термины удаляются как редкие элементы и заменяются одним неизвестным токеном Редкое название чаще дробится на подслова, которых нет целиком в словаре Каждая буква бытовой фразы обрабатывается отдельной моделью, а химическое название — одной Число токенов определяется байтовой длиной, поэтому строки равной длины должны совпасть

Вопрос 6 из 20

Зачем в decoder используется причинная маска во время обучения, когда весь правильный текст уже загружен в память?

mask = torch.triu(torch.ones(T, T), diagonal=1).bool()
scores = scores.masked_fill(mask, -float("inf"))

Маска случайно меняет порядок предложений, чтобы модель не копировала обучающий текст Причинная маска удаляет все прошлые токены и оставляет только текущий для предсказания Чтобы позиция не подсмотрела будущий правильный токен, который должна предсказать Она блокирует обратное распространение через будущие позиции, но разрешает видеть их значения

Вопрос 7 из 20

Модель уверенно продолжила вымышленную фамилию правдоподобной биографией. Почему высокая вероятность токенов не доказывает истинность?

Модель оценивает правдоподобное продолжение по статистике текста Softmax сравнивает каждый факт с внешним реестром перед нормализацией вероятностей Высокая вероятность токенов является формальным подтверждением истинности биографического утверждения Вероятное продолжение означает, что вся фраза дословно присутствовала в обучающих данных

Вопрос 8 из 20

После `decode(encode(text))` добавился пробел перед знаком препинания. Какой вывод наиболее осторожен?

ids = tokenizer.encode("Привет, мир!")
restored = tokenizer.decode(ids)
print(repr(restored))

Любой корректный токенизатор обязан побайтно восстанавливать строку, включая пробелы и нормализацию Изменение пробела показывает, что encode переписал веса эмбеддингов модели Нужно проверить правила конкретного токенизатора: обратное преобразование не всегда сохраняет строку побайтно Число токенов обязано совпадать с числом слов, иначе decode считается некорректным

Вопрос 9 из 20

Что означает несколько голов внимания в одном слое?

attn = nn.MultiheadAttention(embed_dim=768, num_heads=12, batch_first=True)

Каждая голова — отдельная языковая модель со своим словарём и независимым обучением Число голов определяет, сколько правильных продолжений хранится для каждого префикса Параллельные проекции могут учиться разным схемам связей, после чего их результаты объединяются Головы разделяют символы по типу: одна обрабатывает буквы, другая цифры по фиксированному правилу

Вопрос 10 из 20

Top-k=3 применён к распределению из 50 тысяч токенов. Что меняется перед выбором?

top_values, top_ids = torch.topk(logits, k=3)
next_id = sample(softmax(top_values))

Остаются три токена с наибольшей вероятностью, остальные исключаются и вероятности перенормируются Оставляются три самых длинных токена, поскольку они несут больше контекста Из исходного контекста сохраняются только три последних токена перед генерацией Модель запускается три раза, а вероятности продолжений усредняются

Вопрос 11 из 20

Специальный токен конца последовательности получил максимальную вероятность. Что обычно делает генератор?

EOS удаляет весь уже созданный текст, поскольку последовательность считается незавершённой Выбор EOS запускает новый цикл обучения на сгенерированном ответе Генератор удваивает контекстное окно, чтобы проверить необходимость продолжения Завершает ответ, если этот токен настроен как EOS

Вопрос 12 из 20

Почему веса внимания после softmax по строке обычно суммируются в единицу?

scores = torch.tensor([2.0, 0.0, -1.0])
weights = torch.softmax(scores, dim=-1)
print(weights.sum())

Нормировка следует из единичной длины каждого вектора V Причинная маска назначает всем разрешённым позициям одинаковые веса Softmax превращает оценки в нормированные положительные коэффициенты смешивания Сумма равна единице, потому что матрица запросов Q изначально единичная

Вопрос 13 из 20

Loss на правильном токене равен `-log(0.8)` в одном примере и `-log(0.1)` в другом. Какой пример штрафуется сильнее?

L=-\log p(y\mid x)

loss_a = -math.log(0.8)
loss_b = -math.log(0.1)

Первый пример штрафуется сильнее, поскольку log(0,8) по модулю больше log(0,1) Кросс-энтропия зависит только от индекса токена, а не от присвоенной вероятности Второй: модель дала правильному токену лишь 0,1 вероятности Оба примера имеют одинаковую потерю, потому что правильный токен в итоге выбран

Вопрос 14 из 20

Почему два разных токенизатора нельзя без преобразования подставить к одной и той же обученной модели?

Одинаковый числовой идентификатор имеет одно значение во всех словарях и моделях Токенизатор применяется после генерации только для обратного преобразования ids в текст Модель получает исходные символы параллельно с ids и может игнорировать несовместимый словарь Идентификаторы привязаны к конкретному словарю и таблице эмбеддингов модели

Вопрос 15 из 20

В обычном чате пользователь сообщил новый факт. Что происходит без отдельного дообучения или памяти?

Новый факт автоматически попадает в общий обучающий корпус после завершения диалога Факт может использоваться в текущем контексте, но веса модели от сообщения не переписываются Каждый неизвестный токен добавляет новый слой, который хранит сообщённый факт Сообщение немедленно обновляет веса и становится знанием для всех последующих пользователей

Вопрос 16 из 20

Почему teacher forcing создаёт различие между обучением и свободной генерацией?

for t in range(T):
    logits = model(prefix=gold_tokens[:t])

В свободной генерации веса случайно меняются после каждого выбранного токена На обучении следующий шаг получает правильный предыдущий токен, а при генерации — собственный, возможно ошибочный При teacher forcing модель не получает текст и обучается только по градиентам выходного слоя Teacher forcing отключает функцию потерь, поскольку правильный ответ уже известен

Вопрос 17 из 20

В causal attention у позиции 3 веса на позиции 4 и 5 после маски должны быть какими?

scores = [1.2, 0.4, 2.1, -inf, -inf]
weights = softmax(scores)

Будущие позиции получают максимальный вес, чтобы сеть быстрее училась полной последовательности Их веса равны весу первой позиции и не зависят от маски или логитов Нулевыми после softmax, потому что это будущие позиции После softmax будущие позиции получают отрицательные вероятности, компенсирующие прошлые

Вопрос 18 из 20

Что означает perplexity 10 в упрощённой интерпретации?

\operatorname{PPL}=e^{\frac{1}{N}\sum_i -\log p(x_i)}

perplexity = math.exp(mean_cross_entropy)

Средняя неопределённость сопоставима с выбором примерно из десяти равновероятных вариантов при той же токенизации и выборке Показатель равен примерно десяти ошибочным токенам на каждые сто токенов контрольного текста Вероятность верного продолжения близка к 10% для любого токена независимо от распределения словаря Perplexity 10 означает, что модель в среднем выбирает одно продолжение из десяти кандидатов и всегда угадывает его правильно

Вопрос 19 из 20

Почему beam search с большим beam не гарантирует лучший диалоговый ответ?

Большой beam добавляет случайность и поэтому делает ответы разнообразнее Увеличение beam меняет обучающие данные и тем самым улучшает параметры модели Beam search проверяет кандидатов по внешним источникам и выбирает наиболее фактический Он сильнее ищет высоковероятную последовательность, но может усиливать шаблонность и не оптимизирует полезность разговора

Вопрос 20 из 20

Модель должна вернуть валидный JSON. Какой набор мер надёжнее одной фразы «пиши JSON»?

raw = model.generate(prompt, temperature=0)
data = json.loads(raw)
validate(instance=data, schema=SCHEMA)

Удалять кавычки после генерации, полагаясь на автоматическое восстановление типов Выбирать самый длинный ответ: подробный JSON с большей вероятностью содержит все поля Повысить температуру, чтобы модель перебрала больше способов записать JSON, и не проверять результат Схема или ограниченное декодирование, низкая случайность, проверка парсером и повтор при ошибке

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу