🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Сложный ·

Глубокое обучение и архитектуры сетей

Архитектура задаёт не престиж модели, а способ использовать структуру данных. Свёртки хорошо извлекают локальные закономерности изображения, рекуррентные сети передают состояние по последовательности, а трансформеры связывают позиции через внимание. Тест требует читать формы тензоров и выбирать архитектуру под ограничения, а не по моде.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Почему свёртка полезна для изображений?

Для каждого положения обучается отдельный набор весов, поэтому сеть может учитывать местные различия Перед применением свёртки каждый пиксель должен иметь отдельную текстовую метку Свёртка специально разрушает пространственное соседство, чтобы признаки не зависели от позиции Один набор локальных весов ищет одинаковый признак в разных позициях

Вопрос 2 из 20

Какова форма выхода Conv2d(3, 16, kernel_size=3, padding=1) для пакета (8, 3, 64, 64)?

layer = nn.Conv2d(3, 16, kernel_size=3, padding=1)
x = torch.randn(8, 3, 64, 64)
y = layer(x)

(8, 3, 62, 62) (16, 8, 64, 64) (8, 16, 64, 64) (8, 16, 62, 62)

Вопрос 3 из 20

Зачем трансформеру позиционные представления или другой механизм порядка?

Токены поступают в трансформер без числовых представлений, а позиции создают сами векторы Softmax сортирует токены и тем самым удаляет исходный порядок последовательности Само внимание без них одинаково относится к перестановке токенов Позиционные признаки нужны лишь при разбиении изображения на участки, но не для текста

Вопрос 4 из 20

Для классификации коротких табличных данных из 20 числовых признаков выбирают исходную модель. Какой вариант разумнее поставить базовым?

X.shape == (12000, 20)
y.shape == (12000,)
latency_limit_ms = 5
training_budget = "one_gpu_hour"

Небольшой многослойный перцептрон или сильную табличную модель Подать столбцы в RNN по алфавиту, чтобы порядок признаков стал устойчивым Большой трансформер без предварительного обучения, чтобы модель сама обнаружила связи между двадцатью признаками Свернуть признаки в квадратную матрицу и применить CNN, считая соседство столбцов пространственным

Вопрос 5 из 20

Как влияет stride=2 в этой свёртке?

down = nn.Conv2d(32, 64, kernel_size=3, stride=2, padding=1)

Stride создаёт причинную маску и запрещает свёртке учитывать последующие пиксели Шаг 2 фиксирует ядро и запрещает обновлять его веса во время обучения Примерно вдвое уменьшает пространственный размер по каждой оси Stride=2 удваивает число каналов, сохраняя высоту и ширину карты признаков

Вопрос 6 из 20

Что хранит hidden state простой RNN?

В нём заранее находятся будущие токены, которые сеть ещё не обработала Сжатую информацию о ранее обработанной части последовательности Это внутреннее состояние оптимизатора с моментами градиента для параметров RNN Hidden state хранит правильные метки всех элементов последовательности для расчёта loss

Вопрос 7 из 20

Что делает causal mask в decoder self-attention?

mask = torch.triu(torch.ones(T, T), diagonal=1).bool()
scores = scores.masked_fill(mask, float("-inf"))

Запрещает позиции смотреть на будущие токены при обучении генерации Она оставляет ненулевым только внимание позиции к самой себе на всех слоях Causal mask заменяет softmax на ReLU для будущих элементов Маска удаляет предыдущие токены, чтобы каждый выход зависел только от текущего

Вопрос 8 из 20

Модель должна отвечать на устройстве за 20 мс без сети. Как это влияет на выбор?

Увеличить контекст независимо от доступной памяти, чтобы сократить число обращений к модели Выбирать модель только по серверной accuracy: задержку на устройстве можно оценить после выпуска Число параметров почти не влияет на память и время вывода на конкретном устройстве Нужны компактность, измеренная задержка и, возможно, квантование или дистилляция

Вопрос 9 из 20

Чему пропорциональна память матрицы полного self-attention по длине T?

\text{memory}=O(T^2)

scores = Q @ K.transpose(-1, -2)

Не зависит от T log T T T²

Вопрос 10 из 20

Почему одна RNN может хуже обрабатывать очень длинные зависимости?

Сигнал и градиент многократно проходят через последовательные шаги и могут затухать Длинные зависимости трудны, потому что у RNN недостаточно обучаемых параметров для хранения состояния RNN сравнивает все позиции параллельно, и дальние элементы мешают друг другу одинаково Последовательная сеть всегда получает вход длины один и не может увидеть больше токена

Вопрос 11 из 20

Как увеличивается receptive field при стеке свёрток 3×3 со stride 1?

x = conv3x3_1(image)
x = relu(x)
x = conv3x3_2(x)
x = relu(x)
x = conv3x3_3(x)

Каждая свёртка уменьшает область зависимости на два пикселя по каждой оси Каждый следующий слой добавляет контекст вокруг уже собранных признаков Receptive field определяется только числом каналов и не зависит от глубины После любого числа слоёв выходной нейрон зависит ровно от одного исходного пикселя

Вопрос 12 из 20

Как обработать пакет последовательностей разной длины без влияния padding на результат?

attention_mask = (token_ids != PAD_ID)
out = model(token_ids, attention_mask=attention_mask)

Считать padding обычными токенами и обучить сеть самостоятельно игнорировать их Усреднить скрытые состояния вместе с нулевыми позициями без маски, полагаясь на малую долю padding Отсортировать символы внутри строк, чтобы все последовательности имели похожее начало Передать маску или использовать упаковку последовательностей

Вопрос 13 из 20

Что вычисляет одна голова self-attention?

A=\operatorname{softmax}(QK^T/\sqrt{d_k})

A = softmax((Q @ K.T) / sqrt(d_k), axis=-1)
Y = A @ V

Взвешенную сумму V, где веса получены из сходства Q и K Голова усредняет все токены с одинаковыми весами, а различия появляются только после неё Результатом является случайная перестановка V, определяемая начальными весами Она вычисляет градиент функции потерь для каждого токена во время прямого прохода

Вопрос 14 из 20

У компании 800 размеченных снимков. Как разумно начать?

Обучать очень глубокую CNN с нуля: небольшая выборка уменьшит риск переобучения Выбрать архитектуру по длине названия как приближению её сложности Скопировать каждый снимок в test, чтобы контрольный набор был сопоставим по размеру с train Использовать перенос с предварительно обученной визуальной модели и строгую проверку

Вопрос 15 из 20

Чем max pooling отличается от обучаемой свёртки?

x = torch.randn(8, 32, 64, 64)
pool = nn.MaxPool2d(kernel_size=2, stride=2)
y = pool(x)
print(x.shape, y.shape)

Max pooling создаёт новые классы признаков, выбирая разные максимумы в каждом окне Он выбирает максимум в локальном окне и обычно не имеет обучаемых весов Pooling увеличивает пространственное разрешение, повторяя максимальный пиксель окна Он отличается использованием запросов, ключей и значений, как в механизме внимания

Вопрос 16 из 20

Почему bidirectional RNN нельзя напрямую использовать для потокового предсказания текущего токена без задержки?

Двунаправленная сеть не использует прошлые элементы, поэтому текущий вывод основан только на будущем Два направления взаимно компенсируют скрытые состояния и дают нулевой потоковый выход Потоковые наблюдения нельзя представить числами, требуемыми двунаправленной RNN Обратное направление требует будущих элементов последовательности

Вопрос 17 из 20

В encoder-only трансформере обычно разрешено двунаправленное внимание. Для какой задачи это естественно?

Управление мотором без наблюдений, поскольку encoder-only не требует входной последовательности Сортировка изображений по размеру файла без анализа их содержания Классификация целого документа по всему доступному тексту Авторегрессионная генерация следующего токена, где доступ к будущему допустим во время вывода

Вопрос 18 из 20

Две модели имеют одинаковое качество, но одна потребляет в четыре раза больше памяти. Что предпочтительнее при прочих равных?

Отдать предпочтение модели с более длинным названием как признаку сложной архитектуры Более компактная модель, если она удовлетворяет всем требованиям Не учитывать память, если итоговая метрика качества совпадает до округления Выбрать более крупную модель: дополнительная память сама по себе повышает надёжность

Вопрос 19 из 20

Зачем в CNN увеличивают число каналов на более глубоких уровнях?

features = nn.Sequential(
  nn.Conv2d(3, 32, 3, padding=1),
  nn.MaxPool2d(2),
  nn.Conv2d(32, 64, 3, padding=1),
  nn.MaxPool2d(2)
)

Чтобы представлять множество более сложных признаков при уменьшенном пространственном разрешении Больше каналов нужно для точного восстановления исходных пикселей без преобразований Каналы заменяют обучающую выборку и хранят примеры прямо внутри слоя Рост числа каналов позволяет отказаться от нелинейностей на глубоких уровнях

Вопрос 20 из 20

Какой подход лучше для документа длиной 200 тысяч токенов при ограниченной памяти?

Применить полное внимание ко всем парам токенов и компенсировать память меньшим размером пакета Обрабатывать каждый токен независимо без памяти и затем выбирать самый частый локальный ответ Рассмотреть разбиение, иерархическую обработку или разреженное внимание вместо полного T² Удалить позиционные признаки, чтобы документ занимал меньше памяти при той же архитектуре

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу