🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Сложный ·

Нейронные сети без мифов

Нейронная сеть — это вычислительная модель с параметрами, а не цифровой мозг в буквальном смысле. Её поведение складывается из матричных преобразований, нелинейностей, функции потерь и обновления весов. Тест требует проследить формы тензоров, вычислить короткие проходы и объяснить, почему обучение иногда останавливается или становится нестабильным.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Слой Linear(8, 3) получает пакет формы (32, 8). Какова форма выхода?

(3, 8) (8, 3) (32, 3) (32, 8, 3)

Вопрос 2 из 20

Чему равен выход нейрона до активации?

x = np.array([1., 2.])
w = np.array([2., -1.])
b = 3.
z = x @ w + b
print(z)

2 1 3 5

Вопрос 3 из 20

Почему для многоклассовой классификации с единственным классом обычно используют cross-entropy по логитам?

Она сопоставляет распределение логитов с индексом истинного класса и даёт удобный градиент Перед расчётом потери округлить логиты до целых классов и сравнить их с меткой Cross-entropy зависит только от суммы логитов и не использует индекс правильного класса Значение cross-entropy численно совпадает с accuracy на каждом отдельном объекте

Вопрос 4 из 20

Что произойдёт, если забыть optimizer.zero_grad() в обычном цикле?

for x, y in loader:
    pred = model(x)
    loss = criterion(pred, y)
    loss.backward()
    optimizer.step()

Накопленные градиенты компенсируют друг друга, и loss автоматически станет нулевой Градиенты будут накапливаться между пакетами Без zero_grad прямой проход не запустится, потому что граф предыдущего пакета останется активным После накопления градиента параметры будут удалены и созданы заново на следующем пакете

Вопрос 5 из 20

Сколько обучаемых параметров в Linear(5, 4) со смещением?

5\times4+4=24

x = torch.randn(16, 5)
layer = nn.Linear(in_features=5, out_features=4)
y = layer(x)
print(y.shape)

24 4 20 9

Вопрос 6 из 20

Почему ReLU делает два линейных слоя способными выражать нелинейную зависимость?

h = np.maximum(0, X @ W1 + b1)
out = h @ W2 + b2

Нелинейность возникает потому, что ReLU сортирует признаки по величине перед следующим слоем После ReLU любой выход можно интерпретировать как вероятность класса ReLU добавляет к каждому пакету новые обучающие примеры с нулевыми значениями Она разрывает свёртку линейных преобразований в одно линейное преобразование

Вопрос 7 из 20

Почему loss может быть низкой при плохой полноте редкого класса?

Доминирующий класс может определять среднюю потерю, если ошибки не взвешены Полнота редкого класса определяется числом слоёв, а не ошибками на его объектах Редкие классы автоматически исключаются из среднего loss при дисбалансе Функция потерь не использует целевые метки и поэтому не замечает редкий класс

Вопрос 8 из 20

Что является обучаемым параметром в обычном полносвязном слое?

Порядок строк контрольного набора, который влияет на последовательность прогнозов Матрица весов и вектор смещений Число эпох, потому что оно определяет, сколько раз слой обновляет параметры Размер пакета, поскольку от него зависит число значений, проходящих через слой

Вопрос 9 из 20

Почему этот softmax численно опасен?

logits = np.array([1000., 999., 998.])
probs = np.exp(logits) / np.exp(logits).sum()

exp(1000) переполнится; перед экспонентой нужно вычесть максимум логитов Все логиты перед softmax должны быть отрицательными для численной устойчивости Softmax определён только для двух классов; при трёх нужно применять sigmoid отдельно Сумма вероятностей после softmax должна превышать единицу, чтобы сохранить большие логиты

Вопрос 10 из 20

В режиме eval у сети с dropout что меняется?

model.eval()
with torch.no_grad():
    pred = model(x)

Режим eval удаляет случайно отключённые веса и оставляет только активную часть сети Dropout перестаёт случайно занулять активации При вызове eval автоматически выполняется backward по последнему вычисленному loss Отключение dropout превращает все активации в нули для сохранения среднего масштаба

Вопрос 11 из 20

Зачем нейрону смещение b?

Размер b задаёт число объектов в пакете и меняется при каждом вызове Смещение хранит целевые метки, соответствующие каждому выходному нейрону Оно позволяет сдвинуть границу и выдавать ненулевой результат при нулевом входе Вектор b заменяет нелинейную функцию и сам ограничивает диапазон выхода

Вопрос 12 из 20

Что делает softmax с логитами?

p = np.exp(z - z.max())
p = p / p.sum()

Softmax вычисляет градиенты весов и обновляет параметры выходного слоя Он удаляет максимальный логит, чтобы остальные значения стали положительными Преобразует их в положительные числа с суммой 1, сохраняя порядок Softmax выбирает истинный класс и исправляет ошибочные логиты до расчёта loss

Вопрос 13 из 20

Какой loss подходит для регрессии температуры одним числом?

BLEU между строковым представлением прогноза и фактической температурой MSE или MAE в зависимости от цены крупных ошибок IoU областей под графиками прогнозируемой и истинной температуры Категориальная cross-entropy по заранее созданным интервалам температуры без изменения постановки задачи

Вопрос 14 из 20

Если все веса симметричных скрытых нейронов инициализировать одинаково, что произойдёт?

W1 = np.zeros((input_dim, hidden_dim))
b1 = np.zeros(hidden_dim)
h = np.maximum(0, X @ W1 + b1)
print(h.var(axis=0))

Они будут получать одинаковые градиенты и не научатся разным признакам Симметричные нейроны начнут ветвиться как узлы дерева решений Нейроны сами разделят роли, потому что получат разные входные объекты из пакета Одинаковая инициализация удвоит число параметров после первого обновления

Вопрос 15 из 20

Почему глубокая сеть не является буквальной копией биологического мозга?

Главное отличие в том, что искусственные сети используют числа, а биологические нейроны — нет В мозге нет связей, аналогичных весам между искусственными нейронами Это математическая абстракция с сильно упрощёнными операциями и другим способом обучения Сравнивать искусственные сети с биологическими процессами нельзя ни на каком уровне

Вопрос 16 из 20

Что произойдёт после backward, но до optimizer.step?

loss.backward()
print(weight.grad)
print(weight)

Вычисленные градиенты переносят обработанный пакет из train в test После backward модель автоматически переключается в eval и замораживает параметры Будут вычислены градиенты, но значения параметров ещё не изменятся Веса обновляются уже во время backward, а optimizer.step только очищает градиенты

Вопрос 17 из 20

Чему равен ReLU для входов [-2, 0.5, 3]?

x = np.array([-2., 0.5, 3.])
y = np.maximum(0, x)

[2, 0.5, 3] [0, 1, 1] [0, 0.5, 3] [-2, 0.5, 3]

Вопрос 18 из 20

Какой скорость обучения наиболее подозрителен по журналу?

epoch  loss   grad_norm
1      2.1    8
2      7.8    31
3      45.0   190
4      nan    nan

Плавное снижение loss указывает на слишком большой шаг, который скоро станет неустойчивым Любое значение меньше единицы слишком мало для заметного обновления весов Подозрителен любой скорость обучения, явно записанный в конфигурации вместо вычисления моделью Тот, при котором loss прыгает и растёт, а нормы весов быстро увеличиваются

Вопрос 19 из 20

Что означает градиент ∂L/∂w = 4 при текущем w?

w_{new}=w-\eta\frac{\partial L}{\partial w}

loss = objective(batch, w)
grad = compute_gradient(loss, w)
w_before = w.copy()
w = w - lr * grad
step_norm = np.linalg.norm(w - w_before)

Градиент 4 означает, что текущее значение функции потерь равно четырём Число 4 является вероятностью класса до нормализации softmax Малое увеличение w увеличит loss примерно на 4·Δw; градиентный спуск пойдёт в отрицательную сторону При обновлении вес нужно сразу установить равным четырём независимо от α и направления шага

Вопрос 20 из 20

Почему validation loss растёт, пока training loss падает?

Сеть начинает подгонять особенности обучения и хуже обобщает Softmax начал выдавать вероятности с суммой, отличной от единицы Рост validation loss означает, что обратное распространение перестало вычислять градиенты После нескольких эпох контрольные объекты автоматически присоединились к обучающим

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу