🤖 ИИ  ·  20 вопросов  ·  ~45 мин  ·  ⏱ Таймер 45:00  ·  Сложный  · 

Обучение с подкреплением

В обучении с подкреплением агент не получает готовый правильный ответ для каждого шага. Он действует, наблюдает последствия и учится максимизировать долгосрочную награду. Ошибочная награда, недостаточное исследование или небезопасная среда могут научить совсем не тому поведению, которое имелось в виду.

Отвечено: 0 из 20
⏱ --:--
0%
💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.
Вопрос 1 из 20
В цикле управления робот получает кадр, вычисляет команду и передаёт её среде. Какая величина в этом фрагменте является действием агента?
Python
camera_frame = camera.read()
wheel_command = policy(camera_frame)
next_frame, reward = room.step(wheel_command)
Вопрос 2 из 20
Какой недостаток у такой награды для уборочного робота?
Python
reward = 0
if picked_item:
    reward += 1
Вопрос 3 из 20
При ε = 0 агент всегда выбирает действие с максимальным текущим Q. Какой риск возникает?
Вопрос 4 из 20
Что выбирает эта политика в состоянии s?
Python
def policy(s):
    return np.argmax(Q[s])
Вопрос 5 из 20
Почему наблюдение может быть не равно полному состоянию?
Вопрос 6 из 20
Чему равна дисконтированная сумма для наград 1, 1, 1 при γ = 0.5?
G_t=\sum_{k=0}^{\infty}\gamma^k r_{t+k+1}
Python
rewards = [1, 1, 1]
gamma = 0.5
G = sum((gamma**t) * r for t, r in enumerate(rewards))
print(G)
Вопрос 7 из 20
Как работает ε-жадный выбор?
Python
if random.random() < epsilon:
    action = random.choice(actions)
else:
    action = np.argmax(Q[state])
Вопрос 8 из 20
В игре агент видит только текущий счёт, но не положение фигур. Почему задача плохо определена?
Вопрос 9 из 20
Как изменится цель при γ, близком к нулю?
Python
target = reward + gamma * max(Q[next_state])
Вопрос 10 из 20
Почему оптимистичные начальные Q-значения иногда стимулируют исследование?
Вопрос 11 из 20
Когда начинается новый эпизод?
Вопрос 12 из 20
Что не так с наградой рекламного агента, равной только числу кликов?
Вопрос 13 из 20
Какой выбор лучше отражает исследование на основе неопределённости?
Python
ucb = mean_reward + c * np.sqrt(np.log(total_steps) / action_counts)
action = np.argmax(ucb)
Вопрос 14 из 20
Что оценивает Q(s, a)?
Вопрос 15 из 20
Какой вариант формирует награду осторожнее?
Python
reward = goal_reward
reward += 0.01 * (distance_before - distance_after)
reward -= collision_penalty
Вопрос 16 из 20
Почему опыт из журнала старой политики можно использовать в off-policy Q-learning?
Вопрос 17 из 20
Что произойдёт при этом обновлении, если reward = 2, γ = 0.9, max_next = 5, old = 3, α = 0.5?
Q\leftarrow Q+\alpha[r+\gamma\max_{a'}Q(s',a')-Q]
Python
target = reward + gamma * max_next
new = old + alpha * (target - old)
Вопрос 18 из 20
Почему нельзя сразу разрешать новому агенту управлять реальным промышленным оборудованием?
Вопрос 19 из 20
Какое различие между политикой и Q-функцией показано в коде?
Python
def policy(state, epsilon):
    if rng.random() < epsilon:
        return rng.choice(actions)
    return np.argmax(Q[state])
Вопрос 20 из 20
Агент научился завершать задачу быстрее, но чаще нарушает мягкое ограничение безопасности. Что делать?

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу