🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний ·

Мультимодальные модели

Мультимодальная система связывает текст, изображения, звук или видео, но каждый канал имеет собственные ошибки и стоимость. Тест проверяет подготовку разных типов данных, выравнивание представлений, выбор практического конвейера и ограничения, которые нельзя увидеть по одному красивому примеру.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Видео длительностью 10 минут анализируют по одному кадру в секунду. Сколько кадров поступит в модель?

duration_minutes = 10
fps_sampled = 1
frames = duration_minutes * 60 * fps_sampled

60 кадров, если считать только число секунд в одной минуте 600 6000 кадров, если принять частоту выборки за десять кадров в секунду 10 кадров, если брать по одному кадру на каждую минуту видео

Вопрос 2 из 20

Почему подпись «собака бежит» к фотографии спящего кота особенно вредна в парном обучении?

image_vec = image_encoder(image_of_sleeping_cat)
text_vec = text_encoder("собака бежит")
positive_pair_score = cosine_similarity(image_vec, text_vec)
loss = -log_softmax(positive_pair_score)

Несоответствие повышает шум разметки, но модель всё равно может выучить правильную связь по другим примерам Модель получает ложную связь между изображением и текстом и учится сближать несоответствующие объекты Короткая подпись даёт мало текстовых признаков и поэтому сильнее влияет на визуальный энкодер Контрастивная функция потерь распознает несоответствие по смыслу и автоматически исключит такую пару из обучения

Вопрос 3 из 20

Нужно искать товар по фотографии и тексту «такой же, но красный». Какой подход естественнее?

Сравнить изображение с фотографиями каталога, а текст использовать только для сортировки уже найденных совпадений Сначала найти визуально похожие товары, затем отфильтровать результаты по слову «красный» без совместного представления Искать по текстовому описанию цвета и категории, не используя визуальные признаки исходного товара Объединить визуальное представление товара с текстовым условием и искать по совместному запросу

Вопрос 4 из 20

Модель уверенно отвечает по размытому снимку серийного номера. Что должна делать система?

if blur_score(image) > threshold or ocr_confidence < .8:
    return request_better_photo()

Подставить наиболее вероятный номер из истории устройства и пометить его как распознанный Оценивать качество изображения и запрашивать новый снимок, если символы неразличимы Увеличить изображение и снова спросить ту же модель, не оценивая читаемость символов Принять номер, если несколько генераций модели дают одинаковую последовательность символов

Вопрос 5 из 20

Аудио подано с частотой 48 кГц, а модель ожидает 16 кГц. Что нужно сделать?

orig_sr = 48_000
target_sr = 16_000
audio_16k = resample(audio_48k, orig_sr, target_sr)
assert sample_rate(audio_16k) == target_sr

Корректно ресемплировать сигнал и сохранить временную шкалу Изменить заголовок файла на 16 кГц, оставив отсчёты без преобразования Оставить каждый третий отсчёт без фильтрации перед понижением частоты Нормализовать громкость и передать сигнал с исходной частотой, полагаясь на устойчивость модели

Вопрос 6 из 20

В записи встречи транскрипт отстаёт от видео на 4 секунды. Какой этап нарушен?

aligned_text_time = transcript_time - 4.0
frame = video.frame_at(aligned_text_time)

Распознавание языка могло сдвинуть границы фраз, поэтому достаточно повторно определить язык Временное выравнивание аудио, кадров и текста Сдвиг показывает ошибку распознавания языка; временные метки каналов при этом могут оставаться несогласованными Визуальные эмбеддинги кадров нужно нормировать по времени, чтобы совпали длины последовательностей

Вопрос 7 из 20

Система читает счёт: OCR извлёк сумму 18 000, а визуальная модель видит 13 000. Что делать?

Взять среднее 15 500 и пометить результат как приблизительный Отдать предпочтение OCR, поскольку он специализирован на чтении текста, не проверяя исходную область Отметить конфликт, проверить область изображения другим способом или передать человеку Выбрать значение с большей внутренней уверенностью одной из моделей

Вопрос 8 из 20

Фотография имеет форму `(3, 224, 224)`. Что обычно обозначает первая ось?

image_tensor = preprocess(photo)
assert image_tensor.shape == (3, 224, 224)
batch = image_tensor.unsqueeze(0)
logits = vision_model(batch)

Три цветовых канала Число кадров, если тензор получен из видеопотока, но форма одиночного изображения не указана Число объектов, если модель хранит каждый объект в отдельном канале Длина текстовой подписи, если изображение и текст объединены в один пакет

Вопрос 9 из 20

Для анализа длинного видео модель получает только первые 16 кадров. Какой риск?

total_frames = len(frames)
selected = frames[:16]
event_frame = frames[total_frames // 2]
was_event_seen = event_frame in selected

Модель сможет восстановить события по звуку, даже если аудиодорожка не передаётся Первые кадры обычно репрезентативны, поэтому риск пропуска поздних событий невелик При фиксированном числе кадров модель автоматически распределит их по всей длительности видео Событие в середине или конце никогда не попадёт во вход

Вопрос 10 из 20

Как проверить пользу изображения в задаче классификации объявления?

Сравнить мультимодальную модель с текстовой на разных наборах, подобранных под сильные стороны каждой Оценить прирост на всех объявлениях, не выделяя случаи, где изображение действительно добавляет сведения Сравнить текстовую базовую модель с мультимодальной на одинаковом наборе и отдельно на случаях, где текст неоднозначен Проверить только общую accuracy мультимодальной модели без текстовой базовой линии

Вопрос 11 из 20

Почему OCR-текст следует хранить вместе с координатами блоков?

block = {'text': 'Итого 12 500',
 'bbox': [840, 1260, 1120, 1310],
 'page': 2}

Координаты позволяют использовать уверенность OCR как геометрический признак и исправлять все ошибки символов Расположение помогает восстановить таблицы, колонки и связь подписи с полем Порядок строк после OCR можно восстановить без координат по длине и пунктуации Позиции блоков нужны только для повторного отображения текста поверх изображения

Вопрос 12 из 20

Что делает контрастивное обучение изображение–текст в упрощённом виде?

image_embeddings = normalize(image_encoder(images))
text_embeddings = normalize(text_encoder(captions))
similarity = image_embeddings @ text_embeddings.T
loss = contrastive_loss(similarity, positive_diagonal=True)

Сближает любые пары из одного пакета и раздвигает пары из разных пакетов независимо от соответствия Сближает представления соответствующих пар и раздвигает несоответствующие Обучает отдельный классификатор, который проверяет грамматику подписи к изображению Сжимает все изображения и подписи в один общий центр, чтобы упростить поиск

Вопрос 13 из 20

У пользователя нет аудиодорожки, но система ожидает её всегда. Как проектировать?

Синтезировать аудио из текста и использовать его как исходную запись пользователя Подставить нулевой аудиомассив и считать его эквивалентом отсутствующей модальности без отдельной проверки Предусмотреть режим отсутствующей модальности и обучить или проверить поведение без звука Отказывать в обработке, потому что архитектура требует одинаковый набор каналов для всех примеров

Вопрос 14 из 20

При сканировании паспорта модель передаёт изображение стороннему сервису без уведомления. Какой риск?

Нарушение конфиденциальности и политики обработки чувствительных документов Передача увеличит стоимость и число токенов, но не меняет требования к согласию и защите данных Сторонний сервис может изменить цветовой профиль документа и вернуть иной результат Снижение разрешения может ухудшить распознавание, но это главный риск передачи паспорта

Вопрос 15 из 20

Как объединить текстовое и визуальное представления при простом позднем объединении?

p_text = text_model(text)
p_image = image_model(image)
p_final = meta_model(concat(p_text, p_image))

Нормировать прогнозы по размерам входных файлов и усреднить их Объединить байтовые представления файлов и обучить один классификатор на общей строке Получить отдельные прогнозы или признаки и объединить их на последнем классификаторе Использовать только ту модальность, у которой выше уверенность на текущем примере

Вопрос 16 из 20

Вопрос к графику: «Какое значение было в марте?» Почему одного OCR может быть недостаточно?

Значение можно определить по цвету линии без восстановления осей и положения точки Если все числа распознаны, геометрия графика не влияет на ответ Нужно связать подписи осей, месяц и геометрию соответствующей точки или столбца OCR извлечёт подписи и числа, поэтому достаточно найти ближайшее число после слова «март»

Вопрос 17 из 20

Из видео нужно найти короткий момент падения предмета. Какой способ эффективнее равномерного одного кадра в минуту?

motion_scores = estimate_motion(frames)
segments = select_peaks(motion_scores, window_seconds=3)

Более частое или событийное сэмплирование вокруг движения, сохраняя временные метки Снизить частоту выборки до одного кадра в несколько минут, чтобы модель внимательнее анализировала каждый кадр Использовать первый, средний и последний кадр, чтобы равномерно покрыть ролик тремя точками Выбирать кадры только по резким изменениям яркости, не сохраняя временные метки

Вопрос 18 из 20

Модель описывает фото уверенно, но не видит мелкий предупреждающий знак. Какой вывод?

Разрешение и способ масштабирования могли удалить важную деталь Высокая уверенность общей подписи гарантирует, что модель рассмотрела каждый мелкий объект на исходном разрешении Мелкий знак не влияет на ответ только потому, что занимает небольшую долю пикселей; масштабирование здесь ни при чём Уменьшение изображения всегда повышает различимость мелких надписей за счёт объединения соседних пикселей

Вопрос 19 из 20

Какой тест лучше проверяет синхронизацию мультимодальной встречи?

Вопросы, где ответ зависит от совпадения произнесённой фразы с показанным в тот момент слайдом Сравнение подписей нескольких статичных кадров с текстом стенограммы без временных меток Проверка точности распознавания речи на аудио без привязки к слайдам Вопросы о длительности и числе участников, для которых достаточно метаданных файла

Вопрос 20 из 20

Какой журнал нужен для расследования ошибки мультимодальной системы?

trace = {"inputs":hashes,"frames":frame_times,"asr":segments,"ocr":blocks,"quality":quality_scores,"answer":answer}

Разрешение, длительность и общий размер файлов без промежуточных распознаваний Названия моделей и время запуска без параметров подготовки каналов и временных меток Исходные хэши, параметры ресемплинга и кадров, OCR/ASR с временными метками, качество каналов и итоговый ответ Итоговый ответ и версия модели; входы можно восстановить из пользовательского запроса

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу