🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Сложный ·

Эмбеддинги и векторный поиск

Эмбеддинг превращает объект в числовой вектор, где близость должна отражать полезное для задачи сходство. Но результат зависит от модели, нормировки, меры расстояния, индекса и корпуса. Тест требует считать косинус, выбирать параметры поиска, замечать ложных соседей и оценивать выдачу по реальным запросам.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Две фразы имеют одинаковый смысл, но одна длиннее и содержит вводные слова. Что разумнее проверить перед выводом о качестве эмбеддингов?

a = encoder.encode("Верните оплату")
b = encoder.encode("Будьте добры, я хотел бы получить обратно внесённую оплату")
cosine(a,b)

Сравнить число символов: одинаковая длина должна давать близкие векторы при хорошем кодировщике Сравнить первую координату эмбеддингов как приближение общей семантической близости Как выбран способ агрегации и обучена ли модель на сходстве предложений, а не сравнивать только длину векторов Проверить, находятся ли фразы в одном файле и получили ли одинаковые метаданные

Вопрос 2 из 20

Чему равен косинус между векторами `[1, 0]` и `[0, 2]`?

\cos(a,b)=\frac{a\cdot b}{\lVert a\rVert\lVert b\rVert}

a = np.array([1., 0.])
b = np.array([0., 2.])
score = a @ b / (np.linalg.norm(a) * np.linalg.norm(b))

2 -1 0 1

Вопрос 3 из 20

Корпус содержит 50 миллионов векторов, а полный перебор слишком медленный. Какой следующий шаг разумен?

exact = brute_force(query_vectors, sample_corpus)
approx = ann_index.search(query_vectors, k=10)
recall = overlap(exact, approx)

Сортировать документы по имени и ограничивать точный перебор ближайшим алфавитным диапазоном Использовать приближённый индекс и измерить потерю recall относительно точного поиска на выборке Удалить половину координат, предполагая, что избыточная размерность является главной причиной задержки Повысить temperature генератора, чтобы он компенсировал пропущенные результаты поиска

Вопрос 4 из 20

По запросу «отмена подписки» первым приходит статья «как оформить подписку». Почему одной высокой косинусной близости недостаточно?

Косинусная близость подтверждает юридическую применимость текста, если значение достаточно высоко Высокий косинус означает почти точное совпадение слов и порядка фраз Первый результат следует считать релевантным, поскольку индекс уже отсортировал документы по смыслу Векторы могут сближать тексты по общей теме и недооценивать направление действия или отрицание

Вопрос 5 из 20

Почему нормировка векторов полезна перед поиском по скалярному произведению, если модель ожидает косинус?

X = X / np.linalg.norm(X, axis=1, keepdims=True)
q = q / np.linalg.norm(q)
scores = X @ q

L2-нормировка удваивает размерность, добавляя к вектору его длину Нормированный вектор можно напрямую преобразовать обратно в исходный текст После L2-нормировки dot product становится равен косинусной близости После нормировки отрицательные координаты обнуляются и не влияют на поиск

Вопрос 6 из 20

Векторы `[1,1]` и `[10,10]` имеют какой косинус?

a = np.array([1.,1.])
b = np.array([10.,10.])

Косинус отрицателен, поскольку масштабы векторов не совпадают 1, потому что направлены одинаково Значение равно десяти: более длинный вектор усиливает одинаковое направление Косинус равен нулю, потому что нормы векторов различаются в десять раз

Вопрос 7 из 20

После перехода на приближённый индекс p95 уменьшился в десять раз, но recall@10 упал с 0,98 до 0,71. Какой вывод?

Параметры слишком агрессивны для текущих требований Удалить точный эталон, поскольку он слишком медленный для рабочего использования Recall@10 относится только к генерации ответа и не оценивает векторный поиск Индекс безусловно лучше: десятикратное ускорение важнее потери части релевантных результатов

Вопрос 8 из 20

Почему среднее эмбеддингов токенов может плохо представлять длинный договор?

doc_vector = token_embeddings.mean(axis=0)

После усреднения токены превращаются в строки и перестают участвовать в числовом сравнении У длинного документа всегда один общий смысл, поэтому среднее достаточно для всех вопросов Усреднение размывает редкие важные положения и игнорирует структуру разделов Усреднение увеличивает контекстное окно и поэтому теряет начало договора

Вопрос 9 из 20

HNSW-подобный индекс увеличивает параметр поиска, расширяя число просмотренных кандидатов. Что обычно меняется?

При большом числе кандидатов косинус заменяется случайной мерой для экономии времени Увеличение параметра уменьшает размерность эмбеддингов, поэтому сравнение ускоряется Индекс заново токенизирует документы при каждом расширении поиска Recall и задержка обычно растут, потому что поиск просматривает большую часть графа

Вопрос 10 из 20

Как оценить поиск, если для каждого запроса известен один особенно важный документ и его позиция в выдаче?

\operatorname{MRR}=\frac{1}{|Q|}\sum_q\frac{1}{rank_q}

rr = 1 / rank_of_first_relevant
mrr = sum(rr_values) / len(rr_values)

Считать число координат эмбеддинга, поскольку большая размерность улучшает позицию документа Использовать MRR или распределение рангов вместе с recall@k Измерять только размер индекса как косвенный показатель числа доступных кандидатов Оценивать среднюю длину запроса: короткие запросы обычно дают высокий ранг нужного документа

Вопрос 11 из 20

Новая версия embedding-модели имеет другую размерность. Можно ли дописывать её в старый индекс?

Нет: нужно создать совместимый индекс и переэмбеддить корпус или поддерживать отдельную версию Изменить имя файла индекса: метаданные сообщат поиску размерность новой модели Дополнить старые векторы нулями до новой длины и считать пространства совместимыми В одном индексе можно смешивать любые размерности: поиск сравнит общую часть координат

Вопрос 12 из 20

Чему равен косинус с нулевым вектором?

a = np.zeros(3)
b = np.array([1.,2.,3.])

Он не определён из-за нулевой нормы Косинус равен числу координат, не содержащих ненулевых значений Косинус с нулевым вектором равен единице, поскольку у него нет отличающего направления Значение равно минус единице как для максимально противоположного направления

Вопрос 13 из 20

Индекс поддерживает фильтры по подразделению, но фильтрация применяется после получения top-10. Для редкого подразделения результатов нет. Почему?

hits = index.search(q, k=10)
visible = [h for h in hits if h.department == user.department]

Метаданные можно фильтровать только для коротких запросов, иначе они не помещаются в контекст Косинусная мера не допускает дополнительной фильтрации по нечисловым полям Нужные соседи могли не попасть в глобальные top-10 Фильтр подразделения меняет размерность вектора и делает его несовместимым с общим индексом

Вопрос 14 из 20

Эмбеддинги имён «Иван Петров» и «Пётр Иванов» близки. Почему это может быть опасно для поиска конкретного человека?

Высокая близость имён подтверждает, что они относятся к одному человеку с разным порядком слов Удалить фамилии и искать только по именам, чтобы порядок слов не влиял на результат Семантическая близость не заменяет точное сопоставление сущности Векторный поиск гарантирует уникальность, если имя и фамилия представлены двумя токенами

Вопрос 15 из 20

Какой сложный отрицательный пример полезен для запроса «как отключить автопродление»?

Документ «как включить автопродление», тематически близкий, но отвечающий на противоположное действие Точный положительный документ с инструкцией отключения, используемый как отрицательный пример Статья о другой теме, максимально далёкая от запроса и легко отличимая от положительного примера Пустой документ, которому модель должна назначить низкую близость

Вопрос 16 из 20

Почему перенос embedding-модели с новостей на медицинские сокращения может ухудшить поиск?

general_score = general_encoder.sim("ХСН II ФК", relevant_note)
domain_score = medical_encoder.sim("ХСН II ФК", relevant_note)

При смене домена размерность автоматически становится нулевой из-за неизвестных сокращений Медицинский текст нельзя разделить на токены без отдельной модели распознавания сущностей Доменная терминология и отношения могли быть слабо представлены в обучении модели Новостные модели поддерживают только целочисленные признаки и не кодируют медицинские термины

Вопрос 17 из 20

При обновлении одного документа старый вектор не удаляется. Какой эффект возможен?

Наличие двух версий нарушит вычисление косинуса для всех остальных документов После добавления дубля индекс выровняет все векторы и сделает выдачу одинаковой Индекс сам выберет свежую версию по времени добавления, даже если дата не хранится В выдаче появятся две версии, и устаревшая может конкурировать с актуальной

Вопрос 18 из 20

Dot product у длинных ненормированных векторов систематически выше. Что это может означать?

score = q @ x
cos = score / (norm(q) * norm(x))

Норма не влияет ни на одну меру сходства и потому не может менять ранжирование Dot product всегда совпадает с косинусом независимо от норм векторов Положительные значения сами по себе доказывают, что индекс вычисляет метрику неверно Ранжирование учитывает не только направление, но и нормы

Вопрос 19 из 20

Поиск хорош на коротких запросах, но проваливается на вопросах из трёх предложений. Какой анализ полезен?

Увеличить размерность модели без контрольного сравнения и анализа формулировок Разбить качество по длине и типу запроса, проверить нужность сжатия или выделения намерения Смотреть только общий recall: среднее достаточно описывает качество всех длин запросов Удалить длинные вопросы из продукта, не выясняя причину провала поиска

Вопрос 20 из 20

Какой честный процесс выбора embedding-модели лучше?

for encoder in encoders:
    vectors = encoder.encode(corpus)
    index = build_same_index(vectors)
    report[encoder.name] = evaluate(index, labeled_queries, slices=slices)

Сравнить два удачных примера вручную без фиксированного набора запросов Выбрать модель с наиболее длинным названием как признаком современности Оценивать размер файла весов, не измеряя качество выдачи и стоимость кодирования Одинаковый корпус и индекс, размеченные запросы, метрики по срезам, стоимость кодирования и задержка

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу