🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний ·

Обработка естественного языка

Работа с текстом начинается не с выбора большой модели, а с точной постановки задачи: что считать единицей текста, какую информацию сохранить, как учесть контекст и чем измерить качество. В тесте встречаются токенизация, представления текста, классификация, извлечение сущностей, поиск и генерация — в виде кода, разметки и производственных ситуаций.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Сервис должен подсвечивать фамилию в исходной строке. После токенизации найден индекс токена, но подсветка сдвигается на два символа. Какое дополнение к токенизатору решает именно эту проблему?

text = "Письмо для Анны-Марии Петровой"
tokens = ['Письмо', 'для', 'Анны', '-', 'Марии', 'Петровой']

Увеличить словарь: при большем числе токенов символьные границы восстановятся автоматически Удалить пунктуацию до токенизации, чтобы индексы токенов совпадали с номерами слов Возвращать для каждого токена границы в исходной строке Перевести текст в нижний регистр и считать позиции относительно нормализованной строки

Вопрос 2 из 20

Почему два предложения получают одинаковый bag-of-words, хотя смысл различается?

a = "собака укусила человека"
b = "человек укусил собаку"

Представление хранит только общую длину предложения, а не отдельные слова Представление хранит частоты слов, но не их порядок Отрицание автоматически удаляется как стоп-слово независимо от настройки подготовки текста В словаре bag-of-words отсутствуют глаголы, поэтому различие действий не попало в признаки

Вопрос 3 из 20

Нужно отметить в договоре каждое упоминание организации и его границы. Какая постановка ближе всего к задаче?

Кластеризация договоров с последующим присвоением организациям названий групп Бинарная классификация всего договора: есть ли в нём хотя бы одна организация Регрессия общей суммы по количеству слов, относящихся к организациям Последовательная разметка токенов метками вроде B-ORG, I-ORG и O

Вопрос 4 из 20

Модель распознавания адресов показывает F1=0,94 на случайном разделении строк. В данных много копий одного шаблона договора. Какой контроль наиболее важен перед выпуском?

train, test = train_test_split(rows, test_size=.2, random_state=42)

Ещё раз перемешать строки тем же способом, но использовать другой random_state Добавить часть обучающих строк в контрольный набор, чтобы шаблоны были представлены одинаково Разделить данные по документам или источникам, чтобы почти одинаковые шаблоны не попали в обе части Считать token accuracy, где преобладающая метка O даст более устойчивую общую оценку

Вопрос 5 из 20

В поиске слово встречается почти во всех документах коллекции. Как TF–IDF отнесётся к нему по сравнению со словом, встречающимся лишь в нескольких документах?

\operatorname{tfidf}(t,d)=\operatorname{tf}(t,d)\log\frac{N}{df(t)}

idf = log(N / document_frequency)
tfidf = term_frequency * idf

TF–IDF использует только частоту внутри документа и не сравнивает коллекцию Вес зависит прежде всего от длины слова: редкие длинные слова считаются важнее Даст ему меньший вес, потому что оно плохо различает документы Очень частое слово получит наибольший вес, поскольку его term frequency выше

Вопрос 6 из 20

Чат поддержки должен определить тему обращения и направить его в отдел. Что является целевым выходом для базовой модели?

input:  "После оплаты заказ исчез из кабинета"
output: "платежи_и_заказы"

Одна категория маршрутизации для сообщения Двумерные координаты слов с последующим ручным выделением областей отделов Последовательность частей речи для каждого токена, по которой затем выбирается отдел Продолжение обращения, из содержания которого маршрутизатор определит тему

Вопрос 7 из 20

В классе «угроза безопасности» всего 1% сообщений. Accuracy модели равна 99%, но она ни разу не нашла угрозу. Какой вывод верен?

y_true = [0]*990 + [1]*10
y_pred = [0]*1000

Accuracy здесь скрывает полный провал редкого класса Удалить класс угроз, потому что его малая доля делает обучение нестабильным Оценивать среднюю длину сообщений как основной показатель способности замечать угрозы Общая accuracy 99% подтверждает высокое качество независимо от результата редкого класса

Вопрос 8 из 20

Токенизатор обучили на обычных словах, а в новых данных много артикулов вида AB-1037/К. Какой признак указывает, что разбиение стало проблемой?

Неизменное число предложений показывает, что токенизация артикулов не повлияла на вход Снижение памяти при той же строке указывает, что токенизатор стал эффективнее обрабатывать артикулы Каждый артикул кодируется одним знакомым токеном, поэтому словарь хорошо покрывает новый формат Артикулы распадаются на длинные последовательности мелких фрагментов, увеличивая длину и теряя удобную целостность

Вопрос 9 из 20

Система должна ответить на вопрос только фрагментом из переданного документа. Какой тип задачи лучше описывает требование?

context = "Доставка занимает от трёх до пяти рабочих дней."
question = "Сколько длится доставка?"
answer_start, answer_end = model(context, question)

Классификация языка документа перед поиском подходящего ответа Свободная генерация ответа по общим знаниям модели без ограничения документом Группировка вопросов по длине и выбор типового фрагмента из ближайшего кластера Извлекающий ответ на вопрос с выбором начала и конца фрагмента

Вопрос 10 из 20

Автоматическая метрика суммаризации высока, но редакторы жалуются на неверные числа. Что делать прежде всего?

source:  "Выручка выросла с 8 до 11 млн рублей"
summary: "Выручка выросла до 18 млн рублей"

Повысить совпадение часто встречающихся слов с эталоном и считать фактические числа второстепенными Добавить отдельную проверку фактических утверждений и ручной разбор критичных сущностей Удалять числа из документов до суммаризации, чтобы модель не могла их исказить Оценивать длину текста: подробное резюме с большей вероятностью сохранит все факты

Вопрос 11 из 20

Почему простое `.lower()` может быть нежелательно для задачи распознавания аббревиатур и имён?

examples = ["Мир", "МИР", "мир"]
normalized = [x.lower() for x in examples]

После lower строка перестаёт соответствовать UTF-8 и требует другой кодировки Нижний регистр удаляет границы слов, поэтому токенизация становится невозможной Метод lower меняет порядок символов при обработке смешанного алфавита Регистр иногда несёт различительную информацию, которую нормализация уничтожит

Вопрос 12 из 20

Чем контекстное представление слова «ключ» полезнее одного фиксированного вектора?

Контекстное представление всегда возвращает один и тот же идентификатор, что упрощает сравнение Оно исключает соседние слова, чтобы значение определялось только словарной формой Вектор хранит общую частоту слова в корпусе, а контекст добавляется уже классификатором Оно может различить смысл в «ключ от двери» и «ключ в словаре» по соседним словам

Вопрос 13 из 20

В NER модель верно находит начало названия, но часто обрезает последнее слово. Какая проверка точнее всего покажет проблему?

true = [(14, 39, "ORG")]
pred = [(14, 31, "ORG")]

Считать accuracy по всем токенам: высокая доля O компенсирует небольшие ошибки на границах Считать совпадение сущностей по полным границам и разбирать ошибки span Проверять только наличие хотя бы одного токена сущности без требования полной границы Сравнивать длину документов, поскольку длинные названия чаще обрезаются

Вопрос 14 из 20

После удаления пунктуации строка «Оплатить нельзя, отменить» стала двусмысленной. Какой вывод для подготовки данных наиболее точен?

Пунктуация может менять синтаксис и смысл, поэтому удалять её нужно только после проверки на конкретной задаче Запятая влияет только на оформление для человека, а модель восстанавливает синтаксис по словам Смысл сохраняется после удаления знаков, если порядок слов не изменён Пунктуация является техническим шумом и её удаление всегда улучшает обобщение

Вопрос 15 из 20

Для семантического поиска запрос «как вернуть деньги» не содержит слов из документа «порядок оформления возврата средств». Какое представление способно сблизить их по смыслу?

q_vec = encoder.encode("как вернуть деньги")
d_vec = encoder.encode("порядок оформления возврата средств")
score = cosine(q_vec, d_vec)

Количество запятых и других знаков как компактный признак семантической близости Контекстные эмбеддинги предложений, обученные отражать семантическую близость Номер документа как числовое представление его положения в тематическом пространстве Точное совпадение строк после разбиения и морфологической нормализации каждого слова

Вопрос 16 из 20

Нужно извлечь из письма отправителя, сумму счёта и срок оплаты. Почему один генеративный ответ без схемы неудобен для последующей программы?

{
  "sender": "ООО Вектор",
  "amount_rub": 125000,
  "due_date": "2026-08-01"
}

Формат может плавать, поля пропадать или смешиваться, поэтому лучше требовать структурированный результат и проверять его Генеративная модель не подходит, потому что она не умеет извлекать сведения из писем Схема нужна лишь для оформления ответа, а программа может надёжно разобрать свободный текст Любой синтаксически верный JSON гарантирует истинность и полноту извлечённых значений

Вопрос 17 из 20

Почему токены исходного и переведённого текста нельзя надёжно сопоставлять по одинаковым индексам?

source_tokens = ["Я", "очень", "скучаю"]
target_tokens = ["I", "miss", "you", "a", "lot"]

Перевод сохраняет отношение один токен к одному, если оба текста разбиты одной моделью Языки по-разному выражают смысл: число слов, порядок и границы фраз меняются После удаления пробелов индексы исходных и переведённых единиц должны совпасть Токенизаторы разных языков используют общий набор идентификаторов для одинаковых смыслов

Вопрос 18 из 20

У модели есть один фиксированный embedding слова «банк». Какой недостаток проявится в финансовом и географическом корпусах?

Слово будет исключено из обоих корпусов как слишком неоднозначное для фиксированного словаря При смешении значений embedding стремится к нулевому вектору Модель сможет учитывать слово только в первом предложении каждого документа Вектор смешает разные значения: финансовую организацию и берег реки

Вопрос 19 из 20

Классификатор токсичности обучен на комментариях форума и хорошо работает там, но ошибается в игровых чатах. Какой следующий эксперимент наиболее информативен?

forum_f1 = evaluate(model, forum_test)
game_f1 = evaluate(model, game_test)

Сравнить число пользователей двух площадок вместо структуры ошибок модели Собрать размеченную выборку игровых сообщений и сравнить ошибки по сленгу, длине и контексту Сначала добавить игровые сообщения в обучение, а затем оценить на тех же примерах Повторно измерить качество на форуме, разбив его на более мелкие временные части

Вопрос 20 из 20

Два суммаризатора имеют одинаковую среднюю экспертную оценку. Первый иногда пропускает детали, второй редко, но выдумывает юридические условия. Как выбрать для договоров?

Выбрать одну модель случайно: одинаковая средняя оценка делает риски эквивалентными Считать суммаризаторы взаимозаменяемыми, раз агрегированная экспертная оценка совпала Учесть тяжесть ошибок: выдуманные условия могут быть недопустимы даже при той же средней оценке Предпочесть более длинные резюме, поскольку они реже пропускают детали

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу