🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Средний ·

Обработка естественного языка

Работа с текстом начинается не с выбора большой модели, а с точной постановки задачи: что считать единицей текста, какую информацию сохранить, как учесть контекст и чем измерить качество. В тесте встречаются токенизация, представления текста, классификация, извлечение сущностей, поиск и генерация — в виде кода, разметки и производственных ситуаций.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Сервис должен подсвечивать фамилию в исходной строке. После токенизации найден индекс токена, но подсветка сдвигается на два символа. Какое дополнение к токенизатору решает именно эту проблему?

text = "Письмо для Анны-Марии Петровой"
tokens = ['Письмо', 'для', 'Анны', '-', 'Марии', 'Петровой']

Увеличить словарь: при большем числе токенов символьные границы восстановятся автоматически Перевести текст в нижний регистр и считать позиции относительно нормализованной строки Удалить пунктуацию до токенизации, чтобы индексы токенов совпадали с номерами слов Возвращать для каждого токена границы в исходной строке

Вопрос 2 из 20

Почему два предложения получают одинаковый bag-of-words, хотя смысл различается?

a = "собака укусила человека"
b = "человек укусил собаку"

Представление хранит только общую длину предложения, а не отдельные слова Представление хранит частоты слов, но не их порядок Отрицание автоматически удаляется как стоп-слово независимо от настройки подготовки текста В словаре bag-of-words отсутствуют глаголы, поэтому различие действий не попало в признаки

Вопрос 3 из 20

Нужно отметить в договоре каждое упоминание организации и его границы. Какая постановка ближе всего к задаче?

Регрессия общей суммы по количеству слов, относящихся к организациям Последовательная разметка токенов метками вроде B-ORG, I-ORG и O Бинарная классификация всего договора: есть ли в нём хотя бы одна организация Кластеризация договоров с последующим присвоением организациям названий групп

Вопрос 4 из 20

Модель распознавания адресов показывает F1=0,94 на случайном разделении строк. В данных много копий одного шаблона договора. Какой контроль наиболее важен перед выпуском?

train, test = train_test_split(rows, test_size=.2, random_state=42)

Ещё раз перемешать строки тем же способом, но использовать другой random_state Считать token accuracy, где преобладающая метка O даст более устойчивую общую оценку Разделить данные по документам или источникам, чтобы почти одинаковые шаблоны не попали в обе части Добавить часть обучающих строк в контрольный набор, чтобы шаблоны были представлены одинаково

Вопрос 5 из 20

В поиске слово встречается почти во всех документах коллекции. Как TF–IDF отнесётся к нему по сравнению со словом, встречающимся лишь в нескольких документах?

\operatorname{tfidf}(t,d)=\operatorname{tf}(t,d)\log\frac{N}{df(t)}

idf = log(N / document_frequency)
tfidf = term_frequency * idf

Вес зависит прежде всего от длины слова: редкие длинные слова считаются важнее Даст ему меньший вес, потому что оно плохо различает документы TF–IDF использует только частоту внутри документа и не сравнивает коллекцию Очень частое слово получит наибольший вес, поскольку его term frequency выше

Вопрос 6 из 20

Чат поддержки должен определить тему обращения и направить его в отдел. Что является целевым выходом для базовой модели?

input:  "После оплаты заказ исчез из кабинета"
output: "платежи_и_заказы"

Двумерные координаты слов с последующим ручным выделением областей отделов Продолжение обращения, из содержания которого маршрутизатор определит тему Последовательность частей речи для каждого токена, по которой затем выбирается отдел Одна категория маршрутизации для сообщения

Вопрос 7 из 20

В классе «угроза безопасности» всего 1% сообщений. Accuracy модели равна 99%, но она ни разу не нашла угрозу. Какой вывод верен?

y_true = [0]*990 + [1]*10
y_pred = [0]*1000

Оценивать среднюю длину сообщений как основной показатель способности замечать угрозы Удалить класс угроз, потому что его малая доля делает обучение нестабильным Accuracy здесь скрывает полный провал редкого класса Общая accuracy 99% подтверждает высокое качество независимо от результата редкого класса

Вопрос 8 из 20

Токенизатор обучили на обычных словах, а в новых данных много артикулов вида AB-1037/К. Какой признак указывает, что разбиение стало проблемой?

Каждый артикул кодируется одним знакомым токеном, поэтому словарь хорошо покрывает новый формат Снижение памяти при той же строке указывает, что токенизатор стал эффективнее обрабатывать артикулы Неизменное число предложений показывает, что токенизация артикулов не повлияла на вход Артикулы распадаются на длинные последовательности мелких фрагментов, увеличивая длину и теряя удобную целостность

Вопрос 9 из 20

Система должна ответить на вопрос только фрагментом из переданного документа. Какой тип задачи лучше описывает требование?

context = "Доставка занимает от трёх до пяти рабочих дней."
question = "Сколько длится доставка?"
answer_start, answer_end = model(context, question)

Классификация языка документа перед поиском подходящего ответа Свободная генерация ответа по общим знаниям модели без ограничения документом Группировка вопросов по длине и выбор типового фрагмента из ближайшего кластера Извлекающий ответ на вопрос с выбором начала и конца фрагмента

Вопрос 10 из 20

Автоматическая метрика суммаризации высока, но редакторы жалуются на неверные числа. Что делать прежде всего?

source:  "Выручка выросла с 8 до 11 млн рублей"
summary: "Выручка выросла до 18 млн рублей"

Удалять числа из документов до суммаризации, чтобы модель не могла их исказить Добавить отдельную проверку фактических утверждений и ручной разбор критичных сущностей Оценивать длину текста: подробное резюме с большей вероятностью сохранит все факты Повысить совпадение часто встречающихся слов с эталоном и считать фактические числа второстепенными

Вопрос 11 из 20

Почему простое `.lower()` может быть нежелательно для задачи распознавания аббревиатур и имён?

examples = ["Мир", "МИР", "мир"]
normalized = [x.lower() for x in examples]

После lower строка перестаёт соответствовать UTF-8 и требует другой кодировки Нижний регистр удаляет границы слов, поэтому токенизация становится невозможной Регистр иногда несёт различительную информацию, которую нормализация уничтожит Метод lower меняет порядок символов при обработке смешанного алфавита

Вопрос 12 из 20

Чем контекстное представление слова «ключ» полезнее одного фиксированного вектора?

Вектор хранит общую частоту слова в корпусе, а контекст добавляется уже классификатором Оно может различить смысл в «ключ от двери» и «ключ в словаре» по соседним словам Оно исключает соседние слова, чтобы значение определялось только словарной формой Контекстное представление всегда возвращает один и тот же идентификатор, что упрощает сравнение

Вопрос 13 из 20

В NER модель верно находит начало названия, но часто обрезает последнее слово. Какая проверка точнее всего покажет проблему?

true = [(14, 39, "ORG")]
pred = [(14, 31, "ORG")]

Проверять только наличие хотя бы одного токена сущности без требования полной границы Считать accuracy по всем токенам: высокая доля O компенсирует небольшие ошибки на границах Считать совпадение сущностей по полным границам и разбирать ошибки span Сравнивать длину документов, поскольку длинные названия чаще обрезаются

Вопрос 14 из 20

После удаления пунктуации строка «Оплатить нельзя, отменить» стала двусмысленной. Какой вывод для подготовки данных наиболее точен?

Запятая влияет только на оформление для человека, а модель восстанавливает синтаксис по словам Пунктуация является техническим шумом и её удаление всегда улучшает обобщение Пунктуация может менять синтаксис и смысл, поэтому удалять её нужно только после проверки на конкретной задаче Смысл сохраняется после удаления знаков, если порядок слов не изменён

Вопрос 15 из 20

Для семантического поиска запрос «как вернуть деньги» не содержит слов из документа «порядок оформления возврата средств». Какое представление способно сблизить их по смыслу?

q_vec = encoder.encode("как вернуть деньги")
d_vec = encoder.encode("порядок оформления возврата средств")
score = cosine(q_vec, d_vec)

Номер документа как числовое представление его положения в тематическом пространстве Точное совпадение строк после разбиения и морфологической нормализации каждого слова Контекстные эмбеддинги предложений, обученные отражать семантическую близость Количество запятых и других знаков как компактный признак семантической близости

Вопрос 16 из 20

Нужно извлечь из письма отправителя, сумму счёта и срок оплаты. Почему один генеративный ответ без схемы неудобен для последующей программы?

{
  "sender": "ООО Вектор",
  "amount_rub": 125000,
  "due_date": "2026-08-01"
}

Генеративная модель не подходит, потому что она не умеет извлекать сведения из писем Схема нужна лишь для оформления ответа, а программа может надёжно разобрать свободный текст Любой синтаксически верный JSON гарантирует истинность и полноту извлечённых значений Формат может плавать, поля пропадать или смешиваться, поэтому лучше требовать структурированный результат и проверять его

Вопрос 17 из 20

Почему токены исходного и переведённого текста нельзя надёжно сопоставлять по одинаковым индексам?

source_tokens = ["Я", "очень", "скучаю"]
target_tokens = ["I", "miss", "you", "a", "lot"]

Языки по-разному выражают смысл: число слов, порядок и границы фраз меняются После удаления пробелов индексы исходных и переведённых единиц должны совпасть Перевод сохраняет отношение один токен к одному, если оба текста разбиты одной моделью Токенизаторы разных языков используют общий набор идентификаторов для одинаковых смыслов

Вопрос 18 из 20

У модели есть один фиксированный embedding слова «банк». Какой недостаток проявится в финансовом и географическом корпусах?

При смешении значений embedding стремится к нулевому вектору Слово будет исключено из обоих корпусов как слишком неоднозначное для фиксированного словаря Вектор смешает разные значения: финансовую организацию и берег реки Модель сможет учитывать слово только в первом предложении каждого документа

Вопрос 19 из 20

Классификатор токсичности обучен на комментариях форума и хорошо работает там, но ошибается в игровых чатах. Какой следующий эксперимент наиболее информативен?

forum_f1 = evaluate(model, forum_test)
game_f1 = evaluate(model, game_test)

Сравнить число пользователей двух площадок вместо структуры ошибок модели Сначала добавить игровые сообщения в обучение, а затем оценить на тех же примерах Собрать размеченную выборку игровых сообщений и сравнить ошибки по сленгу, длине и контексту Повторно измерить качество на форуме, разбив его на более мелкие временные части

Вопрос 20 из 20

Два суммаризатора имеют одинаковую среднюю экспертную оценку. Первый иногда пропускает детали, второй редко, но выдумывает юридические условия. Как выбрать для договоров?

Считать суммаризаторы взаимозаменяемыми, раз агрегированная экспертная оценка совпала Выбрать одну модель случайно: одинаковая средняя оценка делает риски эквивалентными Предпочесть более длинные резюме, поскольку они реже пропускают детали Учесть тяжесть ошибок: выдуманные условия могут быть недопустимы даже при той же средней оценке

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу