🤖 ИИ · 20 вопросов · ~45 мин · ⏱ Таймер 45:00 · Сложный ·

Дообучение и настройка моделей

Не каждую проблему нужно решать дообучением. Иногда достаточно точного запроса, внешнего поиска или правил; в других случаях модели действительно нужно устойчиво изменить стиль, формат или поведение на классе задач. Тест проверяет выбор метода, подготовку примеров, параметры обучения и честное сравнение до и после настройки.

Отвечено: 0 из 20

⏱ --:--

💡 Инструкция: Выбери один ответ из четырёх. В тесте 20 вопросов и 45 минут; не меньше половины заданий требуют прочитать код, конфигурацию или формализованную схему. После завершения откроются общий процент, четыре тематические шкалы, правильные ответы и разбор каждого решения.

Вопрос 1 из 20

Компания хочет, чтобы модель отвечала по ежедневно меняющемуся прайс-листу и показывала строку источника. Что выбрать?

answer = generate(query, context=retrieve(current_price_list, query), require_citation=True)

Каждую ночь полностью дообучать модель на новом прайс-листе и использовать её ответы как источник Повысить temperature, чтобы модель чаще называла свежие цены из разных вариантов Обучить новый токенизатор на названиях товаров, не подключая сами цены и документы RAG или прямой доступ к актуальному прайс-листу

Вопрос 2 из 20

В наборе для настройки 80% ответов начинаются фразой «Разумеется, я помогу». Какой риск?

starts = Counter(first_sentence(x["answer"]) for x in train_data)
print(starts.most_common(3))

Доля одинакового начала не влияет на обучение, если основная часть ответов различается Во время настройки модель распознает повторяющееся вступление как лишнее и перестанет его использовать Единая вежливая фраза повысит фактическую точность, потому что ответы станут последовательнее Модель выучит нежелательное повторяющееся вступление как сильный шаблон

Вопрос 3 из 20

После одной эпохи validation loss растёт, а train loss продолжает падать. Что сделать?

for epoch in range(10):
    train_loss = train_one_epoch(model)
    val_loss = evaluate_loss(model, validation)
    save_checkpoint_if_best(val_loss)

Выбрать checkpoint с максимальным train loss как наименее переобученный Продолжить обучение ещё двадцать эпох: рост validation loss может быть временным Рассмотреть раннюю остановку, меньшую скорость или меньше эпох и проверить целевые метрики Перенести validation в train, чтобы модель увидела сложные примеры и loss снова снизился

Вопрос 4 из 20

Дообученная модель лучше пишет отчёты, но стала чаще раскрывать секреты из запросов. Какой вывод?

Рост качества отчётов показывает общее улучшение, а редкие утечки можно не учитывать Скрыть результаты проверки секретов, чтобы они не влияли на средний балл отчётов Целевое улучшение сопровождается критичной регрессией Безопасность следует проверять отдельно от обучения и не включать в решение о выпуске

Вопрос 5 из 20

Нужно устойчиво изменить тон и формат ответов на тысячах похожих запросов; prompt разрастается и дорог. Когда адаптация оправдана?

Использовать адаптацию для исправления одной опечатки в единичном запросе Начать адаптацию без проверенных примеров и уточнять желаемое поведение по первым ответам Когда есть качественные примеры, стабильная спецификация и измеримый выигрыш по стоимости или качеству Дообучать модель на знаниях, которые меняются каждый час, вместо внешнего источника

Вопрос 6 из 20

Два разметчика по-разному отвечают на один тип запроса, потому что правило не определено. Что делать до обучения?

conflicts = find_same_input_different_output(dataset)
review_queue.extend(conflicts)

Удалить описание задачи и обучать модель только по парам вход–ответ Оставить оба ответа: противоречия дадут модели возможность самостоятельно выбрать более уместный Многократно продублировать оба варианта, чтобы они получили одинаковый вес Уточнить руководство, разрешить спорные случаи и исправить противоречивые метки

Вопрос 7 из 20

Learning rate увеличили в 100 раз, loss стал NaN. Наиболее вероятная причина?

optimizer = AdamW(model.parameters(), lr=0.1)
loss.backward()
optimizer.step()

Строгая JSON-схема запретила числовое значение loss и заменила его NaN NaN возник из-за слишком малого лимита токенов вывода во время оценки Большой контрольный набор переполнил память параметров и сделал loss неопределённым Шаг обновления слишком велик, значения или градиенты стали нестабильными

Вопрос 8 из 20

Как честно сравнить адаптированную и базовую модели в ручной оценке?

Скрыть экспертам название модели, перемешать ответы и использовать общую рубрику Выбрать по одному лучшему ответу каждой модели вместо случайной выборки случаев Дать моделям разные вопросы одинаковой сложности и сравнить средние оценки Показывать экспертам, какой ответ принадлежит новой модели, чтобы они оценивали именно улучшения

Вопрос 9 из 20

Для одного редкого класса всего 12 примеров, а для частого — 30 тысяч. Что важно?

Добавить содержательные примеры редкого класса и оценивать его отдельно, не полагаясь на общий loss Исключить редкий класс из проверки, потому что двенадцать примеров дадут нестабильную метрику Повторить одну строку тысячи раз, сохранив её формулировку и метку Сравнить среднее число токенов классов и считать его показателем достаточности примеров

Вопрос 10 из 20

Что даёт адаптер вроде LoRA по сравнению с обновлением всех весов?

model = attach_lora(model, rank=16, target_modules=["q_proj","v_proj"])
trainable = count_trainable_parameters(model)

LoRA автоматически добавляет свежие факты без обучающего набора, используя базовые знания Обучается небольшое число дополнительных параметров, что снижает память и упрощает хранение вариантов Небольшой адаптер гарантирует отсутствие регрессий в базовом поведении Адаптер заменяет контрольный набор и позволяет оценивать качество по train loss

Вопрос 11 из 20

В train и test попали разные версии одного и того же диалога. Какой риск?

split = GroupShuffleSplit(groups=conversation_id)
train_idx, test_idx = next(split.split(rows, groups=conversation_id))

Похожие диалоги делают test сложнее, потому что модель должна различать их версии Утечка: модель видела почти идентичный пример и оценка завышена Близкие копии отключают градиенты и мешают адаптеру обучаться Из-за пересечения примеров меняется размерность весов базовой модели

Вопрос 12 из 20

Batch size увеличили, но скорость обучения и число шагов оставили без анализа. Почему результат может измениться?

Размер пакета влияет только на имя файла checkpoint и не меняет динамику обучения Изменились шум градиента и эффективный режим оптимизации При увеличении batch общее число примеров перестаёт влиять на оптимизацию Большой batch всегда улучшает обобщение, поскольку градиент становится точнее

Вопрос 13 из 20

Модель прошла целевой набор, но стала хуже отвечать на обычные вопросы. Что добавить в оценку?

Измерять размер адаптера: меньший файл означает меньшее ухудшение общих способностей Добавить больше обучающих целевых примеров прямо в test, чтобы он отражал новую специализацию Удалить базовую модель после успешного целевого теста, чтобы не поддерживать два варианта Регрессионный набор общих способностей и критичных прежних сценариев

Вопрос 14 из 20

В обучающих ответах есть фактические ошибки, но стиль идеален. Что произойдёт?

{"prompt":"Назови срок","answer":"Срок — 90 дней"}

Модель может усвоить и стиль, и неверные утверждения Ошибочные утверждения изменят только пунктуацию, поскольку стиль размечен качественно Модель самостоятельно отделит фактические ошибки от стиля по внутренним знаниям Функция потерь учитывает форму ответа, но игнорирует его содержательные токены

Вопрос 15 из 20

Как выбрать число эпох?

Обучать до нулевого train loss, не учитывая рост validation loss и регрессии Использовать фиксированные сто эпох для любой модели и любого объёма данных Выбирать число эпох по длине названия модели как приближению её ёмкости По независимой кривой качества и регрессий, а не по правилу «чем больше, тем лучше»

Вопрос 16 из 20

Дообучение должно менять только стиль, но примеры содержат новые продуктовые факты. Как снизить смешение целей?

Оставить в адаптации разнообразный стиль при стабильном содержании, а изменяемые факты получать извне Удалить требования к стилю и оставить только фактические ответы Обучать на ответах без входных запросов, чтобы стиль не зависел от содержания Добавить ещё больше продуктовых фактов, чтобы модель лучше различала стиль и содержание

Вопрос 17 из 20

Почему дубли в обучающем наборе опасны даже при правильной разметке?

pairs = nearest_neighbors(embeddings, threshold=.97)
review_duplicates(pairs)

Повторяющиеся примеры изменяют архитектуру и добавляют новые слои Дубли сокращают обучение до нуля, поскольку одинаковые строки кэшируются оптимизатором Наличие дублей технически запрещает параметрически эффективную настройку Они непропорционально усиливают отдельные формулировки и могут попасть в контроль через близкие копии

Вопрос 18 из 20

Новая модель улучшила средний балл с 82 до 83, но на критичных запросах упала с 96 до 88. Что решать?

Выпустить модель: рост среднего балла компенсирует ухудшение отдельного критичного среза Учитывать критичный срез и, вероятно, не выпускать модель без исправления или ограниченного маршрута Не показывать критичный срез в итоговом отчёте, чтобы решение опиралось на общий набор Считать падение случайным без оценки доверительного интервала и природы ошибок

Вопрос 19 из 20

Как доказать, что улучшение дала настройка, а не новый prompt?

base_scores = evaluate(base_model, fixed_prompt, holdout)
tuned_scores = evaluate(tuned_model, fixed_prompt, holdout)

Одновременно изменить prompt и модель, а улучшение приписать адаптации Оценивать только скорость обучения: удачная настройка обычно сходится быстрее Зафиксировать одинаковый prompt и данные для base и tuned либо провести факторный эксперимент Сравнить версии на разных вопросах, подобрав каждой наиболее подходящие случаи

Вопрос 20 из 20

Какой выпуск адаптированной модели безопаснее?

route = canary(tuned_model, percent=5)
if critical_rate > threshold:
    rollback(to=base_model)

После выпуска отключить регрессионные метрики и следить только за целевым качеством Сразу заменить базовую модель для всего трафика и не сохранять подробные журналы Теневой режим, затем малая доля трафика с мониторингом и готовым откатом Удалить базовую версию до проверки кандидата, чтобы пользователи не получали разные ответы

Ответьте на все 20 вопросов, чтобы получить результат

🔗 Встроить тест на свой сайт (iframe) ▼

Скопируйте код и вставьте в любое место на вашем сайте:

Также доступна прямая ссылка на embed-страницу