Для каких офисных задач достаточно небольшой недорогой модели

Утверждение «небольшой модели хватает для 80% рутинных офисных задач» не имеет универсального подтверждения. Доля задач, с которыми компактная модель справится уверенно, зависит от портфеля компании, языка документов, требований к качеству и цены ошибки. Проверку разумно начать с классификации обращений по известным категориям, извлечения полей из документов со стабильной структурой и краткого резюме по заданному шаблону.

Порог качества определяет цена ошибки, а не заранее выбранный процент. Ошибочная категория внутреннего письма может стоить секунды внимания; неверная сумма в счёте — денег и доверия. Ниже — как составить перечень задач, выбрать кандидатов для компактной модели, провести сравнение, настроить эскалацию и измерить свою долю вместо чужих «80%».

Почему нельзя просто взять 80%

Сначала нужно составить список реальных задач и их частоты. В одном офисе большинство потока — однотипные заявки, которые легко классифицировать. В другом значительная часть работы — нестандартные договоры и переговоры. Среднее между ними ничего не говорит о вашей компании.

Не обязательно собирать всё с нуля: данные часто уже есть в системе поддержки, учётной программе, общих почтовых ящиках или CRM. Выгрузите объём за последние два-три месяца и для каждого типа запишите, кто выполняет работу, сколько времени она занимает и кто замечает ошибку. Если ошибку видит только клиент, цена высока и проверка должна быть строже.

Где компактная модель — кандидат

Такие модели стоит проверять для задач с несколькими общими свойствами:

• Ограниченный набор ответов: классификация по 10–20 категориям, язык, тональность или приоритет.
• Известная схема полей: номер счёта, дата, сумма и контрагент в документах одного типа.
• Короткий контекст: письмо, сообщение или одна страница, а не договор на 150 страниц.
• Понятные исключения: заранее определено, что делать с пропущенным полем или неизвестной категорией.
• Проверяемый результат: сумма должна быть числом, дата — в допустимом диапазоне, категория — из списка.

Последний пример важен: часть «рутинной работы» вообще не требует модели. Если правило можно записать формулой или условием, код будет дешевле, быстрее и предсказуемее.

В качестве примера компактной модели можно рассматривать Qwen3-8B с Apache 2.0. В техническом описании заявлена поддержка более ста языков, но ни размер модели, ни лицензия, ни такой список не доказывают качество на ваших украинских документах. Это проверяется тестом.

Где нужна дополнительная проверка

Компактная модель может убедительно ошибиться в задачах с высокой ценой ошибки:

• неоднозначные договоры, ссылки на другие пункты и юридически значимые формулировки;
• многошаговые расчёты и выводы по неполным данным;
• длинный документ или переписка, где важная информация находится в разных местах;
• деньги, персональные данные, правовые последствия или ключевой клиент.

Компактная модель может помочь найти нужный раздел, но итог может требовать сильной модели, человека или обоих. При этом ошибка не всегда означает, что нужно платить за более крупную модель. Сначала выясните, не хватает ли модели контекста — тогда помогут документы и точная инструкция — или модель не соблюдает нужный формат и правила, где могут помочь примеры и автоматическая проверка. Если в запросе нет списка категорий, более крупная модель тоже может ошибиться.

Как сравнить модели

Для честного теста подготовьте:

• Одинаковые входные данные: один и тот же набор реальных, обезличенных при необходимости задач для всех моделей.
• Эталон: правильный ответ для каждого примера, подготовленный людьми, знающими процесс.
• Зафиксированные версии: точное имя и версия модели, дата теста и настройки.
• Язык из реальной работы: например, украинский с суржиком, опечатками и смешением языков, если они встречаются.
• Одинаковые критерии: правильная категория, точные поля, нужный формат — не субъективная оценка «красоты» ответа.
• Промпт: одинаковый для всех либо отдельный для каждой модели, но настройки нужно записать.

Размер набора зависит от разнообразия задач и частоты ошибок. Для первого отбора можно взять несколько десятков примеров на класс. Перед запуском в процессе нужно больше данных и отдельная проверка редких, но дорогих ошибок.

Фиксируйте тип ошибки: неверная категория, пропущенное поле, выдуманное значение, правильное значение в неверном формате или отказ. Неверный формат часто исправляется инструкцией и правилами. Выдуманное значение — серьёзнее: ограничьте задачу, добавьте строгую проверку или передавайте её более сильной модели. Смотрите, какие категории модель путает регулярно: возможно, неясно описаны сами категории.

Публичные рейтинги помогают предварительно выбрать кандидатов, но не заменяют тест на ваших задачах, языке и данных.

Как настроить эскалацию

Компактная модель не должна решать всё самостоятельно. Передавайте задачу более сильной модели или человеку при проверяемых сигналах:

• нарушено правило — например, сумма не является числом или категория отсутствует в списке;
• не найдено обязательное поле;
• категория не покрывается известными классами;
• значения в тексте и таблице расходятся;
• есть риск жалобы, суда или крупного возврата.

Самооценка уверенности модели — слабый сигнал: неверный ответ тоже может звучать уверенно. Используйте её только вместе с внешними проверками.

Учебный пример для счёта: модель извлекает номер, дату, сумму и налоговый номер поставщика. Код проверяет, что сумма положительная, дата не в будущем и не старше года, налоговый номер имеет нужную длину и есть в справочнике, а сумма совпадает с заказом. Если правило не пройдено, документ передаётся более сильной модели; если расхождение остаётся — бухгалтеру с указанием сработавшего правила. Ограничьте число повторов и эскалаций, иначе сложные случаи будут ходить по кругу.

Как рассчитать свою долю

Потенциальная доля задач и доля результатов, принятых без эскалации, — разные показатели.

Учебный портфель задач

Это расчётный пример, не результат проведённого теста. За месяц приходит 1 000 задач: 600 классификаций обращений, 250 извлечений полей из счетов и 150 сложных ответов клиентам.

Если первые два класса проходят заранее заданный тест, потенциальный охват компактной моделью равен (600 + 250) ÷ 1 000 = 85%. Это не означает, что 85% задач будут успешно завершены: внутри классов бывают ошибки и эскалации.

Допустим, 5% классификаций и 10% извлечений не проходят проверку и передаются более сильной модели. Размеры запросов условны: 1 500 входных и 50 выходных токенов для классификации; 3 000 и 300 для извлечения; 6 000 и 800 для сложного ответа. В примере использованы снимки стандартных тарифов для короткого контекста, проверенные 11.10.2026: gpt-6-luna — $0,10 / $0,50 за миллион входных/выходных токенов; gpt-6.1-sol — $2 / $10.

Если всё обрабатывает более сильная модель, расчётный счёт за модели составит 600 × $0,0035 + 250 × $0,009 + 150 × $0,02 = $7,35.

Без эскалации компактная модель обработала 570 + 225 = 795 задач, то есть 79,5%, а не 85%. Разница в модельном счёте — меньше $4 на тысячу задач. В таком масштабе важнее цена незамеченных ошибок и время людей на эскалации. Добавьте в таблицу долю ошибок, найденных после принятия результата, и их стоимость. Стоимость принятого результата — вызовы, проверка, эскалации и исправления, поделённые на число правильно завершённых задач.

Итоги и первые шаги

Доля задач, подходящих для компактной модели, зависит от портфеля компании и цены ошибки, а не от универсальной цифры. Её можно определить только тестом на собственных данных.

1. Составьте список задач, их месячную частоту и цену ошибки.
2. Выберите 2–3 класса с ограниченными ответами, известной схемой, коротким контекстом и проверяемым результатом.
3. Соберите обезличенные реальные примеры с эталонами на украинском языке.
4. Сравните модели на одинаковых входах и критериях, зафиксировав версии.
5. Опишите правила эскалации и лимит повторов.
6. Посчитайте потенциальный охват, фактическую долю без эскалации и стоимость принятого результата с учётом ошибок.

Инвентаризация и первый тест могут показать, что нужен другой вариант, чем ожидалось. BotLabs может помочь определить подходящие классы задач, текущую стоимость обработки и план измеримого пилота.

Частые вопросы