Собственный GPU-сервер или облачный API: как посчитать полную стоимость

Короткий ответ: собственный сервер с ускорителями может оправдать себя при стабильной высокой нагрузке, требованиях к размещению данных, исключающих внешний API, или специфическом сценарии, которому подходит конкретная открытая модель. Облачный API обычно проще для старта и удобнее при небольшом или неравномерном потоке. Сравнивать цену можно только тогда, когда оба варианта обеспечивают сопоставимое качество, выдерживают пиковую нагрузку и нужную доступность.

Правильный вопрос — не «что дешевле: видеокарта или миллион токенов?», а «сколько стоит успешно обработанный запрос нужного качества при нашей нагрузке?». Ниже разберём ограничения, полные затраты, точку равновесия и гибридный вариант.

Сначала ограничения, затем цена

До расчётов определите, какие варианты вообще допустимы.

• Данные. Разрешают ли договоры, внутренние правила и применимое законодательство передавать данные внешнему поставщику? В какой юрисдикции они должны обрабатываться? Если передача запрещена, API исключается для этого потока независимо от цены.
• Лицензия модели. Проверьте, разрешает ли лицензия выбранной модели коммерческое использование в вашем сценарии. Например, Qwen3-8B распространяется по Apache 2.0, но условия других моделей могут отличаться.
• Языки. Проверьте качество на ваших языках и задачах. Заявленная поддержка множества языков не гарантирует качество на конкретных договорах или письмах.
• Качество. Какая доля корректных ответов нужна и что происходит при ошибке?
• Пики нагрузки. Сколько запросов приходит одновременно в самый напряжённый момент и какая задержка допустима?
• Простой. Что произойдёт, если сервис будет недоступен час, день или неделю? От этого зависит необходимость резервного сервера.

Разделите данные по уровню чувствительности. Для открытых описаний товаров и персональных или финансовых документов могут действовать разные правила. Если локально нужно обрабатывать только часть потока, сервер может оказаться слишком дорогим для этого объёма. Запишите ограничения как критерии, по которым затем проверите оба варианта.

Что входит в стоимость собственного сервера

Цена ускорителей — лишь одна статья полной стоимости владения.

• Оборудование: видеокарты, сервер, процессор, оперативная память, диски, сеть и блок питания достаточной мощности.
• Амортизация: стоимость оборудования, распределённая на срок использования. Из-за быстрого морального устаревания его стоит выбирать консервативно.
• Размещение: стойка в дата-центре или серверная с охлаждением, защитой и стабильным питанием.
• Электроэнергия: карты под нагрузкой, охлаждение и источник бесперебойного питания.
• Сеть: канал, публичные адреса и защита от атак, если сервис доступен извне.
• Резерв: второй сервер или запасной канал, если простой недопустим.
• Эксплуатация: время инженера на драйверы, обновления, мониторинг и устранение сбоев. Даже если это часть ставки штатного сотрудника, время всё равно стоит денег.
• Обновления моделей: тестирование новых версий, качества и миграции.
• Остаточная стоимость: возможная цена продажи оборудования через несколько лет. Она уменьшает затраты, но оценивать её нужно осторожно.

Что входит в стоимость API

Счёт за API кажется простым — токены, — но полная стоимость шире.

• Входные и выходные токены с учётом режима обслуживания и длины контекста.
• Дополнительные инструменты: поиск, обработка файлов, embeddings, если они тарифицируются отдельно.
• Хранение: файлы, векторные базы и журналы у поставщика, если применимо.
• Интеграции: разработка и сопровождение соединения с вашими системами.
• Поддержка: реакция на изменения API и переход на новые версии моделей, когда прежние выводятся из эксплуатации.
• Контроль: мониторинг затрат, лимитов и качества, а также юридическая проверка условий обработки данных.

Сведите варианты к одинаковым строкам. Пустая ячейка означает, что расход ещё не оценён, а не что он бесплатный.

Большинство расходов API переменные и растут с числом запросов. Большинство расходов сервера постоянные: сумма почти не меняется от одного запроса до миллиона, пока система справляется.

Почему «2–4 GPU» — ещё не спецификация

Фраза «сервер на 2–4 RTX 4090 или A100» объединяет разные конфигурации.

Разные классы оборудования. RTX 4090 — потребительская видеокарта с 24 ГБ GDDR6X, мощностью 450 Вт и рекомендуемой мощностью системы 850 Вт; NVLink для объединения нескольких карт она не поддерживает. A100 — серверный ускоритель: версия на 80 ГБ использует HBM2e с пропускной способностью около 2 ТБ/с; максимальное энергопотребление составляет 300 Вт для PCIe и 400 Вт для SXM, NVLink — до 600 ГБ/с, также доступно разделение на изолированные экземпляры. Сравнивать эти устройства только по числу карт некорректно.

Память нужна не только для весов. Для учебного расчёта: Qwen3-8B содержит 8,2 млрд параметров. При формате BF16 по 2 байта на параметр одни веса занимают около 16,4 ГБ. На карте с 24 ГБ остаётся примерно 7–8 ГБ для остального, включая KV cache — памяти промежуточного состояния токенов каждого запроса. Чем длиннее контекст и чем больше одновременных запросов, тем больше нужно KV cache. Фрагментация и лишнее дублирование этой памяти могут снижать число параллельных запросов. Современные средства обслуживания моделей используют разные способы её эффективного управления, но результат зависит от модели, оборудования, контекста, конкурентности и целевой задержки. Его нужно измерять в своём сценарии.

Производительность измеряют, а не выводят из названия карты. Число пользователей зависит от модели, длины контекста, параллельности, программной среды и допустимой задержки. Нагрузочный тест должен измерять время до первого токена, интервал между токенами и общую пропускную способность при характерной интенсивности запросов, пиках и числе соединений. Такой тест на вашем профиле полезнее названия видеокарты.

Проверьте также корпус, питание, охлаждение, соединение карт и совместимость серверной платформы. Цены меняются, поэтому для расчёта нужны реальные коммерческие предложения на дату решения.

Как найти точку равновесия

Разделите постоянные и переменные расходы, затем найдите объём, при котором они сравняются:

постоянные расходы сервера в месяц ÷ (стоимость успешного запроса через API − переменная стоимость такого локального запроса) = объём равновесия

Формула применима, только если разница в скобках положительна. В примере ниже переменная локальная стоимость условно равна нулю: электричество и поддержка уже включены в месячную сумму. В реальном проекте зависимость этих затрат от нагрузки нужно измерить отдельно.

Учебный расчёт

Все значения ниже — условные учебные допущения, а не цены оборудования или измерения реального сервера.

• Оборудование: $12 000 на 36 месяцев = $333,33 в месяц.
• Условные электричество, размещение и поддержка: $450 в месяц.
• Итого: $783,33 в месяц без резерва, налогов и остаточной стоимости.
• Условная цена успешного API-запроса сопоставимого качества: $0,02.
• Формальная граница: $783,33 ÷ $0,02 ≈ 39 167 запросов в месяц, или около 1 300 в день.

Проверим чувствительность:

Месячный объём не показывает требования к пикам. Если запросы сосредоточены в рабочие часы, часть оплаченной мощности простаивает; API масштабируется вместе с нагрузкой в рамках лимитов аккаунта. Равномерный круглосуточный поток, например ночная обработка документов плюс дневные запросы, обычно лучше загружает сервер.

Точка равновесия имеет смысл при трёх условиях: сервер выдерживает объём и пики с приемлемой задержкой; локальная модель показывает сопоставимое качество на контрольной выборке; в сумме нет забытых расходов, особенно труда инженеров. Локально запускаемая модель автоматически не становится эквивалентом коммерческого API. Если она чаще ошибается, повторы, эскалации и ручные исправления повышают стоимость успешного запроса.

Гибридный вариант и решение

Не обязательно выбирать один вариант для всех задач. Частый, предсказуемый и разрешённый поток можно обрабатывать локально, а сложные или редкие задачи — подходящим API либо человеком.

Например, классификацию обращений и извлечение полей из стандартных документов можно проверить для локальной модели, если поток стабилен и контекст короткий; сложные клиентские ответы могут требовать более сильной модели через API. Если данные вообще нельзя передавать наружу, эта часть гибридной схемы отпадает.

Гибрид тоже нужно считать. Предположим, расходы сервера — $783,33 в месяц, API — $0,02 за запрос, локально выполняется 70% потока.

• 50 000 запросов в месяц. Только API: 50 000 × $0,02 = $1 000. Гибрид: $783,33 + 15 000 × $0,02 = $1 083,33 — дороже.
• 100 000 запросов в месяц. Только API: $2 000. Гибрид: $783,33 + 30 000 × $0,02 = $1 383,33 — дешевле.

Гибрид экономит деньги, когда поток, перенесённый на сервер, сам превышает границу равновесия. В первом примере это 35 000 запросов, во втором — 70 000 при условной границе 39 167.

Используйте простой порядок решения:

• Передача данных запрещена → локальный вариант или человек; посчитайте полную стоимость сервера с резервом.
• Нагрузка мала или нерегулярна → начните с API и пересмотрите решение при росте.
• Поток велик и стабилен, а модель проходит контроль качества → рассмотрите сервер или гибрид после нагрузочного теста.
• Нет команды для эксплуатации → включите стоимость подрядчика или выберите API.

Итоги и первые шаги

Собственный GPU-сервер не дешевле и не дороже API сам по себе. Стоимость зависит от нагрузки, качества и полноты расчёта; точку можно найти только на своих данных.

1. Запишите ограничения по данным, лицензии, языкам, качеству, пикам и допустимому простою.
2. Соберите полную стоимость обоих вариантов, разделив постоянные и переменные расходы.
3. Проверьте кандидатную локальную модель и API на одном контрольном наборе задач.
4. Проведите нагрузочный тест на характерном профиле запросов.
5. Рассчитайте несколько сценариев, включая разные тарифы API и резерв.
6. Оцените гибрид для частых и разрешённых задач.
7. Запишите решение и условия, при которых его нужно пересмотреть.

Обычно выбор зависит от реальной нагрузки, правил обработки данных и качества модели на ваших задачах. Если хотите разобрать эти переменные и составить модель затрат, обратитесь в BotLabs: обсудим исходные данные и измерения для пилота.

Частые вопросы