Nvidia отметила, что благодаря усовершенствованиям в архитектуре Blackwell снижение стоимости инференса нейросетей достигло десятикратного уровня, а успех приписывают не только аппаратному обеспечению.

Сокращение стоимости инференса на архитектуре Nvidia Blackwell

Новые ускорители Nvidia Blackwell позволяют уменьшить цену запуска обученных систем ИИ в 4–10 раз. Это данные, опубликованные самой Nvidia. Однако без сопутствующих программных и инфраструктурных улучшений такой прирост недостижим.

Как удалось добиться значительного снижения затрат

* Перевод на Blackwell удваивает эффективность по сравнению с предыдущим поколением ускорителей.
* Использование форматов низкой точности (например NVFP4) дополнительно снижает расходы.

Практические примеры

Почему важны характеристики рабочей нагрузки

* Рассуждающие модели генерируют больше токенов, что требует более мощных ускорителей.
* Платформы используют *дезагрегированное обслуживание*: отдельный предварительный контекст и генерацию токенов, чтобы обрабатывать длинные последовательности эффективно.
* При больших объёмах генерации можно добиться до 10‑кратного прироста эффективности; при небольших – только до 4‑кратного.

Альтернативы Blackwell

Перевод на ускорители AMD Instinct MI300, Google TPU, Groq или Cerebras также снижает затраты. Ключевой момент — подобрать сочетание оборудования, ПО и моделей под конкретную рабочую нагрузку, а не просто использовать Blackwell.

Вывод:
Сокращение стоимости инференса достигается комплексным подходом: аппаратная мощь (Blackwell), открытые модели, оптимизированные стеки и правильное распределение задач. Это позволяет компаниям экономить до десятикратно на здравоохранении, играх, агентском ИИ и голосовой поддержке без потери качества или скорости.