Экономика токена: как новые чипы NVIDIA снижают стоимость внедрения ИИ в 10 раз
Переход на архитектуру Blackwell в сочетании с открытыми моделями позволяет компаниям радикально сократить расходы на инференс, делая сложные AI-сценарии рентабельными.

Суть новости
Компания NVIDIA опубликовала данные о том, как переход на новую архитектуру графических процессоров Blackwell влияет на экономику искусственного интеллекта. Ключевые провайдеры инфраструктуры — Baseten, DeepInfra, Fireworks AI и Together AI — сообщают о снижении стоимости генерации токена (единицы информации в AI) до 10 раз по сравнению с предыдущим поколением чипов Hopper. Это изменение делает рентабельными сложные сценарии использования ИИ, которые ранее были слишком дорогими для массового внедрения.
Контекст: почему важна стоимость токена
В основе любого взаимодействия с генеративным ИИ лежит токен. Будь то диагностика в медицине, диалог в игре или ответ службы поддержки — все это последовательности токенов. Для бизнеса вопрос масштабирования ИИ упирается в «токеномику»: сколько стоит сгенерировать миллион токенов?
До недавнего времени высокая стоимость инференса (процесса работы нейросети) ограничивала применение мощных моделей. Компании были вынуждены выбирать: либо платить дорого за закрытые проприетарные модели, либо жертвовать качеством ради скорости и дешевизны. Появление открытых моделей пограничного уровня (frontier-level open source models) в сочетании с более эффективным железом меняет правила игры.

Изображение из источника
Детали и примеры из индустрии
NVIDIA приводит конкретные кейсы, показывающие, как оптимизация оборудования и программного стека влияет на бизнес-показатели:




