Консоль, в которой продуктовая команда запускает свою AI-модель, выбирая не GPU и настройки, а понятный баланс «скорость ↔ стоимость».
Чтобы запустить LLM в продакшен, нужно выбрать железо, батчинг, квантизацию и следить за задержками. Эти решения напрямую влияют на счёт, но понятны только узким специалистам.
Идея концепта — перевести технические параметры на язык бизнеса: один ползунок между скоростью и ценой и живой расчёт последствий.
Хочет контроль и цифры: задержки p50/p95, загрузку GPU, версии модели. Не терпит «магии» без объяснений.
Нужно быстро проверить идею: подключить модель к продукту и понять, сколько это будет стоить на реальном трафике.
Смотрят на счёт и экономию. Им нужна одна цифра и её динамика, а не графики латентности.
Из каталога или своя — из приватного реестра
Ползунок «скорость ↔ стоимость», железо подбирается само
Готовый OpenAI-совместимый эндпоинт и код для вставки
Трафик, задержки, GPU и стоимость в реальном времени
Технические параметры остаются доступны, но главная цифра — та, что попадёт в счёт.
Красная пунктирная линия показывает, сколько стоил бы запуск «как есть». Ценность сервиса видна без слов.
OpenAI-совместимый сниппет прямо в мастере: скопировал, вставил и уже работает в продукте.
Зелёный из айдентики стал цветом «работает и экономит», тёмная тема снижает усталость глаз в долгих сессиях, а моноширинный шрифт держит цифры ровными в колонках.
Евгений Леонов