Кто уже стоит
между токеном
и результатом.

FrugalGPT: How to Use Large Language Models While Reducing Cost

LLM cascades могут резко снижать cost на отдельных датасетах.

Исток headline 98% savings — и хороший урок, почему максимум на одном dataset нельзя продавать как typical production result.

RouteLLM: Learning to Route LLMs with Preference Data

Router может удерживать 95% качества сильной модели с меньшим числом дорогих вызовов.

Лучший мост от routing hype к distribution shift и OOD failure.

RouterBench: A Benchmark for Multi-LLM Routing Systems

Несколько умных routers не превосходят простой Zero Router на части задач.

Антидот против идеи, что model routing автоматически становится moat.

Rerouting LLM Routers

Adversarial confounders заставляют routers чаще выбирать дорогие модели.

Показывает, что optimization control surface сам становится attack surface.

Beyond Function Calling: Tool-Using Agents under Environment Unreliability

После failure 44–76% trajectories повторяют тот же tool.

Прямое evidence, почему request cost занижает cost of successful workflow.

Lost in the Middle

Больше context не гарантирует лучшее качество; позиция информации важна.

Связывает token reduction с quality: waste нельзя определять только объёмом.

State of FinOps 2026

98% respondent FinOps practices управляют AI spend; granular AI monitoring — top request.

Сильнейший сигнал, что проблема входит в существующую дисциплину.

2025 State of Generative AI in the Enterprise

Menlo оценивает enterprise GenAI spend в $37B.

Размер spend pool и application layer context.

State of AI: 100 Trillion Token Study

Programming и reasoning резко выросли в token mix; рынок моделей фрагментируется.

Редкий large-scale usage dataset.

State of AI Engineering

69% input tokens в sample были system prompts; cached reads использовались лишь в 28% calls.

Дает production-shaped optimization hypotheses.

Expensively Quadratic: The LLM Agent Cost Curve

Replay растущей истории делает agent loops дороже нелинейно.

Лучшее интуитивное объяснение скрытого fully loaded cost длинной trajectory.

HN discussion: Expensively Quadratic

Практики спорят о cache reads, tool outputs, context trimming и observability.

Полезная peer review поверх engineering post.

Code execution with MCP: building more efficient AI agents

Один workflow снизился примерно с 150k до 2k токенов.

Показывает, что architectural change может дать orders-of-magnitude больше, чем price shopping.

Code Mode: an entire API in 1,000 tokens

2,500+ endpoints: >1.17M tool-definition tokens → ~1k.

Очень сильный пример structural token reduction.

MCP vs CLI: Agent Cost & Reliability

В 75-run benchmark MCP тратил 4–32x tokens и был менее надёжен, чем CLI.

Редкий simultaneous cost+reliability comparison на tool workflows.

How We Cut LLM Costs by 59% With Prompt Caching

Cache hit rate вырос 7%→84%, vendor reports 59% cost reduction.

Production-shaped before/after на 20–40+ step agent.

Artificial Analysis methodology

Cost per task учитывает input, cache read/write, reasoning и answer tokens.

Нужный denominator shift от price/token к task economics.

AI tokens are another software-engineering resource

Databricks frames AI Gateway as centralized analysis/control for token usage.

Знаковый incumbent signal: control plane идет в platform engineering.

Stop paying the judge tax

Rare failures <1% can disappear under sampled observability; LLM judges create their own cost.

Показывает second-order economics evaluation itself.

NVIDIA NeMo Switchyard launch

Routing each workflow step is becoming a platform capability.

Strong bundling signal from the infrastructure layer.

A Codex project would have cost $23.28 at API prices

Subscription economics can hide the true marginal API-equivalent cost.

Useful micro-example of cost attribution across pricing models.

Why current LLM costs are not sustainable

Debate spans open weights, subscription subsidy, local models and falling unit cost.

Strong counter-case to a durable token-price pain thesis.

Managing AI Coding Costs at Scale

Routing, spend gates, caching, context reduction, evals and gateway converge into one platform problem.

Almost the complete strategic threat map in one incumbent post.

AI Cost Optimization Across 50+ LLMs

Anonymous SaaS case reports $1M+ savings and attribution across model/customer segments.

Rare production-shaped FinOps outcome case.

Runaway model-call retry loop bills $204 over two incidents

Activity-based liveness missed a busy retry stall: 1,333 calls, no final reply, $204.74.

Лучший свежий публичный incident artifact для semantic progress, retry ceilings и circuit breakers.

A unified API for AI model routing

Model abstraction и routing встраиваются в cloud API gateway.

Показывает, почему standalone routing layer испытывает bundling pressure.

Governing Models, Tools, and Agents with Azure API Management

Token limits, metrics, routing, fallback и MCP/A2A governance становятся частью обычного API management.

Полный transcript-level обзор bundled enterprise substitute.

BurnLens: cost per accepted outcome

Hard cap до вызова + workflow attribution + denominator с failed/rejected attempts.

Самый прямой свежий overlap с нашим wedge — полезен для product teardown.

Wattage: token-spend profiler and cost-regression gate

Trace detectors и CI gates связывают structural waste с quality-risk evidence.

Практическая реализация diagnosis → intervention guardrail.

Cost per task as the unit metric for AI spend

Failed attempts и escaped errors должны входить в стоимость завершённой задачи.

Язык для interview guide и product framing.

CursorBench 3.2: similar accuracy, very different cost per task

70.8% при $2.81/task против 70.5% при $17.32/task в quoted benchmark.

Свежий пример качества как constraint для routing.

TokenSpend: AI coding spend → shipped PR

Attribution сдвигается к shipped code и team-level spend.

Nascent category signal и direct product overlap.