Problema
Todas as chamadas usam o mesmo modelo, com o mesmo esforço e prompts enormes. A fatura cresce mais rápido que o uso.
Solução
Cache de prompt e de respostas na entrada; um roteador escolhe modelo e nível de esforço por tipo de tarefa; custo é medido por tarefa concluída.
Quando usar
- →Volume alto de chamadas
- →Mistura de tarefas simples e complexas
- →Orçamento de IA sob pressão
## Trade-offs
- +Custo cai sem perder qualidade
- +Latência menor em tarefas simples
- −Roteamento errado degrada qualidade
- −Exige avaliação por rota