Dos ingenieros de Amazon cambiaron Claude Sonnet 4.6 por Strands Decider, un modelo de decisión, para etiquetar tickets en uno de los sistemas internos más grandes de la empresa.
El resultado que reportan: la misma calidad, 98 % menos costo y un ahorro anual que calculan en millones de dólares.
Qué es un modelo de decisión y por qué no escribe texto
Un modelo de decisión no genera prosa. Recibe un estado (el ticket), una pregunta y un conjunto cerrado de opciones (las 20 categorías del sistema). Devuelve una probabilidad para cada opción y una puntuación de confianza. Nada más.
Antes, el equipo usaba Sonnet 4.6 con un prompt largo de sistema y le pedía JSON con el razonamiento y la etiqueta. Funcionaba, pero pagaba por tokens de entrada, tokens de salida y una latencia que no aportaba nada al resultado final. Para una tarea de clasificación, el texto sobraba.
Los números: de 4.215 ms a 897 ms por llamada
| Métrica | Claude Sonnet 4.6 | Strands Decider E4B | Mejora |
|---|---|---|---|
| Tiempo medio por llamada | 4.215 ms | 897 ms | 78 % |
| Tokens de entrada por ticket | 6.554 | 2.009 | — |
| Tokens de salida por ticket | 170 | 1 | — |
| Tokens totales por ticket | 6.724 | 2.010 | 70 % |
La caída de tokens tiene dos causas. El modelo de decisión entrega una sola salida, la opción elegida, en lugar de un JSON completo. Y el prompt se acortó: las descripciones de las 20 etiquetas no cabían en la ventana de 4.096 tokens, así que el equipo las reescribió como criterios de una o dos frases.
Cómo lo probaron sin apostar a ciegas
Empezaron con Strands Decider 2B y probaron una variante E4B sobre Gemma 4 que daba mejores resultados. Después ajustaron el umbral de confianza: si el modelo no estaba seguro, el ticket no se etiquetaba automáticamente.
La validación fue un interruptor de tres vías. En tráfico real, ambos modelos se ejecutaban en paralelo y el equipo revisaba cada desacuerdo. Eso les dio una señal que ninguna evaluación offline reproduce. Si algo salía mal, volver atrás tomaba unos 45 segundos.
En producción, la variante E4B corre en instancias SageMaker ml.g5.xlarge, ocupa unos 19 GiB y tarda cerca de 640 ms por solicitud en una instancia. Son detalles del blog, sin réplica independiente.
Cuándo no conviene reemplazar tu LLM
El propio equipo marca los límites. Si tus etiquetas necesitan una explicación escrita, si el catálogo cambia cada semana o si el contexto útil no cabe en unos miles de tokens, un modelo de decisión no va a reemplazar al LLM. Tampoco sirve si la tarea exige generar texto que alguien va a leer.
Hay otra advertencia que no aparece en el titular: todas las cifras las publica el proveedor. No hubo auditoría externa ni una comparación con otros equipos de Amazon. El 98 % es plausible para esta tarea, pero no es una ley universal.
La lección práctica es más pequeña y más útil: antes de subir de modelo, mide cuántos tokens gastas en tareas que solo eligen entre opciones. Puede que la respuesta sea un modelo de 2B y no uno de frontera. El mercado ya premia ese cálculo, y los presupuestos de IA empiezan a notarlo.
¿Tu clasificador usa un modelo grande por comodidad o porque de verdad necesita escribir? Esa es la pregunta que este caso deja sobre la mesa.
Más en: Inteligencia Artificial, Programación
