Enrutamiento (Routing)
El enrutamiento clasifica una entrada y la dirige al manejador, prompt o modelo especializado más adecuado. Mejora la calidad al optimizar cada camino para su caso y controla el coste enviando peticiones fáciles a modelos baratos y las difíciles a modelos capaces.
Definición
El enrutado es un patrón que clasifica cada petición entrante y la despacha al manejador o modelo más apropiado, de modo que las entradas fáciles usan caminos baratos y las difíciles, modelos capaces.
Problema
Un solo prompt o modelo manejando cada tipo de entrada hace cada una peor, y usar un modelo caro para todo malgasta dinero en peticiones fáciles.
Cuándo usarlo
Usa el enrutamiento cuando las entradas caen en categorías distintas que se benefician de un manejo diferente —distintos prompts, herramientas, modelos o flujos— y las categorías se pueden clasificar de forma fiable.
Solución
Un clasificador ligero (una llamada al LLM o un modelo) etiqueta la entrada, y luego un enrutador la envía al manejador adecuado. Cada manejador está especializado y optimizado para su categoría.
El enrutamiento también permite escalonar coste-rendimiento: enruta consultas simples a un modelo rápido y barato y las complejas a un modelo de razonamiento más fuerte, pagando por capacidad solo cuando hace falta.
Componentes
Beneficios
- Cada camino se optimiza para su caso, elevando la calidad.
- Control de coste escalonando modelos según la dificultad.
- La separación de responsabilidades mantiene simple cada manejador.
Riesgos
- La mala clasificación envía entradas por el camino equivocado.
- El clasificador añade un paso y algo de latencia.
- La deriva de categorías en el tiempo degrada la precisión.
Cuándo no usarlo
- Cuando las entradas son homogéneas: basta un manejador.
- Cuando las categorías no se pueden clasificar de forma fiable.
- Cuando el paso de clasificación añadido no compensa la ganancia.
Tecnologías
Ejemplos
- Enrutar tickets de soporte a manejadores de facturación, técnico o ventas.
- Enviar preguntas simples a un modelo pequeño y las difíciles a uno de razonamiento.
- Dirigir distintos tipos de documento a extractores específicos por tipo.
Evidencia de producción
- Contexto
- Cargas mixtas donde las peticiones varían mucho en dificultad o tipo: consultas de soporte, agentes con varias herramientas, selección de modelo.
- Escenario
- Un router ligero clasifica la entrada por intención y dificultad y la despacha al modelo o camino correspondiente, con una ruta por defecto para las entradas que no encajan bien en nada.
- Tecnología
- Un clasificador barato (reglas, embeddings o un modelo pequeño) colocado delante de varios manejadores o modelos especializados.
- Carga
- Una pequeña fracción de entradas difíciles va al camino caro; las entradas comunes y fáciles toman el camino barato, concentrando el gasto donde importa.
- Resultados
- Patrón observado: el enrutado reduce coste y latencia reservando los modelos capaces para las entradas que los necesitan, pero un mal enrutado puede costar mucho más que el ahorro. Optimiza por el coste de un mal enrutado, mantén el router barato, añade una ruta de respaldo y vigila la deriva de entradas.
KPIs
- Precisión de enrutado
- Proporción de entradas enviadas al manejador/modelo correcto; la métrica que define el valor del patrón.
- Ahorro vs. usar siempre el mejor modelo
- Dinero ahorrado al enrutar entradas fáciles a modelos más baratos en vez del mejor para todo.
- Coste de mal enrutado
- El daño posterior de rutas erróneas; un mal enrutado puede costar mucho más que el ahorro buscado.
- Sobrecoste de latencia del router
- Tiempo que la propia decisión de enrutado añade antes de empezar el trabajo real.
Modos de fallo observados
- Mala clasificación: el router envía una entrada al modelo o ruta equivocados, degradando la respuesta.
- Entradas ambiguas que no encajan bien en ninguna ruta y se fuerzan a una deficiente.
- El router se convierte en cuello de botella o punto único de fallo de cada petición.
- Deriva: la distribución de entradas cambia con el tiempo y las categorías del router quedan obsoletas.
Lecciones aprendidas
- Optimiza por el coste de un mal enrutado, no solo por la precisión: algunas rutas erróneas son mucho más caras que otras.
- Añade una ruta por defecto / de respaldo para entradas que no encajen bien en nada.
- Mantén el router barato y rápido; si cuesta tanto como el trabajo, pierde su sentido.
- Monitoriza la deriva de entradas y reajusta las rutas cuando cambie la distribución.
FAQs
- ¿Qué clasifica la entrada?
- Normalmente una llamada ligera al LLM o un modelo clasificador dedicado; para casos claros, reglas deterministas pueden enrutar sin modelo.
- ¿Cómo ahorra coste el enrutamiento?
- Escalonando: las peticiones fáciles van a modelos baratos y rápidos y solo las difíciles llegan a modelos de razonamiento caros, así pagas por capacidad solo cuando hace falta.
- ¿Y si el clasificador se equivoca?
- Provee una ruta por defecto sensata y monitoriza los errores de ruta; un manejador de respaldo y buena observabilidad limitan el impacto de la mala clasificación.