Observabilidad de modelos: detectar el drift antes de que afecte al negocio

Poner un modelo en producción no es la meta; es el principio de su vida operativa. A partir de ahí, su entorno cambia: cambian los clientes, los precios, la estacionalidad, los sistemas que lo alimentan. Sin vigilancia, un modelo que ayer acertaba puede estar tomando malas decisiones hoy sin que nadie lo sepa.

¿Qué tipos de drift existen?

• Data drift (drift de datos): la distribución de las variables de entrada cambia respecto al entrenamiento (p. ej. nuevos rangos de precios).
• Concept drift (drift de concepto): cambia la relación entre entradas y salida; lo que predecía el comportamiento ya no aplica (p. ej. tras un cambio de hábitos de compra).
• Drift de predicción: la distribución de las salidas del modelo se desvía, una señal temprana aunque no tengas aún el resultado real.
• Problemas de calidad de datos: valores nulos, esquemas rotos o retrasos en los pipelines que ensucian la entrada.

¿Qué hay que monitorear?

Una particularidad del ML: el ground truth (el resultado real) suele llegar con retraso. Por eso monitorear entradas y predicciones es clave: dan señales tempranas antes de poder calcular la precisión real.

¿Cómo construir alertas útiles?

1. 1Define una línea base (los datos y métricas del entrenamiento o de un periodo sano).
2. 2Elige medidas de desviación adecuadas para comparar distribuciones a lo largo del tiempo.
3. 3Fija umbrales con sentido de negocio, no solo estadístico, para evitar el ruido de alertas.
4. 4Conecta la alerta a una acción: investigar, reentrenar con un pipeline versionado o revertir a una versión previa.

Una alerta que nadie sabe cómo accionar es ruido. La observabilidad útil termina en una decisión: investigar, reentrenar o revertir.

La observabilidad es una de las capacidades que distingue a un sistema con MLOps maduro de un piloto que se quedó sin dueño.