Teníamos un panel de monitorización precioso. Cuarenta gráficas, colores por todas partes, se veía impresionante en la pantalla grande de la oficina. Y no servía para nada. Lo sé porque un día se cayó el servicio de pagos durante veinte minutos y ese panel, en toda su gloria visual, no le dijo nada útil a nadie.
El problema de la observabilidad rara vez es técnico. Es humano. Construimos paneles para impresionar en las reuniones, no para ayudar a la persona que está de guardia a las tres de la mañana con los ojos medio cerrados.
Rehicimos todo con una regla incómoda: cada gráfica tenía que responder a una pregunta que alguien se hace de verdad durante un incidente. Si nadie podía nombrar esa pregunta, la gráfica se iba. Pasamos de cuarenta paneles a ocho. Y por primera vez, la gente los miraba.
Con las alertas fue peor, y más importante. Teníamos tantas que el equipo las había silenciado mentalmente. Fatiga de alertas, se llama, y es venenosa: cuando todo grita, nada se escucha. La alerta de disco lleno convivía con la de latencia crítica del pago, con la misma urgencia visual. Un desastre.
Hicimos una limpieza brutal en equipo. Cada alerta tenía que pasar un examen sencillo: ¿esto requiere que un humano actúe ahora mismo? Si la respuesta era no, no era una alerta, era como mucho un registro para revisar en horario de oficina. Recortamos el ochenta por ciento.
Lo interesante es lo que pasó con la moral del equipo. Cuando las guardias dejaron de ser una tortura de ruido constante, la gente empezó a ofrecerse voluntaria en vez de esconderse. Una alerta que suena significaba algo. Y responder a algo que importa cansa mucho menos que ahogarse en ruido que no importa.
La observabilidad buena no se mide en cantidad de datos. Se mide en la tranquilidad de la persona de guardia. Si tu monitorización no le hace la vida más fácil a quien responde de madrugada, es decoración, por muy bonita que sea en la pantalla grande.
– Sergey Shinder
Top comments (0)