El servicio de telemetría de OpenAI sobrecarga los servidores de la API de Kubernetes
OpenAI desplegó un servicio de telemetría a las 3:12 PM PST el 11 de diciembre de 2024. La implementación sobrecargó los servidores de la API de Kubernetes en grandes clústeres, colapsando el descubrimiento de servicios DNS.
La configuración de telemetría causó que cada nodo en clústeres de miles emitiera llamadas a la API costosas. Esas llamadas saturaron los servidores de la API de Kubernetes, rompiendo la caché DNS que los pods usan para ubicarse entre sí.
La implementación de telemetría desencadena la saturación de la API
El nuevo servicio recopiló métricas detalladas del plano de control. En producción, cada nodo ejecutó operaciones de lista intensivas en recursos que se escalaron con el tamaño del clúster. Cuando miles de nodos realizaron esas operaciones simultáneamente, los servidores de la API se vieron abrumados.
La sobrecarga se manifestó como saturación del servidor de API. Los servidores de API dejaron de funcionar correctamente y el mecanismo de descubrimiento de servicios basado en DNS falló.
Colapso del plano de control
Las comprobaciones previas al despliegue de OpenAI midieron el uso de CPU y memoria por clúster, pero se perdieron la evaluación de la carga del servidor de API. El servicio de telemetría aumentó la carga en los servidores de API a través de solicitudes de autenticación y autorización generadas por kubelet en cada nodo.
El aumento en el tráfico de autenticación tensó al servidor de API mientras que otros componentes seguían funcionando. Los contenedores no se reiniciaron, pero la pérdida de DNS significó que los servicios ya no podían resolver los nombres de cada uno.
Contexto industrial más amplio
El incidente de OpenAI destaca un desafío común en la industria: equilibrar la necesidad de monitoreo y telemetría detallados con el impacto potencial en el rendimiento del sistema. A medida que la adopción de Kubernetes continúa creciendo, las empresas buscan cada vez más formas de optimizar sus clústeres para implementaciones a gran escala. La experiencia de OpenAI sirve como un recordatorio de la importancia de pruebas de carga exhaustivas y evaluaciones antes de desplegar nuevos servicios.
Historia de incidentes similares
Esto no es la primera vez que una empresa ha experimentado una interrupción debido a un servicio de telemetría o monitoreo. En el pasado, han ocurrido incidentes similares en otras organizaciones, a menudo debido a pruebas inadecuadas o falta de visibilidad en el rendimiento del sistema.
Mecánica técnica
La configuración del servicio de telemetría causó que cada nodo en cada clúster ejecutara operaciones de lista intensivas en recursos. Esto resultó en una gran cantidad de llamadas a la API realizadas a los servidores de la API de Kubernetes, lo que llevó a la saturación y eventual falla.
Implicaciones posteriores
El incidente tiene implicaciones significativas para OpenAI y la industria en general. Destaca la necesidad de procedimientos de prueba de carga y evaluación más sólidos, así como la importancia de monitorear el rendimiento del sistema en tiempo real.
Estrategias de mitigación y lecciones
Un análisis en profundidad plantea tres preguntas clave:
- ¿Cómo podría evaluarse mejor la carga antes del despliegue?
- ¿Cuáles son las implicaciones para la canalización con tráfico de producción?
- ¿Cómo puede el monitoreo reflejar la salud del plano de control?
Las estrategias de mitigación incluyen extraer métricas de un agregador central en lugar de que cada nodo emita llamadas a la API, o limitar la tasa de solicitud según el tamaño del clúster.