IA y ML: El Aspecto Operativo Crítico de Ejecutar Aplicaciones en Kubernetes

Resumen

Descubre cómo gestionar eficazmente las operaciones de IA y ML utilizando malla de servicios, centrándote en cargas de trabajo con GPU, multialquiler y escalado en entornos de Kubernetes para aplicaciones de ML confiables y observables.

Programa de estudio

• Introducción a Kubernetes para AI/ML
Vista general de la arquitectura de Kubernetes
Conceptos clave: pods, nodos y clusters
Fundamentos de redes en Kubernetes
• Comprensión de Cargas de Trabajo de AI y ML en Kubernetes
Características de las cargas de trabajo de AI/ML
Desafíos comunes al implementar AI/ML en Kubernetes
Introducción al uso de GPU en Kubernetes
• Fundamentos de Service Mesh
Definición y beneficios de un service mesh
Panorama de tecnologías populares de service mesh (Istio, Linkerd, etc.)
Implementación de un service mesh en Kubernetes para aplicaciones de AI/ML
• Gestión de Cargas de Trabajo de GPU con Kubernetes
Configuración de Kubernetes para el suministro de GPU
Mejores prácticas para la gestión de recursos de GPU
Herramientas y marcos para optimizar el rendimiento de cargas de trabajo de GPU
• Multitenencia en Kubernetes
Enfoques para lograr la multitenencia
Gestión de namespaces y cuotas de recursos
Consideraciones de seguridad en entornos multietapa
• Escalado de Aplicaciones AI/ML en Kubernetes
Autoscalado horizontal y vertical de pods
Estrategias de balanceo de carga y resiliencia
Manejo de cargas de trabajo con y sin estado
• Observabilidad y Monitoreo en Operaciones de AI/ML
Configuración de monitoreo para aplicaciones basadas en Kubernetes
Uso de herramientas como Prometheus y Grafana
Implementación de registro y trazabilidad
• Estudios de Caso y Mejores Prácticas
Ejemplos del mundo real de despliegues de AI/ML en Kubernetes
Lecciones aprendidas y mejores prácticas de la industria
• Resumen y Preguntas y Respuestas
Conclusiones clave del curso
Espacio abierto para preguntas y aclaraciones

Asignaturas

Programación