Cómo usar Kubernetes para construir un lago de datos para cargas de trabajo de IA

Resumen

Aprende a construir un lago de datos agnóstico en la nube utilizando Kubernetes, Rook y Ceph para cargas de trabajo de IA. Descubre cómo proporcionar acceso de datos unificado en múltiples centros de datos para científicos de datos y desarrolladores.

Programa de estudio

• Introducción del Curso
Visión General de Lagos de Datos y Cargas de Trabajo de IA
Importancia de Soluciones Independientes de la Nube
Estructura y Objetivos del Curso
• Introducción a Kubernetes
Arquitectura y Componentes de Kubernetes
Conceptos Clave: Pods, Nodos y Clusters
Fundamentos de Redes y Almacenamiento en Kubernetes
• Entendiendo Ceph y Rook
Introducción a Ceph: Arquitectura y Componentes
Rook: Orquestando Ceph en Kubernetes
Configuración de Rook y Ceph en un Entorno de Kubernetes
• Diseñando y Construyendo un Lago de Datos
Definiendo Requisitos para Cargas de Trabajo de IA
Arquitectura de un Lago de Datos Escalable con Kubernetes
Aprovechamiento de Almacenamiento de Objetos con Ceph en Kubernetes
• Implementación de Lago de Datos con Kubernetes
Despliegue de Rook y Ceph para Almacenamiento de Lago de Datos
Configuración de Clases de Almacenamiento y Volúmenes Persistentes
Garantizando Accesibilidad y Fiabilidad de los Datos
• Acceso y Gestión de Datos
Proporcionando Acceso Unificado a Datos a Través de Múltiples Centros de Datos
Implementación de Seguridad de Datos y Gobernanza
Monitoreo y Gestión del Rendimiento del Lago de Datos
• Integración con Cargas de Trabajo de IA
Conexión de Marcos de IA (p. ej., TensorFlow, PyTorch) al Lago de Datos
Mejores Prácticas para Ingesta y Preprocesamiento de Datos
Optimización del Acceso a los Datos para Entrenamiento de Modelos de IA
• Estrategias de Lagos de Datos Independientes de la Nube
Garantizando Portabilidad a Través de Proveedores de Nube
Consideraciones para Despliegue Híbrido y Multi-Nube
Uso de Funciones de Kubernetes para Operaciones Independientes de la Nube
• Estudios de Caso y Ejemplos
Implementaciones Reales de Lagos de Datos para IA
Historias de Éxito y Lecciones Aprendidas
• Conclusión del Curso
Resumen de Puntos Clave Aprendidos
Recursos Adicionales y Pasos Siguientes
Preguntas y Respuestas Finales y Retroalimentación del Curso
• Proyectos Prácticos y Evaluaciones
Construcción de un Mini Lago de Datos en un Cluster Local de Kubernetes
Despliegue y Prueba de Integración de Carga de Trabajo de IA con Ceph

Asignaturas

Charlas de Conferencia