Comment utiliser Kubernetes pour construire un lac de données pour les charges de travail en IA

Aperçu

Apprenez à construire un lac de données indépendant du cloud en utilisant Kubernetes, Rook et Ceph pour des charges de travail d'IA. Découvrez comment fournir un accès unifié aux données à travers plusieurs centres de données pour les data scientists et les développeurs.

Programme

• Introduction au cours
Aperçu des lacs de données et des charges de travail d'IA
Importance des solutions indépendantes du cloud
Structure et objectifs du cours
• Introduction à Kubernetes
Architecture et composants de Kubernetes
Concepts clés : Pods, nœuds et clusters
Bases du réseau et du stockage avec Kubernetes
• Comprendre Ceph et Rook
Introduction à Ceph : Architecture et composants
Rook : Orchestration de Ceph dans Kubernetes
Mise en place de Rook et Ceph dans un environnement Kubernetes
• Concevoir et construire un lac de données
Définition des exigences pour les charges de travail d'IA
Architecturer un lac de données évolutif avec Kubernetes
Exploiter le stockage d'objets avec Ceph dans Kubernetes
• Mise en œuvre du lac de données avec Kubernetes
Déploiement de Rook et Ceph pour le stockage du lac de données
Configuration des classes de stockage et des volumes persistants
Assurer l'accessibilité et la fiabilité des données
• Accès aux données et gestion
Fournir un accès unifié aux données à travers plusieurs centres de données
Mise en œuvre de la sécurité des données et de la gouvernance
Surveillance et gestion de la performance du lac de données
• Intégration avec les charges de travail d'IA
Connexion des cadres d'IA (par ex. TensorFlow, PyTorch) au lac de données
Meilleures pratiques pour l'ingestion et le prétraitement des données
Optimisation de l'accès aux données pour l'entraînement des modèles d'IA
• Stratégies de lacs de données indépendantes du cloud
Assurer la portabilité entre les fournisseurs de cloud
Considérations pour le déploiement hybride et multi-cloud
Utilisation des fonctionnalités de Kubernetes pour des opérations indépendantes du cloud
• Études de cas et exemples
Mises en œuvre réelles de lacs de données pour l'IA
Histoires de succès et leçons apprises
• Conclusion du cours
Récapitulatif des points d'apprentissage clés
Ressources supplémentaires et prochaines étapes
Questions & Réponses finales et retour sur le cours
• Projets pratiques et évaluations
Construire un mini lac de données sur un cluster Kubernetes local
Déployer et tester l'intégration des charges de travail d'IA avec Ceph

Sujets

Conférences