Snowflake - Construire et architecturer des pipelines de données en utilisant AWS

Aperçu

Mise à jour du cours en février 2023 :

Ce cours a été mis à jour avec l'API Snowpark qui couvre les UDF, les procédures stockées pour l'ETL et comprend également les déploiements de cas d'utilisation en apprentissage automatique. Ce cours vous aidera à réussir les certifications avancées SnowPro.

Programme

• Introduction à Snowflake et AWS
Vue d'ensemble de l'entreposage de données dans le cloud
Introduction à l'architecture de Snowflake
Notions de base sur les services AWS pour les pipelines de données
• Configuration de Snowflake sur AWS
Création et configuration de comptes Snowflake
Rôles et permissions IAM dans AWS pour Snowflake
• Chargement et déchargement de données dans Snowflake
Techniques efficaces de chargement de données
Utilisation de la commande COPY et des tables externes
Bonnes pratiques pour le déchargement de données
• Construction de pipelines de données
Conception de pipelines de données efficaces
Automatisation avec Snowpipe
Intégration d'AWS Lambda pour l'orchestration
• API Snowpark et UDFs
Introduction à l'API Snowpark en Python/Java
Développement de fonctions définies par l'utilisateur (UDFs)
Test et déploiement des UDFs
• Procédures stockées pour ETL
Écriture et débogage des procédures stockées
Utilisation des procédures stockées pour ETL complexe
Planification et automatisation des procédures stockées
• Cas d'utilisation de l'apprentissage automatique avec Snowflake
Introduction à l'apprentissage automatique dans Snowflake
Préparation des données pour l'apprentissage automatique
Déploiement de modèles et intégration avec les pipelines de données
• Techniques d'optimisation avancées
Optimisation des performances des requêtes dans Snowflake
Utilisation des vues matérialisées
Mise à l'échelle et optimisation des ressources dans AWS
• Préparation aux certifications avancées SnowPro
Vue d'ensemble de l'examen et stratégies de préparation
Sujets clés et ressources d'étude
• Conclusion du cours
Résumé et revue des concepts clés
Projet final : Concevoir un pipeline de données complet
Q&A et discussion ouverte

Enseigné par

Sid Raghunath

Sujets

Affaires