Base de données Snowflake dans le cloud avec ELT (Airflow+Python+Talend)

Aperçu

Dans notre cours précédent Snowflake Masterclass [Démos en temps réel + Meilleures pratiques + Laboratoires], nous avons plongé en profondeur et compris les fondamentaux de Snowflake, résolu de nombreux exercices, et compris les meilleures pratiques pour charger et décharger des données.

Programme

• Introduction à Snowflake et ELT
Aperçu de l'architecture de Snowflake
Introduction aux concepts ELT
Mise en place de votre environnement Snowflake
• Chargement de données avec Snowflake
Techniques d'ingestion de données
Meilleures pratiques pour le chargement de données
Atelier pratique : Chargement de données dans Snowflake
• Introduction à Apache Airflow
Comprendre l'architecture et les composants d'Airflow
Mise en place d'un environnement Airflow
Définir et programmer des workflows
• Intégration d'Airflow avec Snowflake
Écriture et orchestration de DAGs pour Snowflake
Surveillance et maintien des workflows
Atelier pratique : Création d'un DAG Airflow pour le pipeline Snowflake
• Python pour le traitement des données
Bases de Python pour ETL/ELT
Utilisation des bibliothèques Python (Pandas, NumPy) pour la transformation des données
Atelier pratique : Scripts de transformation de données en Python
• Talend pour la transformation des données
Introduction à Talend Studio
Conception de workflows de transformation de données avec Talend
Meilleures pratiques pour utiliser Talend avec Snowflake
• Construction d’un pipeline ELT de bout en bout
Intégration d'Airflow, Python et Talend pour l'ELT
Orchestration de workflows complexes
Atelier pratique : Construction d'un pipeline ELT de bout en bout
• Meilleures pratiques et optimisation
Optimisation des performances pour les processus ELT
Considérations de sécurité avec Snowflake
Résolution des problèmes courants d'ELT
• Projet de synthèse
Conception et mise en œuvre d'une solution ELT complète
Présentations et évaluations par les pairs
• Conclusion et prochaines étapes
Résumé du cours et points clés
Ressources pour un apprentissage complémentaire et certifications

Enseigné par

Pradeep H C

Sujets

Affaires