Packages, macros et optimisation des performances dans dbt

Aperçu

Maintenir des projets dbt évolutifs et rentables devient un défi à mesure que les équipes de données se développent. Sans logique réutilisable et stratégies de performance, les modèles SQL deviennent répétitifs, inefficaces et coûteux à exécuter.

Dans ce cours, « Packages, Macros, et Optimisation de la Performance dans dbt », vous acquerrez la capacité d’étendre des projets dbt avec des packages réutilisables, d’automatiser la logique SQL avec des macros avancées, et d’optimiser les modèles pour la performance et l'efficacité économique. D'abord, vous explorerez comment améliorer votre flux de travail dbt en installant et en utilisant des packages communautaires comme dbt-utils et même en créant vos propres packages réutilisables.

Ensuite, vous découvrirez comment écrire des macros paramétrées et récursives en utilisant Jinja, et appliquer des boucles, des conditionnels, et des journaux pour une automatisation évolutive. Enfin, vous apprendrez à optimiser les modèles dbt en utilisant des matérialisations, le partitionnement et le clustering, tout en suivant les coûts et en améliorant l'efficacité de l'entrepôt.

Une fois ce cours terminé, vous aurez les compétences et les connaissances nécessaires en modélisation avancée dbt pour bâtir des pipelines de transformation des données évolutifs, automatisés et soucieux des coûts.

Programme

• Introduction aux packages et macros dbt
Aperçu de dbt et de son rôle dans la transformation des données
Importance de l'évolutivité et de l'efficacité dans les projets dbt
• Amélioration du flux de travail avec les packages dbt
Introduction à dbt-utils et autres packages de la communauté
Installation et gestion des packages dbt
Création de packages réutilisables personnalisés
Bonnes pratiques pour la gestion des packages
• Automatisation de la logique SQL avec des macros avancées
Introduction à Jinja et son rôle dans dbt
Écriture de macros paramétrées
Création de macros récursives pour des transformations complexes
Utilisation de boucles et de conditionnels dans les macros
Mise en œuvre de la journalisation et de la gestion des erreurs dans les macros
Bonnes pratiques pour le développement de macros
• Stratégies d'optimisation de la performance
Comprendre les matérialisations dbt et leur impact sur la performance
Mise en œuvre du partitionnement et du clustering pour une meilleure efficacité des requêtes
Analyse et optimisation de l'efficacité des coûts
Surveillance et contrôle des coûts des entrepôts de données
• Études de cas et applications pratiques
Exemples concrets de packages et de macros réutilisables
Scénarios d'optimisation des performances
Analyse des coûts et prise de décision
• Projet final et évaluation
Application des concepts du cours à un projet complet
Évaluations par les pairs et retours collaboratifs
Examen et discussion des défis et des solutions
• Conclusion et étapes suivantes
Récapitulatif des apprentissages clés et compétences acquises
Ressources pour approfondir et s'impliquer dans la communauté
Planification pour de futures améliorations dans vos projets dbt

Enseigné par

Pinal Dave

Sujets

Affaires