dbt sur Databricks

Aperçu

Êtes-vous prêt à libérer tout le potentiel de vos pipelines d'analyse de données ? dbt sur Databricks est un cours complet conçu pour les professionnels des données souhaitant maîtriser la transformation des données en utilisant dbt (outil de construction de données) sur la plateforme Databricks, en exploitant la puissance d'Apache Spark pour des flux de travail évolutifs et efficaces.

Programme

• Introduction à dbt et Databricks
Aperçu de dbt et de son rôle dans la transformation des données
Introduction à Databricks et Apache Spark
• Configuration de votre environnement
Installation de dbt sur Databricks
Configuration des profils dbt pour Databricks
• Fondamentaux de dbt
Comprendre le flux de travail dbt
Écriture de modèles dbt de base
Utilisation des macros et des variables
• Techniques avancées de dbt
Mise en œuvre de tests et documentation
Stratégies d'optimisation des modèles
Utilisation des hooks et des opérations
• Exploiter Apache Spark avec dbt
Aperçu de l'architecture Apache Spark
Intégration de Spark SQL avec les modèles dbt
Gestion de grands ensembles de données avec Spark
• Implémentation de dbt dans Databricks
Exécution de tâches dbt dans les notebooks Databricks
Planification et orchestration des exécutions dbt dans Databricks
• Qualité des données et tests
Bonnes pratiques pour les tests de données dans dbt
Automatisation des tests sur Databricks
• Débogage et optimisation
Identification et résolution des goulets d'étranglement de performance
Profilage et optimisation des requêtes avec dbt et Spark
• Cas d'usage et applications réelles
Études de cas sur les implémentations de dbt sur Databricks
Histoires de réussite dans l'industrie
• Projet de cours
Conception et mise en œuvre d'un pipeline de transformation de données en utilisant dbt sur Databricks
Présentation et examen par les pairs des projets
• Conclusion et prochaines étapes
Récapitulatif des concepts clés
Ressources pour un apprentissage et un développement ultérieurs

---

Enseigné par

Malvik Vaghadia

---

Sujets

Affaires