dbt sur Databricks

Aperçu

Are you ready to unlock the full potential of your data analytics pipelines? dbt on Databricks is a comprehensive course tailored for data professionals aiming to master data transformation using dbt (data build tool) on the Databricks platform, harnessing the power of Apache Spark for scalable and efficient workflows.

Programme

• Introduction à dbt et Databricks
Aperçu de dbt et de son rôle dans la transformation des données
Introduction à Databricks et Apache Spark
• Configuration de votre environnement
Installation de dbt sur Databricks
Configuration des profils dbt pour Databricks
• Fondamentaux de dbt
Comprendre le flux de travail dbt
Écriture de modèles dbt de base
Utilisation des macros et des variables
• Techniques avancées de dbt
Mise en œuvre de tests et documentation
Stratégies d'optimisation des modèles
Utilisation des hooks et des opérations
• Exploiter Apache Spark avec dbt
Aperçu de l'architecture Apache Spark
Intégration de Spark SQL avec les modèles dbt
Gestion de grands ensembles de données avec Spark
• Implémentation de dbt dans Databricks
Exécution de tâches dbt dans les notebooks Databricks
Planification et orchestration des exécutions dbt dans Databricks
• Qualité des données et tests
Bonnes pratiques pour les tests de données dans dbt
Automatisation des tests sur Databricks
• Débogage et optimisation
Identification et résolution des goulets d'étranglement de performance
Profilage et optimisation des requêtes avec dbt et Spark
• Cas d'usage et applications réelles
Études de cas sur les implémentations de dbt sur Databricks
Histoires de réussite dans l'industrie
• Projet de cours
Conception et mise en œuvre d'un pipeline de transformation de données en utilisant dbt sur Databricks
Présentation et examen par les pairs des projets
• Conclusion et prochaines étapes
Récapitulatif des concepts clés
Ressources pour un apprentissage et un développement ultérieurs

---

Enseigné par

Malvik Vaghadia

---

Matières

Business