Maîtriser Databricks SQL Warehouse et Spark SQL

Aperçu

Databricks SQL Warehouse est une technologie relativement nouvelle pour construire un Data Lakehouse ou un Data Warehouse en tirant parti du puissant moteur Apache Spark, où les analyses peuvent être réalisées à grande échelle. Dans le cadre de ce cours complet, vous apprendrez toutes les compétences clés nécessaires pour maîtriser Databricks SQL Warehouse, y compris Spark SQL, car le SQL dans Databricks SQL Warehouse est basé sur Spark SQL.

Programme

• Introduction à Databricks et au Data Lakehouse
Aperçu de la plateforme Databricks
Introduction à l'architecture du Data Lakehouse
Avantages de l'utilisation de Databricks SQL Warehouse
• Prise en main de Databricks SQL Warehouse
Configuration de votre environnement Databricks
Navigation de base et caractéristiques de l'interface
Comprendre les clusters et la scalabilité
• Fondamentaux de Spark SQL
Introduction à la syntaxe de Spark SQL
DataFrames et Datasets
Opérations SQL courantes dans Spark
• Fonctionnalités avancées de Spark SQL
Jointures, agrégations, et fonctions de fenêtre
Gestion des JSON, types complexes, et UDFs
Techniques d'optimisation des performances
• Création et requêtage des Databricks SQL Warehouses
Création et gestion des Databricks SQL Warehouses
Requêtage de données avec Spark SQL
Meilleures pratiques pour écrire des requêtes efficaces
• Intégration et ingestion de données
Connexion à diverses sources de données
Importation et ingestion de données dans Databricks
Processus ETL avec Databricks
• Cas d'utilisation réels de Databricks SQL Warehouse
Analytique et reporting
Intégrations de machine learning
Traitement de données en temps réel
• Sécurité, conformité et gouvernance
Accès utilisateur et permissions
Chiffrement des données et normes de conformité
Surveillance et audit
• Ateliers pratiques et projet de synthèse
Laboratoires pratiques : construction de pipelines de données
Projets de groupe : résolution de problèmes réels
Présentation et retour sur le projet de synthèse
• Conclusion et perspectives d'avenir
Récapitulatif et points clés
Tendances émergentes dans Databricks et Spark SQL
Ressources pour un apprentissage continu

---

Enseigné par

Durga Viswanatha Raju Gadiraju, Pratik Kumar, Sathvika Dandu, Madhuri Gadiraju, Sai Varma and Phani Bhushan Bozzam

---

Sujets

Science des données