Python et PostgreSQL pour des entrepôts de données volumineux

Aperçu

Explorez des techniques pour gérer d'immenses entrepôts de données en utilisant Python et PostgreSQL, en abordant la mise en commun des connexions, la réplication des données, l'optimisation et les stratégies de requêtes efficaces.

Programme

• Introduction à Python et PostgreSQL
Aperçu de Python pour la gestion des données
Aperçu de PostgreSQL dans l'entreposage de données
• Mise en place de l'environnement
Installation et configuration de PostgreSQL
Mise en place de l'environnement de développement Python
Connexion de Python à PostgreSQL
• Pool de connexions dans PostgreSQL
Introduction au pool de connexions
Utilisation de Psycopg2 pour le pool de connexions
Bonnes pratiques pour la gestion des connexions
• Stratégies de réplication des données
Comprendre la réplication Postgres
Configuration de la réplication en streaming
Réplication logique et cas d'utilisation
• Optimisation de l'entreposage de données
Identification et conception de modèles de données
Stratégies d'indexation pour grandes volumétries
Stratégies de partitionnement
Nettoyage et analyse des bases de données
• Stratégies de requêtes efficaces
Planification et exécution de requêtes
Écriture de requêtes SQL optimisées
Utilisation de Explain et Analyze pour l'optimisation des performances
CTE et fonctions de fenêtre
• Techniques avancées en Python pour la gestion des données
Utilisation de Pandas et NumPy avec PostgreSQL
Pipelines ETL utilisant Python
Intégration de PostGIS pour les données géospatiales
• Sécurité et maintenance
Mise en œuvre des pratiques de sécurité des bases de données
Maintenance régulière et sauvegardes des bases de données
• Projet de fin d'études
Conception d'un entrepôt de données évolutif
Mise en œuvre des techniques d’optimisation
Présentation des résultats et des solutions

Sujets

Conférences