Créer un lac de données sécurisé sur AWS à l'aide d'AWS Lake Formation

Aperçu

Dans ce cours, nous allons créer un lac de données en utilisant AWS Lake Formation et apporter des capacités d'entrepôt de données au lac de données pour former l'architecture "lakehouse" en utilisant Amazon Redshift. Avec Lake Formation, nous collectons et cataloguons également des données provenant de différentes sources, déplaçons les données dans notre lac de données S3, puis les nettoyons et les classifions.

Programme

• Introduction aux lacs de données et à l'architecture Lakehouse
Aperçu des lacs de données
Comprendre l'architecture Lakehouse
Concepts clés dans AWS Lake Formation et Amazon Redshift
• Configuration de l’environnement AWS
Introduction aux services AWS nécessaires
Configuration d’AWS Identity and Access Management (IAM)
Configuration des compartiments AWS Simple Storage Service (S3)
• Introduction à AWS Lake Formation
Aperçu des fonctionnalités d’AWS Lake Formation
Comprendre les permissions de Lake Formation
• Création d’un lac de données dans AWS Lake Formation
Enregistrement des emplacements S3
Création de bases de données et de tables dans le catalogue de données
Utilisation de Blueprints pour l'importation de données
• Ingestion et catalogage des données
Collecte de données à partir de diverses sources
Automatisation du mouvement de données vers S3 avec Lake Formation
Catalogage des données avec AWS Glue
• Nettoyage et classification des données
Meilleures pratiques de nettoyage des données
Utilisation de transformations et de classificateurs dans Lake Formation
Assurer la qualité et la cohérence des données
• Construction de Lakehouse avec Amazon Redshift
Configuration des clusters Redshift
Intégration de Redshift avec Lake Formation
Interrogation de données à travers le lac de données avec Redshift Spectrum
• Sécurité et gestion des accès
Mise en œuvre de contrôles d'accès aux données granulaires
Configuration du chiffrement des données et des paramètres de confidentialité
Audit et surveillance de l'activité des données
• Sujets avancés dans Lake Formation
Automatisation des workflows avec AWS Glue et Step Functions
Mise en œuvre de modèles d'apprentissage automatique dans le lac de données
• Étude de cas et projet pratique
Exemple réel de construction d'un lac de données sécurisé
Projet de groupe : Concevoir et mettre en œuvre une mini-architecture lakehouse
• Révision et prochaines étapes
Meilleures pratiques pour maintenir un lac de données
Futures fonctionnalités et mises à jour d'AWS dans la technologie des lacs de données
Ressources pour aller plus loin dans l'apprentissage

Enseigné par

Yomi Owoyemi

Sujets

Affaires