Data Engineering on AWS - A Streaming Data Pipeline Solution (Includes Labs)
AWS Skill Builder
352 Cours
Aperçu
Dans ce cours, vous apprendrez à construire une solution d'analyse des données en streaming en utilisant des services AWS, y compris Amazon Kinesis, Amazon Data Firehose et Amazon Managed Streaming for Apache Kafka (Amazon MSK). Kinesis est un service de streaming de données en temps réel massivement scalable et durable. Amazon MSK offre un service Apache Kafka sécurisé, entièrement géré et hautement disponible.
Vous apprendrez comment Kinesis et Amazon MSK s'intègrent avec les services AWS tels que AWS Glue et AWS Lambda. Le cours aborde les composants d'ingestion de données en continu, de stockage de flux et de traitement de flux du pipeline d'analyse de données. Vous apprendrez également à appliquer les meilleures pratiques de sécurité, de performance et de gestion des coûts à l'exploitation de Kinesis et d'Amazon MSK.
Le cours est divisé en différents modules. Les modules d'apprentissage introduisent de nouveaux concepts et les services AWS que vous pouvez utiliser pour construire votre solution. Les modules de laboratoire sont des activités pratiques, approfondies, avec des instructions étape par étape pour appliquer ce que vous avez appris.
Activités
Contenu interactif, vidéos, vérifications de connaissances, évaluations et laboratoires pratiques
Objectifs du cours
- Reconnaitre un défi client en matière d'analytique et décrire la solution AWS appropriée pour le résoudre en utilisant une architecture de données en streaming.
- Décrire les sources de données adaptées aux applications de streaming et comment ces données sont ingérées.
- Identifier les services de stockage à court et long terme pour les données en streaming.
- Décrire comment concevoir et implémenter des solutions de traitement de données en temps réel.
- Reconnaitre comment servir les données en streaming pour la consommation par les utilisateurs finaux.
- Décrire comment optimiser un pipeline de données en streaming en utilisant Amazon Kinesis, Amazon MSK et Amazon Redshift.
- Identifier les meilleures pratiques pour sécuriser un pipeline de données en streaming.
Public visé
- Ingénieur de données
- Analyste de données
- Architecte de données
- Ingénieur en intelligence économique
Compétences recommandées
- 2-3 ans d'expérience en ingénierie des données
- 1–2 ans d'expérience pratique avec les services AWS
- Avoir complété AWS Cloud Practitioner Essentials ou équivalent
- Avoir complété Fundamentals of Analytics on AWS Part 1 and 2
- Avoir complété Data Engineering on AWS – Foundations
Plan du cours
Module 1 : Construire une Solution de Pipeline de Données en Streaming (75 min)
Ce cours montre comment identifier, sélectionner et configurer les services AWS appropriés pour construire une solution de pipeline de données en streaming afin de répondre aux objectifs commerciaux d'un client fictif.
- Introduction
- Ingestion de Données depuis des Sources de Flux
- Stockage des Données en Streaming
- Traitement des Données
- Analyse des Données
- Évaluation finale
- Conclusion
Module 2 : Analytique en Streaming avec le Service Géré Apache Flink d'Amazon (Lab) (45 min)
Ce laboratoire est une activité pratique avec des instructions étape par étape pour construire un pipeline de traitement de flux en ingérant des données de clics et en enrichissant ces données avec des données de catalogue stockées dans Amazon Simple Storage Service (Amazon S3). Vous effectuerez une analyse sur les données enrichies pour identifier les ventes par catégorie en temps réel et visualiser les résultats.
- Aper
Programme
Enseigné par
Étiquettes
