Data Engineering on AWS - A Streaming Data Pipeline Solution (Includes Labs)

via AWS Skill Builder

Aperçu

Dans ce cours, vous apprendrez à construire une solution d'analyse des données en streaming en utilisant des services AWS, y compris Amazon Kinesis, Amazon Data Firehose et Amazon Managed Streaming for Apache Kafka (Amazon MSK). Kinesis est un service de streaming de données en temps réel massivement scalable et durable. Amazon MSK offre un service Apache Kafka sécurisé, entièrement géré et hautement disponible.

Vous apprendrez comment Kinesis et Amazon MSK s'intègrent avec les services AWS tels que AWS Glue et AWS Lambda. Le cours aborde les composants d'ingestion de données en continu, de stockage de flux et de traitement de flux du pipeline d'analyse de données. Vous apprendrez également à appliquer les meilleures pratiques de sécurité, de performance et de gestion des coûts à l'exploitation de Kinesis et d'Amazon MSK.

Le cours est divisé en différents modules. Les modules d'apprentissage introduisent de nouveaux concepts et les services AWS que vous pouvez utiliser pour construire votre solution. Les modules de laboratoire sont des activités pratiques, approfondies, avec des instructions étape par étape pour appliquer ce que vous avez appris.

Activités

Contenu interactif, vidéos, vérifications de connaissances, évaluations et laboratoires pratiques

Objectifs du cours

Reconnaitre un défi client en matière d'analytique et décrire la solution AWS appropriée pour le résoudre en utilisant une architecture de données en streaming.
Décrire les sources de données adaptées aux applications de streaming et comment ces données sont ingérées.
Identifier les services de stockage à court et long terme pour les données en streaming.
Décrire comment concevoir et implémenter des solutions de traitement de données en temps réel.
Reconnaitre comment servir les données en streaming pour la consommation par les utilisateurs finaux.
Décrire comment optimiser un pipeline de données en streaming en utilisant Amazon Kinesis, Amazon MSK et Amazon Redshift.
Identifier les meilleures pratiques pour sécuriser un pipeline de données en streaming.

Public visé

Ingénieur de données
Analyste de données
Architecte de données
Ingénieur en intelligence économique

Compétences recommandées

2-3 ans d'expérience en ingénierie des données
1–2 ans d'expérience pratique avec les services AWS
Avoir complété AWS Cloud Practitioner Essentials ou équivalent
Avoir complété Fundamentals of Analytics on AWS Part 1 and 2
Avoir complété Data Engineering on AWS – Foundations

Plan du cours

Module 1 : Construire une Solution de Pipeline de Données en Streaming (75 min)

Ce cours montre comment identifier, sélectionner et configurer les services AWS appropriés pour construire une solution de pipeline de données en streaming afin de répondre aux objectifs commerciaux d'un client fictif.

Introduction
Ingestion de Données depuis des Sources de Flux
Stockage des Données en Streaming
Traitement des Données
Analyse des Données
Évaluation finale
Conclusion

Module 2 : Analytique en Streaming avec le Service Géré Apache Flink d'Amazon (Lab) (45 min)

Ce laboratoire est une activité pratique avec des instructions étape par étape pour construire un pipeline de traitement de flux en ingérant des données de clics et en enrichissant ces données avec des données de catalogue stockées dans Amazon Simple Storage Service (Amazon S3). Vous effectuerez une analyse sur les données enrichies pour identifier les ventes par catégorie en temps réel et visualiser les résultats.