Ingénierie de données avancée avec Snowflake

Aperçu

Il s'agit d'un cours technique et pratique qui vous enseigne comment mettre en œuvre les meilleures pratiques DevOps pour construire des pipelines de données, et comment mettre en œuvre l'observabilité pour maintenir et surveiller la santé des pipelines de données. Le cours se concentre sur les concepts, fonctionnalités et outils Snowflake les plus pratiques pour vous familiariser rapidement avec ces concepts.

Vous commencerez par apprendre ce qu'est DevOps, les pratiques DevOps, et comment DevOps s'intègre dans le contexte de l'ingénierie des données. Vous intégrerez le contrôle de source, la gestion déclarative des objets de base de données, la livraison continue, et utiliserez une interface en ligne de commande pour appliquer les meilleures pratiques DevOps dans un pipeline de données.

Vous apprendrez spécifiquement à :

- Utiliser l'intégration git de Snowflake pour ajouter un contrôle de source à votre pipeline de données - Utiliser GitHub pour la collaboration à l'échelle de l'équipe sur votre pipeline de données - Utiliser CREATE OR ALTER pour gérer de manière déclarative les objets de base de données - Utiliser GitHub Actions pour mettre en œuvre une livraison continue pour votre pipeline - Utiliser Snowflake CLI pour déployer des modifications dans des environnements de données dédiés Vous apprendrez également l'observabilité, et comment la mettre en œuvre pour maintenir et surveiller la santé et la performance de votre pipeline de données. Vous apprendrez spécifiquement à :

- Utiliser les journaux pour garder une trace des événements qui se produisent dans votre pipeline - Utiliser les traces pour maintenir un parcours détaillé des événements pour les opérations dans votre pipeline - Utiliser des alertes pour surveiller des conditions spécifiques dans votre pipeline, et les combiner avec des notifications pour encourager l'action parmi les membres de l'équipe si des erreurs critiques surviennent dans le pipeline Tout au long du cours, vous suivrez l'instructeur en utilisant une combinaison de Snowflake, Visual Studio Code, GitHub et la ligne de commande.

Le cours est complété par des lectures contenant des ressources pour approfondir votre compréhension de concepts spécifiques. Vous repartirez en comprenant comment intégrer les meilleures pratiques DevOps dans les pipelines de données, et comment utiliser l'observabilité pour surveiller la santé et la performance des pipelines.

Programme

• DevOps avec Snowflake
Dans ce module, vous comprendrez comment DevOps aide les équipes de développement logiciel à itérer en toute sécurité et efficacité, et comment ces pratiques peuvent être appliquées dans le domaine de l'ingénierie des données. Vous apprendrez comment mettre en œuvre quelques meilleures pratiques clés de DevOps pour les pipelines de données. À savoir, vous apprendrez à mettre en œuvre le contrôle de version pour les objets de pipeline, comment gérer de manière déclarative les objets de base de données, et comment introduire des changements dans des environnements de développement de données dédiés en utilisant l'intégration continue. À la fin du module, vous comprendrez comment les pipelines de données peuvent être construits de manière collaborative par de grandes équipes, et comment ils peuvent évoluer efficacement et de manière fiable.
• Observabilité avec Snowflake
Dans ce module, vous apprendrez ce qu'est l'observabilité et comment elle peut être mise en œuvre pour surveiller la santé et la performance des pipelines de données. Vous apprendrez spécifiquement sur le cadre d'observabilité de Snowflake, Snowflake Trail, et comment mettre en œuvre ses composants principaux. Vous utiliserez des tables d'événements, des journaux et des traces pour mettre en œuvre des enregistrements détaillés des événements se produisant dans votre pipeline de données. Vous apprendrez également comment générer des alertes pour détecter des conditions spécifiques dans votre environnement de données, et comment les combiner avec des notifications pour communiquer des informations aux principales parties prenantes, comme une équipe d'ingénierie des données plus large.

Enseigné par

Snowflake Northstar

Sujets

Affaires