Ingénierie de données avancée avec Snowflake

Aperçu

This is a technical, hands-on course that teaches you how to implement DevOps best practices to build data pipelines, and how to implement observability to maintain and monitor data pipeline health. The course focuses on the most practical Snowflake concepts, features, and tools to get you up and running quickly with these concepts.

You'll start by learning about DevOps, DevOps practices, and how DevOps fits into the context of data engineering. You'll incorporate source control, declarative management of database objects, continuous delivery, and use a command-line interface to implement DevOps best practices into a data pipeline.

You'll specifically learn how to:

- Use Snowflake's git integration to add source control to your data pipeline - Use GitHub for team-wide collaboration on your data pipeline - Use CREATE OR ALTER to declaratively manage database objects - Use GitHub Actions to implement continuous delivery for your pipeline - Use Snowflake CLI to deploy changes into dedicated data environments You'll also learn about observability, and how to implement it to maintain and monitor the health and performance of your data pipeline. You'll specifically learn how to:

- Use logs to keep a record of events that occur within your pipeline - Use traces to maintain a detailed journey of events for operations in your pipeline - Use alerts to monitor for specific conditions in your pipeline, and combine them with notifications to encourage action among team members if critical errors occur in the pipeline Throughout the course, you'll follow along with the instructor using a combination of Snowflake, Visual Studio Code, GitHub, and the command line.

The course is supplemented with readings containing resources to level up your understanding of specific concepts. You'll come away understanding how to incorporate DevOps best practices into data pipelines, and how to use observability to monitor the health and performance of pipelines.

Programme

• DevOps avec Snowflake
Dans ce module, vous comprendrez comment DevOps aide les équipes de développement logiciel à itérer en toute sécurité et efficacité, et comment ces pratiques peuvent être appliquées dans le domaine de l'ingénierie des données. Vous apprendrez comment mettre en œuvre quelques meilleures pratiques clés de DevOps pour les pipelines de données. À savoir, vous apprendrez à mettre en œuvre le contrôle de version pour les objets de pipeline, comment gérer de manière déclarative les objets de base de données, et comment introduire des changements dans des environnements de développement de données dédiés en utilisant l'intégration continue. À la fin du module, vous comprendrez comment les pipelines de données peuvent être construits de manière collaborative par de grandes équipes, et comment ils peuvent évoluer efficacement et de manière fiable.
• Observabilité avec Snowflake
Dans ce module, vous apprendrez ce qu'est l'observabilité et comment elle peut être mise en œuvre pour surveiller la santé et la performance des pipelines de données. Vous apprendrez spécifiquement sur le cadre d'observabilité de Snowflake, Snowflake Trail, et comment mettre en œuvre ses composants principaux. Vous utiliserez des tables d'événements, des journaux et des traces pour mettre en œuvre des enregistrements détaillés des événements se produisant dans votre pipeline de données. Vous apprendrez également comment générer des alertes pour détecter des conditions spécifiques dans votre environnement de données, et comment les combiner avec des notifications pour communiquer des informations aux principales parties prenantes, comme une équipe d'ingénierie des données plus large.

Enseigné par

Snowflake Northstar

Matières

Business