Base de datos Snowflake: Consejos, técnicas y cosas interesantes

Resumen

Snowflake fue fundada en 2012 y se lanzó a finales de 2014. La empresa fue fundada por Benoit Dageville, Thierry Cruanes y Marcin Żukowski, quienes, entre ellos, tienen más de 120 patentes.

Dageville (PhD) pasó 16 años en Oracle como arquitecto. Cruanes pasó 13 años en Oracle enfocado en las capas de optimización y paralelización en las bases de datos de Oracle, incluyendo su papel como líder del grupo de optimización.

Żukowski inventó la ejecución de consultas vectorizada para bases de datos. Su innovación surgió de su investigación de doctorado sobre la optimización de la ejecución de consultas de bases de datos para procesadores modernos.

Estos tres gigantes han creado una empresa que actualmente gestiona 250 petabytes, cuenta con 1,300 socios, más de 4,000 clientes y $265 millones en ingresos en 2020.

Programa de estudio

• Introducción a Snowflake
Resumen de la historia de Snowflake y sus fundadores
Innovaciones y tecnologías clave
Comprensión de la arquitectura de Snowflake
• Configuración y gestión de Snowflake
Creación y gestión de cuentas
Seguridad y controles de acceso
Configuración de autenticación multifactor
• Carga y descarga de datos
Carga de datos desde almacenamiento en la nube (AWS S3, Azure Blob, Google Cloud Storage)
Descarga de datos a ubicaciones externas
Mejores prácticas para la ingestión de datos
• Arquitectura de Snowflake y conceptos clave
Comprensión de almacenes virtuales
Estrategias de agrupamiento y particionamiento
Uso compartido de datos y capacidades únicas de compartición de Snowflake
• Optimización del rendimiento de consultas
Ejecución de consultas y planes de consulta
Aprovechamiento del almacenamiento en caché de resultados y conjuntos de resultados de consultas
Técnicas para optimizar los costos de almacenamiento y procesamiento
• Funciones avanzadas y técnicas
Viaje en el tiempo y versionado de datos
Comprensión de Fail-safe y recuperación de datos
Uso de procedimientos almacenados y UDFs (Funciones Definidas por el Usuario)
• Integración con herramientas de BI e ingeniería de datos
Conexión de Snowflake con Tableau, Looker y otras herramientas de BI
Estrategias de integración con herramientas ETL y pipelines de datos
Procesamiento de datos en tiempo real e integración con Kafka
• Seguridad y cumplimiento
Métodos y protocolos de cifrado
Comprensión de estándares de cumplimiento (por ejemplo, GDPR, HIPAA)
Acceso basado en roles y políticas de red
• Monitoreo y gestión de Snowflake
Uso de herramientas de monitoreo y paneles de Snowflake
Gestión de costos y optimización del uso
Escalabilidad y manejo de picos de carga
• Estudios de casos y aplicaciones del mundo real
Implementaciones específicas de la industria
Lecciones aprendidas y mejores prácticas de clientes existentes
Tendencias futuras y evolución del ecosistema de Snowflake
• Conclusión del curso
Resumen de aprendizajes clave y conclusiones
Recursos adicionales y lecturas complementarias
Sesión de preguntas y respuestas y discusión

Enseñado por

Randy Minder

Asignaturas

Negocios