Integración de Data Lakes y ClickHouse - Comprendiendo los Formatos de Tablas Abiertas y el Análisis en Tiempo Real

Resumen

Explore la integración de data lakes con ClickHouse®, abarcando los formatos Parquet, Iceberg, y la implementación de análisis en tiempo real utilizando Apache Spark y Kafka para el procesamiento de datos a gran escala.

Programa de estudio

• Introducción a los Lagos de Datos
Panorama General de Lagos de Datos vs. Almacenes de Datos
Beneficios de los Lagos de Datos para el Análisis a Gran Escala
Tecnologías Clave que Impulsan los Lagos de Datos
• Panorama de ClickHouse
Introducción a ClickHouse y su Arquitectura
Configuración e Instalación de ClickHouse para la Integración de Datos
Ventajas de Usar ClickHouse para Análisis en Tiempo Real
• Formatos de Tabla Abiertos
Introducción al Formato Parquet
Estructura y Beneficios de Parquet
Lectura y Escritura de Parquet con ClickHouse
Introducción al Formato Apache Iceberg
Características y Casos de Uso de Iceberg
Integración de Iceberg con ClickHouse
• Análisis en Tiempo Real con Apache Spark
Introducción a Apache Spark para el Procesamiento de Grandes Datos
Configuración de Spark para la Integración con ClickHouse
Transformación de Datos sobre la Marcha usando Apache Spark
• Transmisión de Datos en Tiempo Real con Apache Kafka
Comprendiendo Apache Kafka y sus Componentes
Configuración de Kafka y Mejores Prácticas para Lagos de Datos
Transmisión de Datos a ClickHouse a través de Kafka
• Integración de Lagos de Datos con ClickHouse
Estrategias para Carga Eficiente de Datos
Optimización de Consultas para Cargas de Trabajo Mixtas
Estudios de Caso y Ejemplos de Integración de Lagos de Datos
• Laboratorios Prácticos
Configuración de un Lago de Datos con ClickHouse
Practicando la Conversión de Formatos de Datos (Parquet, Iceberg)
Implementación de Tuberías de Datos en Tiempo Real con Kafka y Spark
• Conclusión y Tendencias Futuras
Revisión de los Aprendizajes Clave
Exploración de Tendencias Emergentes en Lagos de Datos y Análisis en Tiempo Real
Hoja de Ruta para Aprendizaje y Exploración Adicionales
• Recursos y Lecturas Adicionales
Libros y Artículos Recomendados
Tutoriales en Línea y Documentación
Foros de la Comunidad y Canales de Soporte

Asignaturas

Negocios