Cómo construir un lago de datos nativo en la nube con tecnologías de código abierto

Resumen

Descubra cómo implementar un lago de datos basado en Kubernetes utilizando herramientas de código abierto, desde la configuración inicial hasta ejecutar una plataforma prototipo completa en su máquina local.

Programa de estudio

• Introducción a los Lagos de Datos Nativos en la Nube
Visión general de las arquitecturas nativas en la nube
Beneficios de los lagos de datos para el almacenamiento y análisis de datos
• Fundamentos de Kubernetes
Comprensión de la orquestación de contenedores
Configuración de un clúster local de Kubernetes (Minikube, kind o K3s)
Operaciones básicas de Kubernetes: Pods, Servicios y Despliegues
• Tecnologías de Código Abierto para Lagos de Datos
Apache Hadoop y HDFS
Apache Spark para el procesamiento de datos
Apache Kafka para la ingestión de datos en tiempo real
• Capa de Almacenamiento
Configuración de sistemas de archivos distribuidos
Configuración de soluciones de almacenamiento de objetos (e.g., MinIO, Ceph)
• Ingesta de Datos
Configuración de canalizaciones de ingesta de datos con Kafka
Exploración de herramientas ETL como Apache NiFi y Apache Airflow
• Procesamiento de Datos
Ejecutar trabajos de Spark en Kubernetes
Implementación de procesamiento por lotes y en flujo
• Acceso a Datos y Consultas
Configuración de motores de consulta SQL (e.g., Presto, Trino)
Uso de Hive Metastore para la gestión de esquemas
• Seguridad y Gobernanza
Implementación de prácticas básicas de seguridad
Introducción a herramientas de gobernanza de datos (Apache Atlas)
• Monitoreo y Registro
Configuración de herramientas de monitoreo (Prometheus, Grafana)
Agregación de registros y monitoreo con el stack ELK (Elasticsearch, Logstash, Kibana)
• Implementación y Pruebas
Construcción de un prototipo de lago de datos en una máquina local
Realización de pruebas y validación de datos
• Estudio de Caso y Proyectos Prácticos
Estudios de caso de arquitectura de lagos de datos en el mundo real
Proyecto final: Implementación de un lago de datos nativo en la nube usando herramientas de código abierto en Kubernetes
• Conclusión y Tendencias Futuras
Tendencias emergentes en tecnologías de datos nativas en la nube
Examinar el futuro de los lagos de datos de código abierto

Asignaturas

Negocios