Cómo construir un lago de datos nativo en la nube con tecnologías de código abierto

Resumen

Join our comprehensive guide on building a cloud native data lake utilizing cutting-edge open source technologies. This session will walk you through deploying a Kubernetes-based data lake, from the initial setup phase to running a fully functional prototype on your local machine.

Gain hands-on experience and insights into creating data-driven solutions that are efficient and scalable. Perfect for learners interested in artificial intelligence and business courses.

Find this invaluable educational resource provided by YouTube.

Programa

• Introducción a los Lagos de Datos Nativos en la Nube
Visión general de las arquitecturas nativas en la nube
Beneficios de los lagos de datos para el almacenamiento y análisis de datos
• Fundamentos de Kubernetes
Comprensión de la orquestación de contenedores
Configuración de un clúster local de Kubernetes (Minikube, kind o K3s)
Operaciones básicas de Kubernetes: Pods, Servicios y Despliegues
• Tecnologías de Código Abierto para Lagos de Datos
Apache Hadoop y HDFS
Apache Spark para el procesamiento de datos
Apache Kafka para la ingestión de datos en tiempo real
• Capa de Almacenamiento
Configuración de sistemas de archivos distribuidos
Configuración de soluciones de almacenamiento de objetos (e.g., MinIO, Ceph)
• Ingesta de Datos
Configuración de canalizaciones de ingesta de datos con Kafka
Exploración de herramientas ETL como Apache NiFi y Apache Airflow
• Procesamiento de Datos
Ejecutar trabajos de Spark en Kubernetes
Implementación de procesamiento por lotes y en flujo
• Acceso a Datos y Consultas
Configuración de motores de consulta SQL (e.g., Presto, Trino)
Uso de Hive Metastore para la gestión de esquemas
• Seguridad y Gobernanza
Implementación de prácticas básicas de seguridad
Introducción a herramientas de gobernanza de datos (Apache Atlas)
• Monitoreo y Registro
Configuración de herramientas de monitoreo (Prometheus, Grafana)
Agregación de registros y monitoreo con el stack ELK (Elasticsearch, Logstash, Kibana)
• Implementación y Pruebas
Construcción de un prototipo de lago de datos en una máquina local
Realización de pruebas y validación de datos
• Estudio de Caso y Proyectos Prácticos
Estudios de caso de arquitectura de lagos de datos en el mundo real
Proyecto final: Implementación de un lago de datos nativo en la nube usando herramientas de código abierto en Kubernetes
• Conclusión y Tendencias Futuras
Tendencias emergentes en tecnologías de datos nativas en la nube
Examinar el futuro de los lagos de datos de código abierto

---

Materias

Business