DP-3027
Implement a data engineering solution with Azure Databricks
Información del
Programa
Curso DP-3027 Implement a data engineering solution with Azure Databricks
En este programa de aprendizaje intermedio aprenderás a diseñar y desplegar soluciones de ingeniería de datos escalables en la nube utilizando Azure Databricks. A lo largo de ocho módulos completos, explorarás herramientas clave como Apache Spark, Delta Lake y Delta Live Tables, además de implementar prácticas esenciales de CI/CD, automatización de cargas de trabajo, gobernanza de datos, consultorías con SQL Warehouses y orquestación con Azure Data Factory.
Al completar esta ruta, serás capaz de:
Configurar flujos de procesamiento incremental y en tiempo real con Spark Structured Streaming.
Diseñar patrones de arquitectura basados en eventos usando Delta Live Tables.
Optimizar el rendimiento y el coste de tus pipelines de datos.
Automate deployments mediante CI/CD, y gestionar errores, escalabilidad y parámetros en cargas de trabajo.
Implementar políticas de privacidad, seguridad y linaje de datos con el catálogo Unity.
Utilizar SQL Warehouses para la creación de consultorías y cuadros de mando.
Orquestar Notebooks y procesos ETL con Azure Data Factory.
Con una experiencia práctica progresiva y módulos equilibrados, este camino te prepara para asumir el rol de ingeniero/a de datos en entornos de alto rendimiento y requisitos empresariales rigurosos.
Objetivos
Diseñar e implementar pipelines de datos escalables utilizando Apache Spark y Delta Lake en Azure Databricks para procesar grandes volúmenes de datos de forma eficiente.
Configurar y optimizar cargas de trabajo de procesamiento en tiempo real mediante Spark Structured Streaming y Delta Live Tables, garantizando consistencia y bajo tiempo de respuesta.
Aplicar prácticas de gobernanza y seguridad de datos mediante herramientas como Unity Catalog, enmascaramiento, control de acceso y cumplimiento de normativas.
Temario
Configurar fuentes de datos en tiempo real para procesamiento incremental.
Optimizar Delta Lake para procesamiento incremental en Azure Databricks.
Gestionar datos tardíos y eventos fuera de orden en procesamiento incremental.
Estrategias de monitoreo y ajuste de rendimiento para procesamiento incremental en Azure Databricks.
Ejercicio – Ingesta y procesamiento en tiempo real con Delta Live Tables en Azure Databricks.
Arquitecturas impulsadas por eventos con Delta Live Tables.
Ingesta de datos con Structured Streaming.
Mantener la consistencia y confiabilidad de los datos con Structured Streaming.
Escalar cargas de trabajo de streaming con Delta Live Tables.
Ejercicio – Canalización de streaming de extremo a extremo con Delta Live Tables.
Optimizar el rendimiento con Spark y Delta Live Tables.
Realizar optimización basada en costos y ajuste de consultas.
Usar captura de datos de cambios (CDC).
Usar escalado automático mejorado.
Implementar observabilidad y métricas de calidad de datos.
Ejercicio – Optimizar canalizaciones de datos para un mejor rendimiento en Azure Databricks.
Implementar control de versiones e integración con Git.
Realizar pruebas unitarias y de integración.
Administrar y configurar el entorno.
Implementar estrategias de reversión y avance.
Ejercicio – Implementar flujos de trabajo CI/CD.
Implementar programación de trabajos y automatización.
Optimizar flujos de trabajo con parámetros.
Gestionar dependencias.
Implementar manejo de errores y mecanismos de reintento.
Explorar buenas prácticas y directrices.
Ejercicio – Automatizar la ingesta y procesamiento de datos.
Implementar técnicas de cifrado de datos en Azure Databricks.
Administrar controles de acceso en Azure Databricks.
Implementar enmascaramiento y anonimización de datos en Azure Databricks.
Usar marcos de cumplimiento y compartir datos de forma segura en Azure Databricks.
Usar linaje de datos y gestión de metadatos.
Implementar automatización de gobernanza en Azure Databricks.
Ejercicio – Práctica de implementación de Unity Catalog.
Introducción a SQL Warehouses.
Crear bases de datos y tablas.
Crear consultas y paneles.
Ejercicio – Usar un SQL Warehouse en Azure Databricks.
Comprender notebooks y canalizaciones en Azure Databricks.
Crear un servicio vinculado para Azure Databricks.
Usar una actividad de Notebook en una canalización.
Usar parámetros en un notebook.
Ejercicio – Ejecutar un Notebook de Azure Databricks con Azure Data Factory.
