DP-3028
Implement Generative AI engineering with Azure Databricks
Información del
Programa
Curso DP-3028 Implement Generative AI engineering with Azure Databricks
En esta formación, explorarás cómo las capacidades de Inteligencia Artificial Generativa (Generative AI) pueden potenciar tus soluciones en Azure Databricks para responder a tareas complejas de procesamiento de lenguaje natural. Aprenderás a utilizar modelos de lenguaje grandes (LLMs) en distintos escenarios empresariales, desde la generación de contenido hasta la búsqueda contextual enriquecida. Además, adquirirás habilidades para implementar técnicas avanzadas como RAG (Retrieval Augmented Generation), razonamiento de múltiples etapas y ajuste fino de modelos de lenguaje.
Durante el curso, aprenderás a:
Diseñar soluciones que integren modelos de lenguaje para tareas como clasificación, análisis de sentimiento y resumen automático.
Implementar flujos de trabajo avanzados con frameworks como LangChain, LlamaIndex y DSPy.
Ajustar modelos de lenguaje de Azure OpenAI a contextos específicos usando datos personalizados.
Evaluar la calidad y efectividad de modelos generativos mediante métricas estandarizadas y prácticas de IA responsable.
Desplegar, versionar y operar modelos de lenguaje a escala mediante prácticas de LLMOps en Azure Databricks.
Este recorrido de aprendizaje te preparará para desarrollar e implementar soluciones modernas de IA generativa dentro de entornos empresariales, combinando rendimiento, escalabilidad y gobernanza de datos.
Objetivos
Diseñar e implementar soluciones con modelos de lenguaje grandes (LLMs) para tareas avanzadas de procesamiento de lenguaje natural (NLP) en Azure Databricks.
Aplicar técnicas de Retrieval Augmented Generation (RAG) para enriquecer las respuestas generadas mediante la combinación de modelos generativos y recuperación de información.
Desplegar y gestionar modelos de lenguaje con prácticas de LLMOps, utilizando herramientas como MLflow y Unity Catalog para asegurar gobernanza, trazabilidad y escalabilidad.
Temario
Comprender la inteligencia artificial generativa (Generative AI).
Comprender los modelos de lenguaje grandes (LLMs).
Identificar los componentes clave de las aplicaciones con LLMs.
Usar LLMs para tareas de procesamiento de lenguaje natural (NLP).
Ejercicio – Explorar modelos de lenguaje.
Explorar los conceptos principales de un flujo de trabajo RAG.
Preparar los datos para RAG.
Buscar datos relevantes con búsqueda vectorial.
Reordenar los resultados recuperados.
Ejercicio – Configurar RAG.
¿Qué son los sistemas de razonamiento por etapas?
Explorar LangChain.
Explorar LlamaIndex.
Explorar Haystack.
Explorar el framework DSPy.
Ejercicio – Implementar razonamiento de múltiples etapas con LangChain.
¿Qué es el ajuste fino (fine-tuning)?
Preparar los datos para el ajuste fino.
Ajustar un modelo de Azure OpenAI.
Ejercicio – Ajustar un modelo de Azure OpenAI.
Comparar evaluaciones de LLMs y modelos de ML tradicionales.
Evaluar LLMs y sistemas de IA.
Evaluar LLMs con métricas estándar.
Describir el enfoque LLM-as-a-judge para evaluación.
Ejercicio – Evaluar un modelo de Azure OpenAI.
¿Qué es la IA responsable?
Identificar riesgos.
Mitigar problemas.
Usar herramientas clave de seguridad para proteger sistemas de IA.
Ejercicio – Implementar IA responsable.
Transición de MLOps tradicional a LLMOps.
Comprender los despliegues de modelos.
Describir las capacidades de despliegue con MLflow.
Usar Unity Catalog para gestionar modelos.
Ejercicio – Implementar LLMOps.
