Técnicas de inferencia para la implementación de LLM local y en la nube

Resumen

Expand your AI development skills by learning to run Llama models on local machines and at scale in the cloud. Master the principles of LLM inference, apply quantization for efficiency, and design prompt pipelines for real-world tasks.

Through hands-on projects, you’ll deploy an LLM-enabled tool that demonstrates scalability, performance, and practical impact.

Programa

• Introducción a los LLM (Modelos de Lenguaje a Gran Escala)
Visión general de los modelos Llama
Conceptos clave en los LLM: Parámetros, entrenamiento e inferencia
• Principios de Inferencia en LLM
Entendiendo la inferencia en modelos de IA
Diferencias entre entrenamiento e inferencia
Desafíos en la inferencia de LLM
• Despliegue de LLM Local
Configuración de un entorno local para LLM
Ejecución de modelos Llama en máquinas locales
Optimización del rendimiento local
• Despliegue de LLM Basado en la Nube
Introducción a plataformas en la nube para IA
Despliegue de modelos Llama en la nube
Gestión de recursos en la nube para escalabilidad
• Eficiencia en la Inferencia de LLM
Técnicas para la optimización del modelo
Comprensión y aplicación de la cuantización
Equilibrio entre precisión y eficiencia
• Diseño de Cadenas de Prompts
Introducción a la ingeniería de prompts
Construcción y prueba de cadenas de prompts
Adaptación de prompts para diversas tareas
• Proyectos Prácticos
Proyecto 1: Desplegar un modelo Llama localmente
Proyecto 2: Escalar un LLM en una plataforma en la nube
Proyecto 3: Diseñar una cadena de prompts para una aplicación específica
• Evaluación y Monitoreo de Rendimiento
Métricas para evaluar el rendimiento del modelo
Herramientas para monitorear la eficiencia de la inferencia
Mejoras iterativas basadas en retroalimentación
• Aplicaciones Reales e Impacto
Estudios de caso de despliegue de LLM en la industria
Escalabilidad e implicaciones prácticas
Consideraciones éticas en el despliegue de LLM
• Resumen del Curso y Tendencias Futuras
Revisión de aprendizajes clave
Discusión sobre tecnologías emergentes y tendencias en LLM
Orientación para un aprendizaje y desarrollo adicional en el campo de la IA

---

Impartido por

Taught by Meta Staff

---

Materias

Computer Science