Escalar a 0 la Inferencia de Modelos de Lenguaje: Despliegue de Modelos Abiertos Rentable en GPUs Sin Servidor

Resumen

Discover the innovative approach to deploying LLM models on serverless GPUs that scale efficiently to zero during inactivity. This session will guide you through the process of running Ollama on these advanced infrastructures, allowing for cost-effective open LLM deployment.

Gain complete control over both models and private data, optimizing performance and expenditure.

Programa

• **Introducción a la Computación sin Servidor con GPU**
¿Qué es la computación sin servidor?
Beneficios de las infraestructuras sin servidor para AI/ML
Comprensión del uso de GPU y escalado
• **Visión General de Ollama y Despliegue de LLM**
¿Qué es Ollama?
Introducción a Modelos de Lenguaje de Gran Escala (LLMs)
Importancia de la privacidad del modelo y los datos
• **Configuración de un Entorno Sin Servidor**
Selección de un proveedor de nube
Configuración de recursos de GPU sin servidor
Configuración de seguridad y permisos de acceso
• **Despliegue de LLMs en GPUs Sin Servidor**
Instalación y configuración de Ollama
Selección y preparación del modelo
Empaquetado y despliegue de un LLM
• **Estrategias de Optimización de Costos**
Escalado a cero: Entendiendo y aprovechando estrategias de reducción de escala
Monitoreo del uso y costos
Implementación de disparadores basados en el uso
• **Mantenimiento de la Privacidad del Modelo y los Datos**
Asegurando que los datos se mantengan privados y seguros
Métodos para encriptar comunicaciones
Consideraciones de cumplimiento de GDPR y otras normativas de privacidad
• **Optimización del Rendimiento**
Técnicas para mejorar la velocidad de inferencia
Balance entre costo y rendimiento
Estudios de caso de soluciones de despliegue exitosas
• **Solución de Problemas y Soporte**
Problemas comunes y soluciones
Acceso a recursos de comunidad y soporte
Preparación para el futuro y mantenimiento de sistemas
• **Proyecto Final**
Desplegar un LLM de muestra usando GPUs sin servidor
Presentación y evaluación de la estrategia de despliegue
• **Conclusión del Curso y Direcciones Futuras**
Resumen de conceptos clave
Tendencias emergentes en despliegue de IA
Oportunidades para aprendizaje y exploración adicional

---

Materias

Computer Science