Escalar a 0 la Inferencia de Modelos de Lenguaje: Despliegue de Modelos Abiertos Rentable en GPUs Sin Servidor

Resumen

Descubra el enfoque innovador para desplegar modelos LLM en GPUs sin servidor que escalan eficientemente a cero durante la inactividad. Esta sesión lo guiará a través del proceso de ejecutar Ollama en estas infraestructuras avanzadas, permitiendo un despliegue rentable de LLM abiertos.

Obtenga control total sobre tanto los modelos como los datos privados, optimizando el rendimiento y el gasto.

Programa de estudio

• **Introducción a la Computación sin Servidor con GPU**
¿Qué es la computación sin servidor?
Beneficios de las infraestructuras sin servidor para AI/ML
Comprensión del uso de GPU y escalado
• **Visión General de Ollama y Despliegue de LLM**
¿Qué es Ollama?
Introducción a Modelos de Lenguaje de Gran Escala (LLMs)
Importancia de la privacidad del modelo y los datos
• **Configuración de un Entorno Sin Servidor**
Selección de un proveedor de nube
Configuración de recursos de GPU sin servidor
Configuración de seguridad y permisos de acceso
• **Despliegue de LLMs en GPUs Sin Servidor**
Instalación y configuración de Ollama
Selección y preparación del modelo
Empaquetado y despliegue de un LLM
• **Estrategias de Optimización de Costos**
Escalado a cero: Entendiendo y aprovechando estrategias de reducción de escala
Monitoreo del uso y costos
Implementación de disparadores basados en el uso
• **Mantenimiento de la Privacidad del Modelo y los Datos**
Asegurando que los datos se mantengan privados y seguros
Métodos para encriptar comunicaciones
Consideraciones de cumplimiento de GDPR y otras normativas de privacidad
• **Optimización del Rendimiento**
Técnicas para mejorar la velocidad de inferencia
Balance entre costo y rendimiento
Estudios de caso de soluciones de despliegue exitosas
• **Solución de Problemas y Soporte**
Problemas comunes y soluciones
Acceso a recursos de comunidad y soporte
Preparación para el futuro y mantenimiento de sistemas
• **Proyecto Final**
Desplegar un LLM de muestra usando GPUs sin servidor
Presentación y evaluación de la estrategia de despliegue
• **Conclusión del Curso y Direcciones Futuras**
Resumen de conceptos clave
Tendencias emergentes en despliegue de IA
Oportunidades para aprendizaje y exploración adicional

---

Asignaturas

Ciencias de la Computación