Escalar a 0 la Inferencia de Modelos de Lenguaje: Despliegue de Modelos Abiertos Rentable en GPUs Sin Servidor

Resumen

Descubra cómo ejecutar Ollama en GPUs sin servidor que se escalan de manera eficiente, incluso reduciéndose a cero cuando están inactivas, para un despliegue económico de LLM abiertos con control total sobre los modelos y datos privados.

Programa de estudio

• **Introducción a la Computación sin Servidor con GPU**
¿Qué es la computación sin servidor?
Beneficios de las infraestructuras sin servidor para AI/ML
Comprensión del uso de GPU y escalado
• **Visión General de Ollama y Despliegue de LLM**
¿Qué es Ollama?
Introducción a Modelos de Lenguaje de Gran Escala (LLMs)
Importancia de la privacidad del modelo y los datos
• **Configuración de un Entorno Sin Servidor**
Selección de un proveedor de nube
Configuración de recursos de GPU sin servidor
Configuración de seguridad y permisos de acceso
• **Despliegue de LLMs en GPUs Sin Servidor**
Instalación y configuración de Ollama
Selección y preparación del modelo
Empaquetado y despliegue de un LLM
• **Estrategias de Optimización de Costos**
Escalado a cero: Entendiendo y aprovechando estrategias de reducción de escala
Monitoreo del uso y costos
Implementación de disparadores basados en el uso
• **Mantenimiento de la Privacidad del Modelo y los Datos**
Asegurando que los datos se mantengan privados y seguros
Métodos para encriptar comunicaciones
Consideraciones de cumplimiento de GDPR y otras normativas de privacidad
• **Optimización del Rendimiento**
Técnicas para mejorar la velocidad de inferencia
Balance entre costo y rendimiento
Estudios de caso de soluciones de despliegue exitosas
• **Solución de Problemas y Soporte**
Problemas comunes y soluciones
Acceso a recursos de comunidad y soporte
Preparación para el futuro y mantenimiento de sistemas
• **Proyecto Final**
Desplegar un LLM de muestra usando GPUs sin servidor
Presentación y evaluación de la estrategia de despliegue
• **Conclusión del Curso y Direcciones Futuras**
Resumen de conceptos clave
Tendencias emergentes en despliegue de IA
Oportunidades para aprendizaje y exploración adicional

Asignaturas

Ciencias de la Computación