Mise à l'échelle à 0 de l'inférence LLM : Déploiement de modèle ouvert rentable sur des GPU sans serveur

Aperçu

Discover the innovative approach to deploying LLM models on serverless GPUs that scale efficiently to zero during inactivity. This session will guide you through the process of running Ollama on these advanced infrastructures, allowing for cost-effective open LLM deployment.

Gain complete control over both models and private data, optimizing performance and expenditure.

Programme

• **Introduction à l'informatique GPU sans serveur**
Qu'est-ce que l'informatique sans serveur ?
Avantages des infrastructures sans serveur pour l'IA/ML
Comprendre l'utilisation et la mise à l'échelle des GPU
• **Aperçu d'Ollama et du déploiement de LLM**
Qu'est-ce que Ollama ?
Introduction aux grands modèles de langage (LLM)
Importance de la confidentialité des modèles et des données
• **Mise en place d'un environnement sans serveur**
Choisir un fournisseur de cloud
Configurer des ressources GPU sans serveur
Configurer la sécurité et les autorisations d'accès
• **Déploiement de LLM sur des GPU sans serveur**
Installer et configurer Ollama
Sélection et préparation du modèle
Conditionnement et déploiement d'un LLM
• **Stratégies d'optimisation des coûts**
Mise à l'échelle à zéro : comprendre et exploiter les stratégies de réduction
Surveillance de l'utilisation et des coûts
Mise en œuvre de déclencheurs basés sur l'utilisation
• **Maintien de la confidentialité des modèles et des données**
Assurer la confidentialité et la sécurité des données
Méthodes de chiffrement des communications
Considérations de conformité à la RGPD et autres réglementations sur la confidentialité
• **Optimisation des performances**
Techniques pour améliorer la vitesse d'inférence
Équilibrer le coût et la performance
Études de cas de solutions de déploiement réussies
• **Dépannage et support**
Problèmes courants et solutions
Accéder aux ressources communautaires et de support
Anticiper le futur et maintenir les systèmes
• **Projet de fin d'études**
Déployer un exemple de LLM en utilisant des GPU sans serveur
Présentation et évaluation de la stratégie de déploiement
• **Conclusion du cours et orientations futures**
Récapitulatif des concepts clés
Tendances émergentes dans le déploiement de l'IA
Opportunités d'apprentissage et d'exploration ultérieurs

---

Matières

Computer Science