IA générative : Fondations et Concepts

Aperçu

This course provides an overview of some different concepts underpinning Generative AI, their mathematical principles, and their applications in engineering. The focus will be on the practical implementation of generative AI including, neural networks, attention mechanism, and advanced deep learning models.

Programme

• Fondations des réseaux neuronaux et optimisation
Dans ce module, vous explorerez les fondements des réseaux neuronaux, y compris les perceptrons, les architectures et les algorithmes d'apprentissage. Vous approfondirez les méthodes d'optimisation essentielles pour un entraînement efficace, en vous concentrant sur des techniques avancées comme les méthodes de Newton et quasi-Newton, le momentum, RMSProp et les algorithmes d'optimisation Adam.
• Régularisation et techniques avancées
Ce module vous guide à travers les approches mathématiques des techniques de régularisation qui améliorent la généralisation des réseaux neuronaux et préviennent le surajustement. Vous analyserez des concepts incluant l'estimateur de risque non biaisé de Stein, la décomposition en valeurs propres, les méthodes d'ensemble, les mécanismes de dropout et les techniques de normalisation avancées telles que la normalisation par lots.
• Réseaux neuronaux convolutifs (CNN)
Dans ce module, vous examinerez les réseaux neuronaux convolutifs (CNN), y compris les opérations de convolution, le partage des paramètres, les méthodes de noyau et les structures de données multidimensionnelles. Vous explorerez les architectures CNN avancées, les techniques de régularisation, de normalisation, et les implications des noyaux aléatoires sur le comportement d'apprentissage du réseau.
• Modèles génératifs et apprentissage par maximum de vraisemblance
Dans ce module, vous analyserez les mathématiques sous-jacentes aux modèles génératifs et à l'estimation du maximum de vraisemblance (MLE). Vous explorerez les métriques de divergence telles que la divergence de Kullback-Leibler, les structures de réseaux bayésiens et les méthodes de modélisation autorégressive, en vous concentrant sur leurs fondements théoriques et leurs implications pratiques.

---

Enseigné par

Ramin Mohammadi

---

Matières

Computer Science