IA générative : Fondations et Concepts

Aperçu

Ce cours offre un aperçu de différents concepts sous-jacents à l'intelligence artificielle générative, leurs principes mathématiques et leurs applications en ingénierie. L'accent sera mis sur la mise en œuvre pratique de l'intelligence artificielle générative, comprenant les réseaux neuronaux, le mécanisme d'attention et les modèles avancés d'apprentissage profond.

Programme

• Fondations des réseaux neuronaux et optimisation
Dans ce module, vous explorerez les fondements des réseaux neuronaux, y compris les perceptrons, les architectures et les algorithmes d'apprentissage. Vous approfondirez les méthodes d'optimisation essentielles pour un entraînement efficace, en vous concentrant sur des techniques avancées comme les méthodes de Newton et quasi-Newton, le momentum, RMSProp et les algorithmes d'optimisation Adam.
• Régularisation et techniques avancées
Ce module vous guide à travers les approches mathématiques des techniques de régularisation qui améliorent la généralisation des réseaux neuronaux et préviennent le surajustement. Vous analyserez des concepts incluant l'estimateur de risque non biaisé de Stein, la décomposition en valeurs propres, les méthodes d'ensemble, les mécanismes de dropout et les techniques de normalisation avancées telles que la normalisation par lots.
• Réseaux neuronaux convolutifs (CNN)
Dans ce module, vous examinerez les réseaux neuronaux convolutifs (CNN), y compris les opérations de convolution, le partage des paramètres, les méthodes de noyau et les structures de données multidimensionnelles. Vous explorerez les architectures CNN avancées, les techniques de régularisation, de normalisation, et les implications des noyaux aléatoires sur le comportement d'apprentissage du réseau.
• Modèles génératifs et apprentissage par maximum de vraisemblance
Dans ce module, vous analyserez les mathématiques sous-jacentes aux modèles génératifs et à l'estimation du maximum de vraisemblance (MLE). Vous explorerez les métriques de divergence telles que la divergence de Kullback-Leibler, les structures de réseaux bayésiens et les méthodes de modélisation autorégressive, en vous concentrant sur leurs fondements théoriques et leurs implications pratiques.

Enseigné par

Ramin Mohammadi

Sujets

Informatique