Réseaux Neuronaux : De Zéro à Héros

Aperçu

We start with the basics of backpropagation and build up to modern deep neural networks, like GPT. In my opinion language models are an excellent place to learn deep learning, even if your intention is to eventually go to other areas like computer vision because most of what you learn will be immediately transferable.

This is why we dive into and focus on languade models.Prerequisites:

solid programming (Python), intro-level math (e.g. derivative, gaussian).

Programme

• L'introduction détaillée aux réseaux neuronaux et à la rétropropagation : construire microgradC'est l'explication la plus détaillée étape par étape de la rétropropagation et de l'entraînement des réseaux neuronaux. Cela suppose seulement une connaissance de base de Python et un vague souvenir du calcul du lycée.
• L'introduction détaillée à la modélisation du langage : construire makemoreNous implémentons un modèle de langage caractère-par-caractère basé sur des bigrammes, que nous allons complexifier davantage dans des vidéos ultérieures pour le transformer en un modèle de langage Transformer moderne, comme GPT. Dans cette vidéo, l'accent est mis sur (1) l'introduction de torch.Tensor, ses subtilités et son utilisation dans l'évaluation efficace des réseaux neuronaux et (2) le cadre général de la modélisation du langage qui inclut l'entraînement du modèle, l'échantillonnage et l'évaluation d'une perte (par exemple, la log-vraisemblance négative pour la classification).
• Construire makemore Partie 2 : MPLNous implémentons un modèle de langage caractère-par-caractère à perceptron multicouche (MLP). Dans cette vidéo, nous introduisons également de nombreuses notions de base de l'apprentissage automatique (par exemple, l'entraînement du modèle, le réglage du taux d'apprentissage, les hyperparamètres, l'évaluation, les divisions entraînement/dev/test, sous/surajustement, etc.).

---

Enseigné par

Andrej Karpathy

---

Matières

Artificial Intelligence