Redes Neuronales: De Cero a Héroe

Resumen

We start with the basics of backpropagation and build up to modern deep neural networks, like GPT. In my opinion language models are an excellent place to learn deep learning, even if your intention is to eventually go to other areas like computer vision because most of what you learn will be immediately transferable.

This is why we dive into and focus on languade models.Prerequisites:

solid programming (Python), intro-level math (e.g. derivative, gaussian).

Programa

• La introducción detallada a las redes neuronales y retropropagación: construyendo micrograd. Esta es la explicación más detallada y paso a paso de la retropropagación y entrenamiento de redes neuronales. Solo asume conocimientos básicos de Python y un vago recuerdo de cálculo de la escuela secundaria.
• La introducción detallada a la modelación del lenguaje: construyendo makemore. Implementamos un modelo de lenguaje a nivel de caracteres bigrama, que complejizaremos aún más en videos posteriores en un modelo de lenguaje Transformer moderno, como GPT. En este video, nos centramos en (1) introducir torch.Tensor y sus sutilezas y uso en la evaluación eficiente de redes neuronales y (2) el marco general de modelación del lenguaje que incluye el entrenamiento del modelo, muestreo, y la evaluación de una pérdida (por ejemplo, la negativa logaritmo de verosimilitud para clasificación).
• Construyendo makemore Parte 2: MLP. Implementamos un modelo de lenguaje a nivel de caracteres con perceptrón multicapa (MLP). En este video también presentamos muchos conceptos básicos de aprendizaje automático (por ejemplo, entrenamiento de modelos, ajuste de la tasa de aprendizaje, hiperparámetros, evaluación, divisiones de train/dev/test, subajuste/sobregeneralización, etc.).

---

Impartido por

Andrej Karpathy

---

Materias

Artificial Intelligence