Resumen
In this Google DeepMind course you will discover the mechanisms of the transformer architecture. In this Google DeepMind course you will discover the mechanisms of the transformer architecture.
You will investigate how transformer language models process prompts to make context-sensitive next-token predictions. Through practical activities you will explore the attention mechanism, visualize attention weights, and encounter advanced concepts like masked attention and multi-head attention.
You will also learn other techniques that are necessary to build neural networks that are well-suited to be used as language models. Finally, through activities on values, stakeholder mapping and community engagement, you will practice concrete tools for ensuring AI projects are developed with communities, not just for them.
Programa
- Introducción
En este módulo, reflexionarás sobre qué tokens en un prompt tienen el mayor impacto en la predicción del siguiente token. También visualizarás los pesos de atención del modelo Gemma para ver en qué tokens se basa el modelo al hacer predicciones. Por último, explorarás cómo los valores y perspectivas de la comunidad dan forma al significado e impacto de las tecnologías de IA.
- El mecanismo de atención
En este módulo, implementarás el mecanismo de atención. Aprenderás cómo se utiliza este mecanismo para combinar la información de los tokens individuales y crear embeddings que representan la información de un prompt completo. También reflexionarás sobre cómo las interacciones humanas cotidianas crean significado compartido y refuerzan valores como la comunidad, la pertenencia y el respeto. Además, considerarás lo que puede perderse cuando estas prácticas son reemplazadas por sistemas automatizados.
- Montaje de un transformador
En este módulo, aprenderás sobre otros componentes necesarios para construir un modelo de transformador. Investigarás la importancia de agregar información posicional a los tokens y verás de qué componentes consta un bloque de transformador. También explorarás el papel que desempeñan las perceptrones multicapa y la normalización en el bloque de transformador. Finalmente, recorrerás una implementación completa de un modelo de lenguaje de transformador e investigarás los parámetros que son parte de cada componente.
- Reflexión y práctica
En este módulo, aprenderás sobre las ventajas y desventajas de usar un modelo de transformador y descubrirás métodos sofisticados para generar textos con modelos de lenguaje. Además, considerarás cómo tecnologías como los chatbots son entendidas de manera diferente por distintos grupos, revelando por qué el compromiso significativo es esencial para evitar reforzar estereotipos, profundizar desigualdades o pasar por alto valores sociales. Verás cómo, al reconocer diversas perspectivas, los desarrolladores pueden diseñar IA que sea más inclusiva, justa y receptiva a las necesidades de la comunidad.
- Desafío
En este módulo, la actividad de mapeo de partes interesadas y valores sociales te ayudará a identificar quiénes se ven afectados por tu proyecto, qué valores les importan y cómo su influencia moldea los resultados. Esto será seguido por un diseño de mini-compromiso que te guiará para planificar formas simples y prácticas de involucrar a estos grupos para que sus perspectivas den forma significativa a tu proyecto de IA.
- Continúa tu viaje
En este módulo, tendrás la oportunidad de consultar recursos adicionales y lecturas complementarias para investigar más en detalle los temas que has cubierto. Finalmente, considerarás tus próximos pasos y cómo puedes construir sobre lo que has aprendido en el curso.
Impartido por
Google Cloud
Materias
Computer Science
