Resumen
Train more powerful models with a single GPU, learn how hardware can speed up model training and the key considerations when training models on a GPU. Train more powerful models with a single GPU.
In this course, you will learn how hardware can speed up model training and the key considerations when training models on a GPU. First, you will learn how to estimate the number of computations and the amount of computer memory required to train large neural networks.
You will then discover techniques for reducing the computing and memory requirements when training a model. Techniques which you will apply for fine-tuning a Gemma model with 4 billion parameters.
Finally, you will consider the potential environmental impacts of machine learning, with a focus on where questions of energy, water, and e-waste intersect with justice and equity.
Programa
- Introducción
En este módulo, aprenderás sobre hardware especializado para entrenar modelos de redes neuronales, llamados Unidades de Procesamiento Gráfico (GPUs). Explorarás el equilibrio entre la eficiencia del modelo, es decir, la rapidez con la que se puede entrenar y hacer predicciones, y el rendimiento, es decir, cuán bien puede resolver una tarea un modelo. Verás que los modelos con más parámetros generalmente funcionan mejor, pero también pueden ser más lentos y requerir más memoria de computadora. También mapearás a las partes interesadas afectadas por los potenciales impactos ambientales de la IA, como el uso de energía, el consumo de agua y los desechos electrónicos, para ver cómo diferentes grupos experimentan tanto riesgos como beneficios potenciales. Este ejercicio te ayudará a entender por qué la justicia ambiental en la IA requiere considerar perspectivas diversas, desde comunidades locales hasta desarrolladores, legisladores y generaciones futuras.
- Computación
En este módulo, descubrirás qué cálculos se realizan cuando entrenas un modelo en una GPU y qué cálculos se realizan durante la inferencia. Aprenderás cómo las computadoras representan números y cómo cambiar la representación numérica afecta los cálculos y los requisitos de memoria de la computadora. Explorarás técnicas para reducir el esfuerzo computacional sin reducir, o con muy poca reducción, el rendimiento del modelo. También explorarás tu propio papel como desarrollador al mapear tu huella de carbono y el impacto positivo que puedes lograr a través de elecciones que reduzcan el uso de energía y el consumo de recursos en la cadena de IA. Esta reflexión te ayudará a ver cómo las decisiones técnicas cotidianas, como el tamaño del modelo o el lugar de entrenamiento, se conectan directamente con objetivos más amplios de sostenibilidad y justicia ambiental.
- Memoria de GPU
En este módulo, explorarás los detalles sobre la memoria al entrenar modelos y realizar inferencias en una GPU. Aprenderás a estimar cuánta memoria de computadora necesitas para entrenar un modelo específico. Luego experimentarás y aplicarás métodos para disminuir los requisitos de memoria, como representar números como bfloat16.
- Otras consideraciones
En este módulo, obtendrás una visión general de técnicas más avanzadas para reducir los requisitos de memoria. Aprenderás sobre la acumulación de gradiente y cómo puede utilizarse como una alternativa a tamaños de lote más grandes, y aplicarás esta técnica para ajustar un modelo con 4 mil millones de parámetros.
- Desafío
En este módulo, reflexionarás sobre cómo las demandas energéticas de la IA intersectan con cuestiones de acceso, equidad y justicia ambiental en África, sopesando tanto los beneficios potenciales como los riesgos. En la actividad de desafío, ampliarás esta reflexión diseñando un plan de sostenibilidad para tu propio proyecto LLM, asegurando que se alinee con los principios de equidad, responsabilidad y justicia energética.
- Continúa tu viaje
En este módulo, tendrás la oportunidad de consultar recursos adicionales y lecturas complementarias para investigar los temas que has cubierto con más detalle. Finalmente, considerarás tus próximos pasos y cómo puedes construir sobre lo que has aprendido en el curso.
Impartido por
Google Cloud
Materias
Computer Science
