Aplicaciones Modernas de la IA Generativa

Resumen

From Control to Emergent Intelligence focuses on helping learners understand how generative AI behavior is shaped, guided, and extended, moving from surface-level interaction to a systems-level perspective. The course begins with how humans control models at inference time through prompting strategies and sampling parameters, then steps back to examine how models are shaped during training through reinforcement learning, fine-tuning, and feedback.

Learners develop a clear mental distinction between intelligence that is baked into a model during training and intelligence that emerges at inference time through structure, reasoning, tools, and memory. This framing allows learners to see modern generative AI not as a static tool, but as a dynamic system whose behavior depends on both how it was trained and how it is used.

As the course progresses, learners move beyond single prompts to structured reasoning, model comparison, and evaluation across different architectures and ecosystems, including open-source and mixture-of-experts models. They then explore how tools, memory, and context persistence allow AI systems to operate across time, enabling action-oriented workflows rather than isolated responses.

The course concludes with real-world applications across domains such as coding, business, accessibility, and creative work, paired with individual-level ethical reflection on what it means to work alongside AI systems. By the end of Course 2, learners understand not only how to use generative AI effectively today, but how the combination of control, feedback, reasoning, evaluation, and external capabilities gives rise to more autonomous behavior, setting the foundation for agents and more advanced systems explored in Course 3.

Programa

• Introducción al Curso
Aplicaciones Modernas de la IA Generativa se centra en ayudar a los estudiantes a comprender cómo el comportamiento de la IA generativa se forma, guía y extiende, pasando de una interacción superficial a una perspectiva a nivel de sistemas. El curso comienza con cómo los humanos controlan los modelos durante la inferencia a través de estrategias de solicitud y parámetros de muestreo, luego retrocede para examinar cómo los modelos se forman durante el entrenamiento mediante el aprendizaje por refuerzo, ajuste fino y retroalimentación. Los estudiantes desarrollan una distinción mental clara entre la inteligencia que se incorpora en un modelo durante el entrenamiento y la inteligencia que surge durante la inferencia a través de la estructura, el razonamiento, las herramientas y la memoria. Este marco permite a los estudiantes ver la IA generativa moderna no como una herramienta estática, sino como un sistema dinámico cuyo comportamiento depende tanto de cómo fue entrenado como de cómo se utiliza.
• Parámetros de Control y Solicitación
Esta semana enfatiza que la solicitación y el muestreo guían el comportamiento sin cambiar el modelo subyacente. Al revisar brevemente conceptos anteriores como transformers y arquitecturas generativas multimodales, los estudiantes sitúan la solicitación dentro del panorama más amplio de la IA mientras se enfocan en el control práctico. La semana cierra planteando una pregunta clave: si los usuarios pueden moldear el comportamiento de manera tan efectiva durante la inferencia, ¿cómo aprende el modelo qué comportamiento "bueno" es en primer lugar? Esa pregunta lleva directamente a la exploración de la próxima semana sobre entrenamiento, aprendizaje por refuerzo y ajuste fino.
• Entrenamiento y Alineación
La semana se centra en el aprendizaje por refuerzo con retroalimentación humana (RLHF) y los modelos evaluadores como mecanismos para codificar preferencias, alineación y estilo en los sistemas generativos. Los estudiantes examinan cómo la retroalimentación moldea el comportamiento del modelo, por qué el RLHF ha sido tan efectivo y por qué también puede contribuir a problemas como alucinaciones y desalineación de recompensas. La semana cierra al centrar la atención nuevamente en el tiempo de inferencia, preguntándose cómo la solicitación estructurada y el cómputo adicional pueden permitir que los modelos razonen, revisen y refinen los resultados sin volver a entrenar, preparando el escenario para el estudio de andamios de razonamiento y cadenas de pensamiento en la siguiente semana.
• Andamios de Razonamiento y Cadenas de Pensamiento
Esta semana se enfoca en el cómputo en tiempo de inferencia y los andamios de razonamiento, como la cadena de pensamiento y la solicitud paso a paso, destacando cómo las ventanas de contexto amplias permiten que los modelos "piensen en la página". En lugar de producir una única respuesta, los modelos pueden llenar la ventana de contexto con pasos intermedios, permitiendo la retroalimentación en su propio razonamiento y mejorando la precisión en tareas complejas. La semana enfatiza que este proceso no involucra aprendizaje o actualizaciones de parámetros. En cambio, el razonamiento surge de la estructura, el contexto adicional y la capacidad de revisar pasos anteriores dentro de la misma solicitud. Los estudiantes exploran cómo la autocrítica, la revisión y la solicitud iterativa aprovechan las grandes ventanas de contexto para refinar los resultados sin volver a entrenar. La semana cierra al pasar de estrategias de razonamiento individuales a comparaciones más amplias, preparando a los estudiantes para examinar cómo diferentes modelos razonan, se especializan y rinden en tareas, lo que lleva directamente al estudio de modelos de código abierto, arquitecturas de mezcla de expertos y evaluación sistemática en la semana siguiente.
• Ecosistema y Evaluación
Esta semana introduce el ecosistema de modelos de código abierto y las arquitecturas de Mixture of Experts, utilizando modelos como Mistral para ilustrar cómo la especialización y el enrutamiento pueden mejorar el rendimiento sin depender de un único modelo monolítico. Los estudiantes conectan estas ideas con discusiones anteriores sobre ajuste fino, viendo cómo diferentes enfoques moldean el comportamiento y la capacidad de maneras complementarias. La semana luego se traslada a la evaluación y el benchmarking como prácticas esenciales para comprender las fortalezas, limitaciones y compensaciones del modelo. Los estudiantes examinan la historia del benchmarking para ver cómo los modelos avanzados de frontera han progresado rápidamente, desde superar indicadores de nivel escolar hasta superar el rendimiento de expertos cuando se combinan con herramientas. Se introducen conceptos como alineación, deriva de alineación y hacking de recompensas a través de ejemplos, incluyendo la Ley de Goodhart, para mostrar por qué la evaluación debe evolucionar junto con la capacidad del modelo. La semana cierra destacando consideraciones prácticas sobre la propiedad de los datos, los límites de PI y las restricciones de implementación, particularmente en entornos de código abierto, preparando el foco de la próxima semana en el uso de herramientas, memoria y sistemas que operan a lo largo del tiempo.
• Herramientas, Memoria y Persistencia
Esta semana explora el uso de herramientas, mostrando cómo los modelos invocan calculadoras, búsquedas, APIs y sistemas de generación aumentados por recuperación para acceder a capacidades externas. El uso de herramientas marca una transición clave del razonamiento pasivo a un comportamiento orientado a la acción, donde los modelos ya no operan exclusivamente dentro de sus datos de entrenamiento o ventana de contexto. La semana también introduce la memoria y la persistencia del contexto, examinando cómo el contexto a corto plazo, el almacenamiento a largo plazo y la resumición permiten que los sistemas operen a través de múltiples interacciones en lugar de solicitudes aisladas. Los estudiantes exploran heurísticas básicas de evaluación que ayudan a monitorear la confiabilidad a medida que los sistemas se vuelven más complejos. Juntas, las herramientas y la memoria permiten que los sistemas de IA mantengan la continuidad a lo largo del tiempo, preparando el escenario para aplicaciones del mundo real y consideraciones éticas en la siguiente semana.
• Aplicaciones y Ética
Esta semana examina aplicaciones modernas en dominios como generación de código, flujos de trabajo empresariales, mejoras de accesibilidad y medios creativos (música, discurso, imagen, video), enfatizando cómo los sistemas de IA funcionan como multiplicadores de productividad en lugar de reemplazos. La semana también introduce la reflexión ética a nivel individual, enfocándose en lo que significa trabajar junto a sistemas de IA en la práctica diaria. Los estudiantes consideran compensaciones relacionadas con la cognición, autonomía y dependencia y discusiones sobre la paradoja de productividad de la IA. "Cada vez que interactúas con una IA, te das cuenta de que estás renunciando a algo a cambio". El curso cierra invitando a los estudiantes a reflexionar sobre qué puede hacer la IA en su campo elegido hoy, formando la base para el proyecto final del Curso 2 y preparando el Curso 3, donde la atención se desplaza de las capacidades actuales a la aparición de agentes y las implicaciones de sistemas más autónomos.

Impartido por

Bobby Hodgkinson

Materias

Artificial Intelligence