Applications modernes de l'IA générative

Aperçu

From Control to Emergent Intelligence focuses on helping learners understand how generative AI behavior is shaped, guided, and extended, moving from surface-level interaction to a systems-level perspective. The course begins with how humans control models at inference time through prompting strategies and sampling parameters, then steps back to examine how models are shaped during training through reinforcement learning, fine-tuning, and feedback.

Learners develop a clear mental distinction between intelligence that is baked into a model during training and intelligence that emerges at inference time through structure, reasoning, tools, and memory. This framing allows learners to see modern generative AI not as a static tool, but as a dynamic system whose behavior depends on both how it was trained and how it is used.

As the course progresses, learners move beyond single prompts to structured reasoning, model comparison, and evaluation across different architectures and ecosystems, including open-source and mixture-of-experts models. They then explore how tools, memory, and context persistence allow AI systems to operate across time, enabling action-oriented workflows rather than isolated responses.

The course concludes with real-world applications across domains such as coding, business, accessibility, and creative work, paired with individual-level ethical reflection on what it means to work alongside AI systems. By the end of Course 2, learners understand not only how to use generative AI effectively today, but how the combination of control, feedback, reasoning, evaluation, and external capabilities gives rise to more autonomous behavior, setting the foundation for agents and more advanced systems explored in Course 3.

Programme

• Introduction du cours
Les Applications Modernes de l'IA Générative se concentrent sur l'aide aux apprenants pour comprendre comment le comportement de l'IA générative est façonné, guidé et étendu, passant d'une interaction de surface à une perspective au niveau des systèmes. Le cours commence par la manière dont les humains contrôlent les modèles au moment de l'inférence grâce à des stratégies d'incitation et des paramètres d'échantillonnage, puis recule pour examiner comment les modèles sont façonnés pendant l'entraînement grâce à l'apprentissage par renforcement, à l'ajustement fin et au retour d'information. Les apprenants développent une distinction mentale claire entre l'intelligence intégrée dans un modèle pendant l'entraînement et l'intelligence qui émerge au temps d'inférence à travers la structure, le raisonnement, les outils et la mémoire. Ce cadre permet aux apprenants de voir l'IA générative moderne non pas comme un outil statique, mais comme un système dynamique dont le comportement dépend à la fois de son entraînement et de son utilisation.
• Incitation et Paramètres de Contrôle
Cette semaine met l'accent sur le fait que l'incitation et l'échantillonnage guident le comportement sans modifier le modèle sous-jacent. En revisitant brièvement des concepts antérieurs tels que les transformateurs et les architectures génératives multimodales, les apprenants placent l'incitation dans le paysage plus large de l'IA tout en restant concentrés sur le contrôle pratique. La semaine se termine par une question clé : si les utilisateurs peuvent façonner le comportement aussi efficacement au moment de l'inférence, comment le modèle apprend-il ce qu'est un "bon" comportement en premier lieu ? Cette question mène directement à l'exploration de la formation, de l'apprentissage par renforcement et de l'ajustement fin la semaine suivante.
• Entraînement et Alignement
La semaine concentre sur l'apprentissage par renforcement à partir des retours humains (RLHF) et les modèles évaluateurs comme mécanismes pour encoder les préférences, l'alignement et le style dans les systèmes génératifs. Les apprenants examinent comment les retours d'information façonnent le comportement du modèle, pourquoi le RLHF a été si efficace, et pourquoi il peut également contribuer à des problèmes tels que les hallucinations et le désalignement des récompenses. La semaine se termine en ramenant l'attention au moment de l'inférence, en interrogeant comment l'incitation structurée et un calcul supplémentaire peuvent permettre aux modèles de raisonner, de réviser et d'affiner les sorties sans réentraîner, préparant l'étude des échafaudages de raisonnement et de la chaîne de pensée pour la semaine suivante.
• Échafaudages de Raisonnement et Chaîne de Pensée
Cette semaine se concentre sur le calcul au moment de l'inférence et les échafaudages de raisonnement tels que la chaîne de pensée et l'incitation étape par étape, mettant en avant comment de grandes fenêtres contextuelles permettent aux modèles de "penser sur la page". Plutôt que de produire une réponse unique, les modèles peuvent remplir la fenêtre contextuelle avec des étapes intermédiaires, permettant un retour sur leur propre raisonnement et améliorant la précision sur des tâches complexes. La semaine souligne que ce processus n'implique pas d'apprentissage ou de mises à jour de paramètres. Au lieu de cela, le raisonnement émerge de la structure, du contexte supplémentaire, et de la capacité de revisiter les étapes antérieures au sein de la même incitation. Les apprenants explorent comment l'auto-critique, la révision, et l'incitation itérative tirent parti des grandes fenêtres contextuelles pour affiner les sorties sans réentraîner. La semaine se termine en passant des stratégies de raisonnement individuelles à une comparaison plus large, préparant les apprenants à examiner comment différents modèles raisonnent, se spécialisent, et exécutent des tâches, ce qui mène directement à l'étude des modèles open-source, des architectures de mélange d'experts, et à l'évaluation systématique la semaine suivante.
• Écosystème et Évaluation
Cette semaine introduit l'écosystème des modèles open-source et les architectures de mélange d'experts, utilisant des modèles tels que Mistral pour illustrer comment la spécialisation et le routage peuvent améliorer la performance sans dépendre d'un seul modèle monolithique. Les apprenants relient ces idées aux discussions antérieures sur l'ajustement fin, voyant comment différentes approches façonnent le comportement et la capacité de manières complémentaires. La semaine passe ensuite à l'évaluation et à l'analyse comparative comme pratiques essentielles pour comprendre les forces, les limitations, et les compromis des modèles. Les apprenants examinent l'histoire de l'analyse comparative pour voir à quel point les modèles de pointe ont rapidement progressé, allant au-delà des benchmarks de niveau scolaire pour surpasser les performances de niveau expert lorsqu'ils sont associés à des outils. Des concepts tels que l'alignement, la dérive d'alignement, et le piratage de récompenses sont introduits à travers des exemples, y compris la Loi de Goodhart, pour montrer pourquoi l'évaluation doit évoluer en parallèle avec la capacité du modèle. La semaine se termine en mettant en lumière les considérations pratiques autour de la propriété des données, des frontières de PI, et des contraintes de déploiement—en particulier dans les contextes open-source—préparant la semaine suivante axée sur l'utilisation d'outils, la mémoire, et les systèmes qui fonctionnent dans le temps.
• Outils, Mémoire et Persistance
Cette semaine explore l'utilisation des outils, montrant comment les modèles invoquent des calculateurs, des recherches, des API, et des systèmes de génération augmentée par la récupération pour accéder à des capacités externes. L'utilisation d'outils marque une transition clé du raisonnement passif au comportement orienté vers l'action, où les modèles ne fonctionnent plus uniquement dans leurs données d'entraînement ou la fenêtre contextuelle. La semaine introduit également la mémoire et la persistance contextuelle, examinant comment le contexte à court terme, le stockage à long terme, et la résumation permettent aux systèmes de fonctionner à travers de multiples interactions plutôt que des incitations isolées. Les apprenants explorent des heuristiques d'évaluation de base qui aident à surveiller la fiabilité à mesure que les systèmes deviennent plus complexes. Ensemble, les outils et la mémoire permettent aux systèmes d'IA de maintenir une continuité dans le temps, préparant le terrain pour des applications pratiques et des considérations éthiques la semaine suivante.
• Applications et Éthique
Cette semaine fait le tour des applications modernes dans des domaines tels que la génération de code, les flux de travail commerciaux, les améliorations de l'accessibilité, et les médias créatifs (musique, discours, image, vidéo), en soulignant comment les systèmes d'IA fonctionnent comme des multiplicateurs de productivité plutôt que des remplaçants. La semaine introduit également une réflexion éthique au niveau individuel, en se concentrant sur ce que signifie travailler aux côtés de systèmes d'IA dans la pratique quotidienne. Les apprenants considèrent les compromis liés à la cognition, l'autonomie, et la dépendance et des discussions sur le paradoxe de la productivité de l'IA. "Chaque fois que vous interagissez avec une IA, réalisez que vous renoncez à quelque chose en échange." Le cours se clôt en invitant les apprenants à réfléchir sur ce que l'IA peut faire dans leur domaine choisi aujourd'hui, formant la base pour le projet final du Cours 2 et préparant le Cours 3, où l'attention se tourne des capacités actuelles à l'émergence d'agents et aux implications de systèmes plus autonomes.

Enseigné par

Bobby Hodgkinson

Matières

Artificial Intelligence