Évaluation du risque que des agents avancés d'apprentissage par renforcement provoquent l'extinction de l'humanité.

Aperçu

Explorez les risques potentiels que les agents avancés d'apprentissage par renforcement puissent mener à l'extinction humaine, avec les perspectives de Michael Cohen de l'UC Berkeley.

Programme

• Introduction à l'apprentissage par renforcement
Aperçu de l'apprentissage par renforcement
Concepts clés : Agents, Environnements et Récompenses
Types d'apprentissage par renforcement : Sans modèle vs. Basé sur modèle
• Systèmes avancés d'apprentissage par renforcement
Algorithmes de pointe
Capacités et limitations
Études de cas d'applications actuelles
• Risques théoriques de l'AGI (Intelligence Artificielle Générale)
Définition de l'AGI et son potentiel
Perspectives historiques sur les risques de l'IA
La thèse de l'orthogonalité et la convergence instrumentale
• Évaluation des risques catastrophiques
Définition des scénarios d'extinction humaine
Cadres d'analyse de risque
Chemins possibles vers le risque en apprentissage par renforcement
• Aperçus de Michael Cohen sur le risque de l'AR
Points clés des recherches de Cohen
Implications pour le développement futur de l'IA
Critiques et contrepieds
• Stratégies d'atténuation
Approches techniques : Contrôle et alignement
Mesures de politique et de gouvernance
Considérations éthiques et collaboration mondiale
• Études de cas
Analyse de cas hypothétiques
Leçons tirées des déploiements antérieurs de l'IA
Conception de systèmes sûrs propulsés par l'AR
• Projet de cours
Évaluation des risques d'un système d'AR proposé
Présentation des résultats
Revue par les pairs et discussion
• Conclusion
Récapitulatif des concepts clés
Questions ouvertes et directions de recherche futures
Ressources pour un approfondissement
• Lectures et ressources recommandées
Articles académiques de Michael Cohen
Textes fondamentaux sur la sécurité de l'IA
Ressources multimédias additionnelles

Sujets

Informatique