Apprentissage par renforcement, deuxième édition : Une introduction (Série Adaptive Computation and Machine Learning)

La nouvelle édition, considérablement enrichie et mise à jour, d'un texte largement utilisé sur l'apprentissage par renforcement, l'un des domaines de recherche les plus actifs en intelligence artificielle. L'apprentissage par renforcement, l'un des domaines de recherche les plus actifs en intelligence artificielle, est une approche computationnelle de l'apprentissage par laquelle un agent tente de maximiser la quantité totale de récompenses qu'il reçoit en interagissant avec un environnement complexe et incertain. Dans Reinforcement Learning, Richard Sutton et Andrew Barto fournissent une explication claire et simple des idées et des algorithmes clés du domaine. Cette deuxième édition a été considérablement enrichie et mise à jour, présentant de nouveaux sujets et actualisant la couverture d'autres sujets.

Comme la première édition, cette deuxième édition se concentre sur les algorithmes d'apprentissage en ligne de base, avec le matériel plus mathématique présenté dans des encadrés ombragés. La première partie couvre autant d'apprentissage par renforcement que possible sans dépasser le cas tabulaire pour lequel des solutions exactes peuvent être trouvées. De nombreux algorithmes présentés dans cette partie sont nouveaux dans la deuxième édition, y compris UCB, Expected Sarsa et Double Learning. La deuxième partie étend ces idées à l'approximation de fonction, avec de nouvelles sections sur des sujets tels que les réseaux neuronaux artificiels et la base de Fourier, et offre un traitement étendu de l'apprentissage hors politique et des méthodes de gradient de politique. La troisième partie contient de nouveaux chapitres sur les relations de l'apprentissage par renforcement avec la psychologie et les neurosciences, ainsi qu'un chapitre mis à jour sur les études de cas, incluant AlphaGo et AlphaGo Zero, le jeu Atari et la stratégie de pari d'IBM Watson. Le dernier chapitre discute des futurs impacts sociétaux de l'apprentissage par renforcement.