📘 این کتاب فاصله بین منابع مقدماتی و مقالات تخصصی پژوهشی رو پر میکنه و یکی از نخستین منابعیه که Reinforcement Learning مدرن رو هم با دقت ریاضی بالا و هم به‌شکلی قابل‌فهم آموزش میده.

👨‍🏫 کتاب توسط سه پژوهشگر برجسته با بیش از یک دهه تجربه تدریس نوشته شده و به‌شکل منحصربه‌فردی دقت ریاضی رو با بینش‌های عملی ترکیب میکنه.

🧩 مطالب به‌صورت طبیعی از Planning شروع میشن؛ شامل Dynamic Programming، فرایندهای تصمیم‌گیری مارکوف یا MDPها، Value Iteration و Policy Iteration، و بعد به بخش Learning میرسن؛ جایی که الگوریتم‌های Model-Based و Model-Free، Function Approximation، Policy Gradientها و Regret Minimization بررسی میشن.

🔬 هر مفهوم از اصول پایه ساخته میشه و اثبات‌های کامل اون هم ارائه میشن، بنابراین برای دنبال کردن مطالب نیازی به مراجعه مداوم به منابع دیگه نداری.

📚 ساختار ماژولار فصل‌ها به مدرس‌ها اجازه میده دوره رو با انعطاف بیشتری طراحی کنن. وب‌سایت همراه کتاب هم تمرین‌هایی ارائه میده که طی سال‌ها استفاده در کلاس درس آزمایش و اصلاح شده‌اند.

🎯 ترکیب دقت ریاضی و کاربردهای عملی، این کتاب رو به منبعی قدرتمند برای دانشجوهای سال‌های پایانی کارشناسی، تحصیلات تکمیلی و همین‌طور متخصص‌هایی تبدیل میکنه که میخوان درک عمیقی از تصمیم‌گیری ترتیبی و طراحی Agentهای هوشمند داشته باشن.

📝 نقد و بررسی

💭 «کتاب Reinforcement Learning: Foundations که توسط متخصص‌های طراز اول، Mannor، Mansour و Tamar نوشته شده، یک کلاس استادانه در این حوزه است. کتاب موضوع‌های ضروری رو به‌شکلی جامع و قابل‌فهم پوشش میده و در عین حال شهود پشت مفاهیم پیچیده، اثبات‌ها و الگوریتم‌ها رو به‌طرز فوق‌العاده‌ای منتقل میکنه. این یک راهنمای ضروری و خودبسنده برای دانشجوها و پژوهشگرهاست.»

— مهریار مهری، Google Research و Courant Institute of Mathematical Sciences

💭 «Reinforcement Learning Foundations ترکیبی نادر از دقت، شفافیت و بینشه. کتاب درکی عمیق از اصولی میسازه که Reinforcement Learning مدرن بر پایه اون‌ها شکل گرفته؛ به همین دلیل نه‌تنها برای دانشجوها و پژوهشگرها، بلکه برای متخصص‌هایی که میخوان از دستورالعمل‌های آماده فراتر برن و درک مفهومی واقعی از این حوزه پیدا کنن، یک منبع ضروریه.»

— پیتر ابیل، University of California, Berkeley

💭 «این کتاب اثری روشن، دقیق و به‌شکل چشمگیری جامع درباره Reinforcement Learning است. نویسنده‌ها از مفاهیم بنیادی مثل کوتاه‌ترین مسیر در Graphها و Markov Chainها شروع میکنن و با مهارت آموزشی فوق‌العاده‌ای Planning، Learning، Approximation و Regret Minimization رو به هم متصل میکنن. این کتاب برای دانشجوها، پژوهشگرها و مدرس‌هایی که دنبال یک مقدمه اصولی برای RL مدرن هستن، بسیار ارزشمند خواهد بود.»

— نیکولو چزا-بیانکی، University of Milan، ایتالیا

📖 فهرست مطالب

فصل ۱. مقدمه و نمای کلی

فصل ۲. مقدمه‌ای بر فصل‌های Planning

فصل ۳. فرایندهای تصمیم‌گیری قطعی

فصل ۴. زنجیره‌های مارکوف

فصل ۵. فرایندهای تصمیم‌گیری مارکوف و Dynamic Programming با افق محدود

فصل ۶. فرایندهای تصمیم‌گیری مارکوف تنزیل‌شده

فصل ۷. فرایندهای تصمیم‌گیری مارکوف Episodic

فصل ۸. راه‌حل‌های Linear Programming

فصل ۹. مقدمه‌ای بر فصل‌های Learning

فصل ۱۰. Reinforcement Learning مبتنی بر مدل

فصل ۱۱. Reinforcement Learning بدون مدل

فصل ۱۲. فضاهای State بزرگ. Function Approximation برای Value Function

فصل ۱۳. فضای State بزرگ. روش‌های Policy Gradient

فصل ۱۴. Regret Minimization

پیوست A. Dynamic Programming

پیوست B. معادلات دیفرانسیل معمولی

📘 توضیح کتاب

🧠 این کتاب خودبسنده و کاربردی، مبانی تصمیم‌گیری ترتیبی و طراحی Agentهای هوشمند رو معرفی میکنه.

👤 درباره نویسندگان

👨‍🏫 شی مانور استاد دانشکده مهندسی برق و کامپیوتر Technion، Chief Scientist و هم‌بنیان‌گذار Jether Energy Research، Distinguished Scientist در Nvidia و IEEE Fellow است.

🔬 او یکی از چهره‌های پیشرو در Reinforcement Learning، Planning و Control محسوب میشه و با بیش از ۳۳۰ مقاله و ۳۵ هزار Citation، بین تئوری و کاربرد عملی پل زده.

👨‍🏫 یشای منصور استاد Blavatnik School of Computer Science در Tel Aviv University و ACM Fellow است.

🧠 او از پیشگام‌های اولیه در نظریه Machine Learning، Reinforcement Learning، Algorithmic Game Theory و به‌طور کلی Theory of Computing محسوب میشه و بیش از ۳۰۰ مقاله با بیش از ۴۰ هزار Citation در این حوزه‌ها منتشر کرده.

👨‍🔬 آویو تامار دانشیار مهندسی برق و کامپیوتر در Technion است و روی این موضوع مطالعه میکنه که ماشین‌ها چطور یاد میگیرن عمل کنن و محیط رو درک کنن.

🤖 پژوهش‌های او در Reinforcement Learning، Representation Learning و Robotics به بیش از ۷۰ مقاله، ۱۷ هزار Citation و چندین جایزه و عنوان Best Paper منجر شده.

Bridging the gap between introductory texts and the specialized research literature, this is one of the first truly rigorous yet accessible treatments of modern reinforcement learning. Written by three leading researchers with over a decade of teaching experience, the book uniquely combines mathematical precision with practical insights. It progresses naturally from planning (dynamic programming, MDPs, value and policy iteration) to learning (model-based and model-free algorithms, function approximation, policy gradients, and regret minimization). Each concept is developed from first principles with complete proofs, making the material self-contained. The modular chapter organization enables flexible course design. The book's website offers battle-tested exercises refined through years of classroom use. Combining mathematical rigor with practical applications, this definitive text is ideal for advanced undergraduate and graduate students as well as practitioners seeking a deep understanding of sequential decision-making and intelligent agent design.

Review

‘Written by world-class experts Mannor, Mansour, and Tamar, Reinforcement Learning: Foundations is a masterclass in the field. It covers essential topics comprehensively and accessibly, while brilliantly conveying the underlying intuition behind complex concepts, proofs, and algorithms. This is an essential, self-contained guide for both students and researchers.’ Mehryar Mohri, Google Research and Courant Institute of Mathematical Sciences

‘Reinforcement Learning Foundations offers a rare combination of rigor, clarity, and insight. It builds a deep understanding of the principles that underlie modern reinforcement learning, making it essential reading not only for students and researchers, but also for practitioners who want to move beyond recipes and gain real conceptual understanding of the field.’ Pieter Abbeel, University of California, Berkeley

‘This book is a clear, rigorous, and remarkably comprehensive treatment of reinforcement learning. Starting from fundamental concepts such as shortest paths on graphs and Markov chains, the authors connect planning, learning, approximation, and regret minimization with exceptional pedagogical skill. It will be invaluable to students, researchers, and instructors seeking a principled introduction to modern RL.’ Nicolò Cesa-Bianchi, University of Milan, Italy

Table of Contents

1 Introduction and Overview

2 Preface to the Planning Chapters

3 Deterministic Decision Processes

4 Markov Chains

5 Markov Decision Processes and Finite-Horizon Dynamic Programming

6 Discounted Markov Decision Processes

7 Episodic Markov Decision Processes

8 Linear Programming Solutions

9 Preface to the Learning Chapters

10 Reinforcement Learning: Model-Based

11 Reinforcement Learning: Model-Free

12 Large State Spaces: Value Function Approximation

13 Large State Space: Policy Gradient Methods

14 Regret Minimization

Appendix A Dynamic Programming

Appendix B Ordinary Differential Equations

Book Description

This self-contained book with practical applications introduces the foundations of sequential decision-making and intelligent agent design.

About the Authors

Shie Mannor is a professor at Technion's Electrical and Computer Engineering faculty, Chief Scientist and co-founder of Jether Energy Research, Distinguished Scientist at Nvidia, and an IEEE Fellow. A pioneer in reinforcement learning, planning, and control, he bridges theory and practice with over 330 papers and 35,000 citations.

Yishay Mansour is a professor at the Blavatnik School of Computer Science, Tel Aviv University, and is an ACM Fellow. An early pioneer in machine learning theory, reinforcement learning, algorithmic game theory, and theory of computing at large, he has authored over 300 papers with over 40,000 citations on those topics.

Aviv Tamar is Associate Professor of Electrical and Computer Engineering at the Technion. He studies how machines learn to act and perceive. His research in reinforcement learning, representation learning, and robotics has led to over 70 publications, 17,000 citations, and multiple best-paper awards and distinctions.