🚀 مقدمه‌ای جامع بر ایده‌های محوری یادگیری عمیق

💻 این کتاب یک مقدمه جامع برای ایده‌های محوری که پایه و اساس یادگیری عمیق رو تشکیل میدن، ارائه میکنه. این اثر هم برای تازه‌واردهای حوزه یادگیری ماشین و هم برای کسانی که در این زمینه باسابقه هستند، طراحی شده است. این کتاب ضروری با پوشش دادن مفاهیم کلیدی مربوط به معماری‌ها و تکنیک‌های معاصر، خوانندگان رو به یک پایه قوی برای تخصص احتمالی در آینده مجهز میکنه. حوزه یادگیری عمیق در حال تجربه یک تکامل سریع است و بنابراین، این کتاب روی ایده‌هایی تمرکز داره که به احتمال زیاد در آزمون زمان سربلند بیرون میام.

📚 کتاب به چندین فصل کوچک و به اندازه لقمه‌های کوچک (Bite-sized) تقسیم شده است که هر کدام یک موضوع مجزا رو کاوش میکنند و روایت کتاب یک روند خطی رو دنبال میکنه، به طوری که هر فصل بر اساس محتوای پیش‌نیازهای خودش جلو میره. این ساختار برای تدریس یک دوره یادگیری ماشین دو ترمی در مقطع کارشناسی یا کارشناسی ارشد بسیار مناسبه، در حالی که به همان اندازه برای کسانی که درگیر تحقیقات فعال یا خودآموزی هستند، کاربرد داره.

درک کامل یادگیری ماشین به مقداری پیش‌زمینه ریاضی نیاز داره و به همین دلیل، کتاب شامل یک مقدمه خودکفا برای نظریه احتمال است. با این حال، تمرکز کتاب روی انتقال درک واضح از ایده‌ها با تاکید بر ارزش کاربردی تکنیک‌ها در دنیای واقعی است، نه روی تئوری‌های انتزاعی. مفاهیم پیچیده به همین دلیل از چندین دیدگاه مکمل از جمله توصیفات متنی، دیاگرام‌ها، فرمول‌های ریاضی و شبه‌کد (Pseudo-code) ارائه شده‌اند.

🗂️ فهرست مطالب

1. انقلاب یادگیری عمیق
2. احتمالات
3. توزیع‌های استاندارد
4. شبکه‌های تک‌لایه: رگرسیون
5. شبکه‌های تک‌لایه: طبقه‌بندی
6. شبکه‌های عصبی عمیق
7. گرادینت دیسنت (کاهش گرادینت)
8. بک‌پروپگیشن (پس‌انتشار)
9. منظم‌سازی (Regularization)
10. شبکه‌های کانولوشنی
11. توزیع‌های ساختاریافته
12. ترنسفورمرها
13. شبکه‌های عصبی گراف
14. نمونه‌برداری
15. متغیرهای پنهان گسسته
16. متغیرهای پنهان پیوسته
17. شبکه‌های مولد رقابتی (GAN)
18. جریان‌های نرمال‌سازی (Normalizing Flows)
19. اتوانکودرها
20. مدل‌های دیفیوژن (انتشاری)

👤 درباره نویسندگان

👨کریس بیشاپ یک تکنیال فلو در مایکروسافت و مدیر بخش هوش مصنوعی برای علوم در تحقیقات مایکروسافت (Microsoft Research AI4Science) است. او فلو کالج داروین کمبریج، فلو آکادمی سلطنتی مهندسی و فلو انجمن سلطنتی است.

👨هیو بیشاپ یک دانشمند کاربردی در شرکت ویو (Wayve) است؛ یک شرکت یادگیری عمیق در زمینه رانندگی خودران در لندن که در اونجا به طراحی و آموزش شبکه‌های عصبی عمیق می‌پردازه. او دوره کارشناسی ارشد پژوهشی (MPhil) خودش رو در رشته یادگیری ماشین و هوش ماشینی در دانشگاه کمبریج به پایان رسانده است.

💬 نظرات برجسته درباره کتاب

«کریس بیشاپ در سال ۱۹۹۵ کتاب درسی فوق‌العاده‌ای درباره شبکه‌های عصبی نوشت و دانش عمیقی از این حوزه و ایده‌های محوری اون داره. سال‌ها تجربه او در توضیح شبکه‌های عصبی، او رو در ارائه ایده‌های پیچیده به ساده‌ترین شکل ممکن بسیار ماهر کرده است و دیدن این مهارت‌ها در به کارگیری برای پیشرفت‌های انقلابی جدید در این حوزه، مایه خرسندی است.»

— جفری هینتون

«با انفجار اخیر یادگیری عمیق و هوش مصنوعی به عنوان یک موضوع تحقیقاتی، و اهمیت سریعاً در حال رشد کاربردهای هوش مصنوعی، یک کتاب درسی مدرن در این زمینه شدیداً مورد نیاز بود. "بیشاپ جدید" به طرز استادانه‌ای این شکاف رو پر میکنه و الگوریتم‌های یادگیری نظارت‌شده و نظارت‌نشده، خانواده‌های معماری مدرن یادگیری عمیق و همچنین نحوه اعمال همه این‌ها رو در حوزه‌های مختلف کاربردی پوشش میده.»

— یان لکان

«این کتاب عالی و بسیار آموزشی، خواننده رو با مفاهیم اصلی و پیشرفت‌های یادگیری عمیق با یک لنگرگاه محکم در احتمال به‌روز میکنه. این مفاهیم به سیستم‌های هوش مصنوعی صنعتی فعلی قدرت می‌بخشند و احتمالاً پایه و اساس پیشرفت‌های بیشتر به سمت هوش عمومی مصنوعی (AGI) رو تشکیل خواهند داد.»

— یوشوا بنجیو

👤 درباره نویسنده

👨کریس بیشاپ یک تکنیال فلو در مایکروسافت و مدیر بخش هوش مصنوعی برای علوم در تحقیقات مایکروسافت است. او فلو کالج داروین کمبریج، فلو آکادمی سلطنتی مهندسی، فلو انجمن سلطنتی ادینبرگ و فلو انجمن سلطنتی لندن است. او حامی سرسخت مشارکت عمومی در علم است و در سال ۲۰۰۸ سخنرانی‌های معتبر کریسمس انستیتوی سلطنتی رو که در سال ۱۸۲۵ توسط مایکل فارادی پایه‌گذاری شده بود، دلیور کرد که از تلویزیون ملی در ساعات پربیننده پخش شد. کریس از اعضای موسس شورای هوش مصنوعی بریتانیا بود و همچنین به عضویت شورای علم و فناوری نخست‌وزیر منصوب شد.

👨هیو بیشاپ یک دانشمند کاربردی در شرکت ویو (Wayve) است، یک شرکت مبتنی بر یادگیری عمیق اندتوانیو در زمینه رانندگی خودران در لندن که در اونجا شبکه‌های عصبی عمیق رو طراحی میکنه و آموزش میده. قبل از کار در ویو، او دوره کارشناسی ارشد پژوهشی خودش رو در رشته یادگیری ماشین و هوش ماشینی در دپارتمان مهندسی دانشگاه کمبریج به پایان رساند. هیو همچنین دارای مدرک کارشناسی ارشد مهندسی (MEng) در علوم کامپیوتر از دانشگاه دورهام است، جایی که پروژه‌های خودش رو روی یادگیری عمیق متمرکز کرده بود. او در طول تحصیل به عنوان کارآموز در فایو ای‌آی (FiveAI)، یکی دیگر از شرکت‌های رانندگی خودران در بریتانیا، و به عنوان دستیار پژوهشی فعالیت میکرد و نوک‌بوک‌های تعاملی آی‌پایتون آموزشی رو برای دوره‌های یادگیری ماشین در دانشگاه کمبریج تولید میکرد.

This book offers a comprehensive introduction to the central ideas that underpin deep learning. It is intended both for newcomers to machine learning and for those already experienced in the field. Covering key concepts relating to contemporary architectures and techniques, this essential book equips readers with a robust foundation for potential future specialization. The field of deep learning is undergoing rapid evolution, and therefore this book focusses on ideas that are likely to endure the test of time.

The book is organized into numerous bite-sized chapters, each exploring a distinct topic, and the narrative follows a linear progression, with each chapter building upon content from its predecessors. This structure is well-suited to teaching a two-semester undergraduate or postgraduate machine learning course, while remaining equally relevant to those engaged in active research or in self-study.

A full understanding of machine learning requires some mathematical background and so the book includes a self-contained introduction to probability theory. However, the focus of the book is on conveying a clear understanding of ideas, with emphasis on the real-world practical value of techniques rather than on abstract theory. Complex concepts are therefore presented from multiple complementary perspectives including textual descriptions, diagrams, mathematical formulae, and pseudo-code.

Table of Contents

1. The Deep Learning Revolution

2. Probabilities

3. Standard Distributions

4. Single-layer Networks: Regression

5. Single-layer Networks: Classification

6. Deep Neural Networks

7. Gradient Descent

8. Backpropagation

9. Regularization

10. Convolutional Networks

11. Structured Distributions

12. Transformers

13. Graph Neural Networks

14. Sampling

15. Discrete Latent Variables

16. Continuous Latent Variables

17. Generative Adversarial Networks

18. Normalizing Flows

19. Autoencoders

20. Diffusion Models

Chris Bishop is a Technical Fellow at Microsoft and is the Director of Microsoft Research AI4Science. He is a Fellow of Darwin College Cambridge, a Fellow of the Royal Academy of Engineering, and a Fellow of the Royal Society.

Hugh Bishop is an Applied Scientist at Wayve, a deep learning autonomous driving company in London, where he designs and trains deep neural networks. He completed his MPhil in Machine Learning and Machine Intelligence at Cambridge University.

“Chris Bishop wrote a terrific textbook on neural networks in 1995 and has a deep knowledge of the field and its core ideas. His many years of experience in explaining neural networks have made him extremely skillful at presenting complicated ideas in the simplest possible way and it is a delight to see these skills applied to the revolutionary new developments in the field.” 

—Geoffrey Hinton

"With the recent explosion of deep learning and AI as a research topic, and the quickly growing importance of AI applications, a modern textbook on the topic was badly needed. The "New Bishop" masterfully fills the gap, covering algorithms for supervised and unsupervised learning, modern deep learning architecture families, as well as how to apply all of this to various application areas." 

—Yann LeCun

“This excellent and very educational book will bring the reader up to date with the main concepts and advances in deep learning with a solid anchoring in probability. These concepts are powering current industrial AI systems and are likely to form the basis of further advances towards artificial general intelligence.” 

—Yoshua Bengio

About the Author

Chris Bishop is a Technical Fellow at Microsoft and is the Director of Microsoft Research AI4Science. He is a Fellow of Darwin College, Cambridge, a Fellow of the Royal Academy of Engineering, a Fellow of the Royal Society of Edinburgh, and a Fellow of the Royal Society of London. He is a keen advocate of public engagement in science, and in 2008 he delivered the prestigious Royal Institution Christmas Lectures, established in 1825 by Michael Faraday, and broadcast on prime-time national television. Chris was a founding member of the UK AI Council and was also appointed to the Prime Minister’s Council for Science and Technology.

Hugh Bishop is an Applied Scientist at Wayve, an end-to-end deep learning based autonomous driving company in London, where he designs and trains deep neural networks. Before working at Wayve, he completed his MPhil in Machine Learning and Machine Intelligence in the engineering department at Cambridge University. Hugh also holds an MEng in Computer Science from the University of Durham, where he focused his projects on deep learning. During his studies, he also worked as an intern at FiveAI, another autonomous driving company in the UK, and as a Research Assistant, producing educational interactive iPython notebooks for machine learning courses at Cambridge University.