🚀 شتاب‌دهی کدهای پایتون با پردازنده گرافیکی و CUDA

🐘 راهنمای جامع برنامه‌نویسی و بهینه‌سازی پردازنده‌های گرافیکی برای توسعه‌دهندگان پایتون

📚 این کتاب بهت نشون میده که چطور بدون نیاز به تغییر زبان به C++، کدهای پایتون خودت رو با استفاده از پلتفرم CUDA انویدیا و ابزارهای مدرن شتاب‌دهی کنی و برنامه‌هایی سریع‌تر و مقیاس‌پذیرتر بسازی.

✨ ویژگی‌های کلیدی

🛠️ پایه‌های محکم برنامه‌نویسی CUDA با پایتون رو از طراحی کرنل گرفته تا اجرا و دیباگ کردن یاد میگیری.

⚙️ کارایی GPU رو با دسترسی به حافظه بهینه، جریان‌های CUDA و مقیاس‌پذیری چند پردازنده‌ای به اوج میرسونی.

🔄 با استفاده از JAX، CuPy، RAPIDS و Numba محاسبات عددی و یادگیری ماشین رو به شکل چشمگیری سرعت میدی.

🧩 برنامه‌های کاربردی GPU از جمله حل‌کننده‌های PDE، پردازش تصویر و مدل‌های ترنسفورمر رو به صورت عملی پیاده‌سازی میکنی.

📘 توضیح کتاب

🧠 نوشتن کدهای با کارایی بالا در پایتون نیازی به تعویض زبان نداره و این کتاب بهت نشون میده چطور از پلتفرم CUDA انویدیا و اکوسیستم مدرن ابزارهای پایتون به بهترین شکل استفاده کنی.

📊 مسیر آموزشی با مبانی برنامه‌نویسی CUDA در پایتون با کمک Numba-CUDA شروع میشه تا یاد بگیری چطور سخت‌افزار GPU کار میکنه و چطور میشه کرنل‌های سفارشی نوشت و اجرا کرد.

🧩 در ادامه کتاب به سراغ بهینه‌سازی دسترسی به حافظه، اجرای ناهمگام با جریان‌های CUDA و مقیاس‌پذیری چند پردازنده‌ای با Dask-CUDA میره تا تسلط کاملی روی سخت‌افزار پیدا کنی.

📌 تحلیل و تنظیم کارایی با استفاده از پروفایلرهای NVIDIA Nsight در تمام طول کتاب مورد تاکید قرار گرفته تا بتونی گلوگاه‌های کد خودت رو شناسایی و رفع کنی.

🌐 کتاب همچنین استفاده از کتابخانه‌های سطح بالا مثل JAX، CuPy و RAPIDS رو برای شتاب‌دهی کارهای علمی با حداقل تغییر در کدها آموزش میده.

🎯 چیزهایی که یاد میگیری

🚀 با نحوه اجرای موازی روی GPU و مدل برنامه‌نویسی CUDA آشنا میشی.

🛠️ میتونی کرنل‌های سفارشی CUDA رو با پایتون بنویسی، اجرا و دیباگ کنی.

⚙️ کدها رو با ابزار NVIDIA Nsight پروفایل میکنی و دسترسی به حافظه رو بهبود میدی.

🔄 با استفاده از CUDA استریم‌ها، محاسبات و انتقال داده‌ها رو همپوشانی میکنی.

📊 کتابخانه‌های JAX، CuPy و RAPIDS رو در محاسبات عددی و یادگیری ماشین به کار میگیری.

🧩 بارهای کاری GPU رو با استفاده از Dask بین چند پردازنده مقیاس‌بندی میکنی.

📌 حل‌کننده‌های PDE، شبیه‌سازی‌ها و پردازش تصویر رو روی GPU شتاب‌دهی میکنی.

🌐 یک مدل زبانی مبتنی بر ترنسفورمر رو از صفر تا صد روی GPU میسازی و آموزش میدی.

👤 این کتاب برای چه کسانیه؟

💼 این کتاب برای توسعه‌دهندگان پایتون، دانشمندان داده، مهندسان و پژوهشگرانی مناسبه که میخوان محاسبات عددی خودشون رو بدون مهاجرت به زبان‌های سطح پایین شتاب‌دهی کنن.

🌐 مباحث کتاب برای کسانی طراحی شده که با پایتون علمی مثل NumPy، Pandas و SciPy آشنایی دارن و میخوان کنترل عمیق‌تری روی کارایی برنامه‌ها در محیط‌های GPU به دست بیارن.

📖 فهرست مطالب

1. چرا برنامه‌نویسی GPU با CUDA در پایتون ۳؟
2. راه‌اندازی محیط برنامه‌نویسی GPU به صورت محلی و در ابر
3. نوشتن و اجرای کرنل‌های CUDA با Numba-CUDA
4. پروفایل کردن و دیباگ کردن کدهای CUDA
5. بهینه‌سازی کارایی کدهای CUDA
6. فعال‌سازی همزمانی با استفاده از جریان‌های CUDA
7. مقیاس‌پذیری به چندین GPU
8. آوردن NumPy و SciPy به GPU با CuPy
9. آوردن pandas و scikit-learn به GPU با RAPIDS
10. حل مسائل بهینه‌سازی روی GPU با JAX
11. حل معادله حرارت روی GPU
12. پردازش تصویر و بینایی ماشین روی GPU
13. شبیه‌سازی برهم‌کنش‌های اتمی روی GPU
14. پیاده‌سازی مدل زبانی مبتنی بر Transformer شخصی‌سازی‌شده
15. گسترش و عمیق‌تر کردن دانش برنامه‌نویسی GPU

👤 درباره نویسندگان

👨‍💻 Hossein Ghorbanfekr یک فیزیکدان محاسباتی با بیش از یک دهه تجربه در زمینه برنامه‌نویسی علمی برای مدل‌سازی مواد است که تخصص ویژه‌ای در C/C++ و پایتون دارد. او در دوران دکتری خود کدهای مختلفی با استفاده از پردازش موازی و شتاب‌دهی GPU نوشته است و از سال ۲۰۲۰ به عنوان دانشمند داده روی یادگیری ماشین و محاسبات با کارایی بالا در پروژه‌های پژوهشی فعالیت میکنه.

📚 Dr. Niels Cautaerts دارای ۱۰ سال تجربه در زمینه برنامه‌نویسی پایتون برای کاربردهای علمی است و دکترای خود را در رشته فیزیک کاربردی دریافت کرده است. او از سال‌ها پیش به نوشتن کرنل‌های CUDA برای پروژه‌های متن‌باز مشغول بوده و به عنوان توسعه‌دهنده نرم‌افزار پژوهشی و دانشمند داده فعالیت میکنه.

Accelerate your Python code on the GPU using CUDA, Numba, and modern libraries to solve real-world problems faster and more efficiently.

Key Features

• Build a solid foundation in CUDA with Python, from kernel design to execution and debugging
• Optimize GPU performance with efficient memory access, CUDA streams, and multi-GPU scaling
• Use JAX, CuPy, RAPIDS, and Numba to accelerate numerical computing and machine learning
• Create practical GPU applications, from PDE solvers to image processing and transformers

Book Description

Writing high-performance Python code doesn’t have to mean switching to C++. This book shows you how to accelerate Python applications using NVIDIA’s CUDA platform and a modern ecosystem of Python tools and libraries. Aimed at researchers, engineers, and data scientists, it offers a practical yet deep understanding of GPU programming and how to fully exploit modern GPU hardware.

You’ll begin with the fundamentals of CUDA programming in Python using Numba-CUDA, learning how GPUs work and how to write, execute, and debug custom GPU kernels. Building on this foundation, the book explores memory access optimization, asynchronous execution with CUDA streams, and multi-GPU scaling using Dask-CUDA. Performance analysis and tuning are emphasized throughout, using NVIDIA Nsight profilers.

You’ll also learn to use high-level GPU libraries such as JAX, CuPy, and RAPIDS to accelerate numerical Python workflows with minimal code changes. These techniques are applied to real-world examples, including PDE solvers, image processing, physical simulations, and transformer models.

Written by experienced GPU practitioners, this hands-on guide emphasizes reproducible workflows using Python 3.10+, CUDA 12.3+, and tools like the Pixi package manager. By the end, you’ll have future-ready skills for building scalable GPU applications in Python.

What you will learn

• Understand GPU execution, parallelism, and the CUDA programming model
• Write, launch, and debug custom CUDA kernels in Python with CUDA
• Profile GPU code with NVIDIA Nsight and optimize memory access
• Use CUDA streams and async execution to overlap compute and transfers
• Apply JAX, CuPy, and RAPIDS to numerical computing and machine learning
• Scale GPU workloads across devices using Dask and multi-GPU strategies
• Accelerate PDE solvers, simulations, and image processing on the GPU
• Build, train, and run a transformer model from scratch on the GPU

Who this book is for

Python developers, (data) scientists, engineers, and researchers looking to accelerate numerical computations without switching to low-level languages. This book is ideal for those with experience in scientific Python (NumPy, Pandas, SciPy) and a basic understanding of computing fundamentals who want deeper control over performance in GPU environments.

Table of Contents

1. Why GPU Programming with CUDA in Python 3?
2. Setting Up a GPU Programming Environment Locally and in the Cloud
3. Writing and Executing CUDA Kernels with Numba-CUDA
4. Profiling and Debugging CUDA Code
5. Optimizing the Performance of CUDA Code
6. Enabling Concurrency Using CUDA Streams
7. Scaling to Multiple GPUs
8. Bringing NumPy and SciPy to the GPU with CuPy
9. Bringing pandas and scikit-learn to the GPU with Rapids
10. Solving Optimization Problems on the GPU with JAX
11. Solving the Heat Equation on the GPU
12. Image Processing and Computer Vision on the GPU
13. Simulating Atomic Interactions on the GPU
14. Implementing Your Own Transformer-Based Language Model
15. Expanding and Deepening Your GPU Programming Knowledge

About the Author

Hossein Ghorbanfekr is a computational physicist with over a decade of expertise in scientific programming for material modeling, specializing in C/C++ and Python. During his Ph.D., he wrote various codes, utilizing parallel computing and GPU acceleration. Since 2020, he has been working as a data scientist, focusing on machine learning and high-performance computing in research projects. Hossein has contributed to the development of an object detection framework for waste stream analysis and created GEOBERTje, a domain-specific large language model in geology. His recent work includes Pantea, an open-source, GPU-accelerated machine learning framework for molecular simulations.

Dr. Niels Cautaerts has 10 years of experience writing Python for scientific applications. Five years ago he became interested to leverage hardware acceleration in his code. Soon after, he began contributing CUDA kernels to open source projects in his field of research. He has since applied his expertise to build GPU accelerated code in various projects, including a low latency framework for object detection in continuous image streams. Niels maintains a small following on YouTube and Medium, where he shares educational content about tech. Currently Niels works as a research software developer and data scientist. He has also worked as a big-data engineer. Niels has a background in materials science and holds a Ph.D. in applied Physics.