📊 پروژه‌های داده بخش جدایی‌ناپذیر از اکوسیستم فنی هر سازمان هستند، اما بسیاری از مهندسان داده هنوز روی مسائلی کار می‌کنند که پیش‌تر حل شده‌اند. این راهنمای عملی به شما نشان می‌دهد چگونه با تمرکز بر جنبه‌های کلیدی مهندسی داده مانند Data Ingestion (ورود داده)، Data Quality (کیفیت داده)، Idempotency (یکسانی نتیجه در تکرار اجرا) و موارد دیگر، داده‌ای ارزشمند ارائه کنید.

👨‍💻 بارتوش کونیچنی (Bartosz Konieczny) شما را در فرآیند ساخت پروژه‌های کامل و مطمئن مهندسی داده همراهی می‌کند؛ از ورود داده تا مشاهده‌پذیری داده (Data Observability). تمرکز اصلی بر الگوهای طراحی مهندسی داده (Data Engineering Design Patterns) است که مشکلات رایج کسب‌وکار را به‌صورت ایمن و بهینه از نظر ذخیره‌سازی حل می‌کنند. هر الگو شامل توضیح مسئله، راهکارها و پیامدهایی است که آن را در بستر سناریوهای واقعی قرار می‌دهد.

🛠️ در طول مسیر، از ابزارهای متن‌باز (Open Source) و سرویس‌های ابر عمومی (Public Cloud) برای پیاده‌سازی هر الگو استفاده می‌کنید و یاد می‌گیرید:

• 🚧 چالش‌های مهندسان داده و تأثیر آن‌ها بر سیستم‌های داده
• 🔗 ارتباط این چالش‌ها با اجزای مختلف سیستم داده
• 📐 کاربردهای مفید الگوهای طراحی مهندسی داده
• 🩺 روش‌های شناسایی و رفع مشکلات اجزای فعلی سیستم داده
• 🌐 ارائه راهکارهای فناوری‌محور و مستقل از ابزار خاص، همراه با نمونه‌های پیاده‌سازی متن‌باز

👨‍🏫 نویسنده، بارتوش کونیچنی، یک مهندس داده‌ی فریلنسر است که از سال ۲۰۱۰ برنامه‌نویسی می‌کند. او در سمت‌های ارشد مختلف، روی طیف گسترده‌ای از مسائل مهندسی داده در پردازش دسته‌ای (Batch) و جریانی (Stream) کار کرده است.

Data projects are an intrinsic part of an organization's technical ecosystem, but data engineers in many companies continue to work on problems that others have already solved. This hands-on guide shows you how to provide valuable data by focusing on various aspects of data engineering, including data ingestion, data quality, idempotency, and more.

Author Bartosz Konieczny guides you through the process of building reliable end-to-end data engineering projects, from data ingestion to data observability, focusing on data engineering design patterns that solve common business problems in a secure and storage-optimized manner. Each pattern includes a user-facing description of the problem, solutions, and consequences that place the pattern into the context of real-life scenarios.

Throughout this journey, you'll use open source data tools and public cloud services to apply each pattern. You'll learn:

• Challenges data engineers face and their impact on data systems
• How these challenges relate to data system components
• Useful applications of data engineering patterns
• How to identify and fix issues with your current data components
• Technology-agnostic solutions to new and existing data projects, with open source implementation examples
• Bartosz Konieczny is a freelance data engineer who's been coding since 2010. He's held various senior hands-on positions that allowed him to work on many data engineering problems in batch and stream processing.

Table of Contents

Chapter 1. Introducing Data Engineering Design Patterns

Chapter 2. Data Ingestion Design Patterns

Chapter 3. Error Management Design Patterns

Chapter 4. Idempotency Design Patterns

Chapter 5. Data Value Design Patterns

Chapter 6. Data Flow Design Patterns

Chapter 7. Data Security Design Patterns

Chapter 8. Data Storage Design Patterns

Chapter 9. Data Quality Design Patterns

Chapter 10. Data Observability Design Patterns

About the Author

Bartosz is a freelance data engineer enthusiast who has been coding since 2010. He has held various senior hands-on positions that helped him work on many data engineering problems, such as sessionization, data ingestion, data cleansing, ordered data processing, or data migration. He enjoys solving data challenges with public cloud services and Open Source technologies, especially Apache Spark, Apache Kafka, Apache Airflow, and Delta Lake. You can contact him at contact@waitingforcode.com.

Besides that, you can read his blog posts at waitingforcode.com, or improve your data engineering skills with one of his courses or training. Bartosz is also an occasional speaker at conferences and meetups, including Data+AI Summit, Big Data Technology Warsaw Summit, or NDC Porto.