💾 مهندسی داده در دهه گذشته رشد سریعی داشته و بسیاری از مهندسین نرم‌افزار، دانشمندان داده و تحلیل‌گران به دنبال یک دید جامع از این حوزه هستند.

📚 با این کتاب عملی، شما یاد خواهید گرفت چگونه سیستم‌هایی طراحی و بسازید که نیازهای سازمان و مشتریان شما را تأمین کند، با ارزیابی بهترین فناوری‌های موجود در چارچوب چرخه عمر مهندسی داده.

🛠 نویسندگان Joe Reis و Matt Housley شما را با چرخه عمر مهندسی داده همراهی می‌کنند و نشان می‌دهند چگونه مجموعه‌ای از فناوری‌های ابری را برای پاسخگویی به نیازهای مصرف‌کنندگان داده ترکیب کنید.

🔗 شما خواهید فهمید چگونه مفاهیم تولید داده، دریافت، ارکستراسیون، تبدیل، ذخیره‌سازی و حاکمیت داده را که در هر محیط داده‌ای اهمیت دارند، به کار ببرید، بدون توجه به فناوری زیربنایی.

💡 این کتاب به شما کمک می‌کند:

🌐 یک نمای کلی و مختصر از کل حوزه مهندسی داده به دست آورید

📊 مسائل مهندسی داده را با استفاده از چارچوبی جامع از بهترین شیوه‌ها ارزیابی کنید

⚖️ در انتخاب فناوری‌ها، معماری و فرآیندها از تبلیغات و هیاهوی بازاریابی عبور کنید

🏗 از چرخه عمر مهندسی داده برای طراحی و ساخت معماری قدرتمند استفاده کنید

🔒 حاکمیت داده و امنیت را در سراسر چرخه عمر مهندسی داده اعمال کنید

📑 فهرست مطالب

بخش اول. مبانی و اجزای اصلی

فصل 1. توضیح مهندسی داده

فصل 2. چرخه عمر مهندسی داده

فصل 3. طراحی معماری داده خوب

فصل 4. انتخاب فناوری‌ها در سراسر چرخه عمر مهندسی داده

بخش دوم. چرخه عمر مهندسی داده به طور دقیق

فصل 5. تولید داده در سیستم‌های منبع

فصل 6. ذخیره‌سازی

فصل 7. واردات داده

فصل 8. پرس‌وجوها، مدل‌سازی و تبدیل داده

فصل 9. ارائه داده‌ها برای تجزیه و تحلیل، یادگیری ماشین و Reverse ETL

بخش سوم. امنیت، حریم خصوصی و آینده مهندسی داده

فصل 10. امنیت و حریم خصوصی

فصل 11. آینده مهندسی داده

ضمیمه A. جزئیات فنی سریال‌سازی و فشرده‌سازی

ضمیمه B. شبکه‌سازی ابری

👤 درباره نویسندگان

🎓 Joe Reis یک علاقه‌مند به داده با ذهن تجاری است که ۲۰ سال در صنعت داده فعالیت کرده و در زمینه‌های مدل‌سازی آماری، پیش‌بینی، یادگیری ماشین، مهندسی داده، معماری داده و تقریباً همه حوزه‌های مرتبط تجربه دارد.

💼 او مدیرعامل و هم‌بنیان‌گذار Ternary Data، یک شرکت مشاوره مهندسی و معماری داده در سالت لیک سیتی، یوتا است. همچنین داوطلبانه در گروه‌های فناوری فعالیت می‌کند و در دانشگاه یوتا تدریس می‌کند.

🏔 در وقت آزاد، Joe به صخره‌نوردی می‌رود، موسیقی الکترونیک تولید می‌کند و با فرزندانش به ماجراجویی‌های هیجان‌انگیز می‌رود.

🎓 Matt Housley مشاور مهندسی داده و متخصص ابری است. پس از تجربه‌های اولیه برنامه‌نویسی با Logo، Basic و اسمبلی 6502، دکترای ریاضیات خود را از دانشگاه یوتا گرفت.

💻 او سپس در علوم داده شروع به کار کرد و تخصص خود را در مهندسی داده مبتنی بر ابر متمرکز کرد.

🤝 او همراه با Joe Reis شرکت Ternary Data را تأسیس کرده و از تجربه تدریس خود برای آموزش مهندسین داده آینده و مشاوره به تیم‌ها در زمینه معماری داده قوی استفاده می‌کند.

🎙 Matt و Joe همچنین در پادکست The Monday Morning Data Chat در مورد همه چیزهای مربوط به داده صحبت می‌کنند.

Data engineering has grown rapidly in the past decade, leaving many software engineers, data scientists, and analysts looking for a comprehensive view of this practice. With this practical book, you'll learn how to plan and build systems to serve the needs of your organization and customers by evaluating the best technologies available through the framework of the data engineering lifecycle.

Authors Joe Reis and Matt Housley walk you through the data engineering lifecycle and show you how to stitch together a variety of cloud technologies to serve the needs of downstream data consumers. You'll understand how to apply the concepts of data generation, ingestion, orchestration, transformation, storage, and governance that are critical in any data environment regardless of the underlying technology.

This book will help you:

• Get a concise overview of the entire data engineering landscape
• Assess data engineering problems using an end-to-end framework of best practices
• Cut through marketing hype when choosing data technologies, architecture, and processes
• Use the data engineering lifecycle to design and build a robust architecture
• Incorporate data governance and security across the data engineering lifecycle

Table of Contents

Part I. Foundation and Building Blocks

Chapter 1. Data Engineering Described

Chapter 2. The Data Engineering Lifecycle

Chapter 3. Designing Good Data Architecture

Chapter 4. Choosing Technologies Across the Data Engineering Lifecycle

Part II. The Data Engineering Lifecycle in Depth

Chapter 5. Data Generation in Source Systems

Chapter 6. Storage

Chapter 7. Ingestion

Chapter 8. Queries, Modeling, and Transformation

Chapter 9. Serving Data for Analytics, Machine Learning, and Reverse ETL

Part III. Security, Privacy, and the Future of Data Engineering

Chapter 10. Security and Privacy

Chapter 11. The Future of Data Engineering

Appendix A. Serialization and Compression Technical Details

Appendix B. Cloud Networking

About the Author

Joe Reis is a business-minded data nerd who's worked in the data industry for 20 years, with responsibilities ranging from statistical modeling, forecasting, machine learning, data engineering, data architecture, and almost everything else in between. Joe is the CEO and cofounder of Ternary Data, a data engineering and architecture consulting firm based in Salt Lake City, Utah. In addition, he volunteers with several technology groups and teaches at the University of Utah. In his spare time, Joe likes to rock climb, produce electronic music, and take his kids on crazy adventures.

Matt Housley is a data engineering consultant and cloud specialist. After some early programming experience with Logo, Basic, and 6502 assembly, he completed a PhD in mathematics at the University of Utah. Matt then began working in data science, eventually specializing in cloud-based data engineering. He cofounded Ternary Data with Joe Reis, where he leverages his teaching experience to train future data engineers and advise teams on robust data architecture. Matt and Joe also pontificate on all things data on The Monday Morning Data Chat.