❄️ این کتاب یک راهنمای عملی برای ورود به دنیای Data Engineering روی پلتفرم قدرتمند ابری Snowflake هست.

⚙️ کتاب Snowflake Data Engineering بهت نشون میده چطور با استفاده از ابزارهای Snowflake، پایپ‌لاین‌های داده بسازی، داده‌های خام رو ingest و transform کنی، و اون‌ها رو به شکل قابل‌استفاده برای تحلیل‌گرها و سیستم‌های بالادستی آماده کنی.

🚀 در این کتاب یاد میگیری

📥 چطور داده‌ها رو از فایل‌های محلی و Cloud وارد Snowflake کنی

🔄 چطور داده‌ها رو با SQL، توابع و Stored Procedureها تبدیل (Transform) کنی

⚙️ چطور Pipelineهای داده رو با Streams و Tasks ارکستریت کنی و اجرای اون‌ها رو مانیتور کنی

🐍 چطور از Snowpark برای اجرای کد Python داخل Pipeline استفاده کنی

🚀 چطور با اصول CI/CD آبجکت‌ها و کدهای Snowflake رو Deploy کنی

💰 چطور عملکرد و هزینه‌های پردازش داده رو بهینه‌سازی کنی

📖 توضیحات کتاب

☁️ این کتاب نشون میده چطور Snowflake کار با داده‌های ساختاریافته و غیرساختاریافته رو ساده میکنه و ابزارهایی مثل Snowpipe رو برای ingestion مداوم داده معرفی میکنه.

🔐 همچنین مفاهیم مهمی مثل امنیت داده و Data Governance رو پوشش میده تا مطمئن بشی Pipelineهات هم امن هستن و هم قابل اعتماد.

🧠 در طول کتاب با مثال‌های عملی کار میکنی و قدم‌به‌قدم مهارت‌های واقعی Data Engineering رو تمرین میکنی.

📊 نویسنده در تمام مسیر، نکات طراحی و Best Practiceهایی رو ارائه میده که از تجربه طولانی خودش در معماری داده و سیستم‌های Enterprise گرفته شده.

⚙️ درباره فناوری

❄️ Snowflake یک پلتفرم کامل Cloud Data هست که امکاناتی مثل Storage مقیاس‌پذیر، Compute انعطاف‌پذیر، و قابلیت‌های AI/ML مثل Vector Search و Text-to-SQL رو ارائه میده.

📡 این پلتفرم به Data Engineerها کمک میکنه سریع‌تر و ساده‌تر Pipelineهای داده بسازن و مدیریت کنن.

📚 درباره کتاب

🧩 کتاب Snowflake Data Engineering تو رو مرحله‌به‌مرحله از ساخت اولین Pipeline ساده تا طراحی سیستم‌های پیشرفته‌تر همراهی میکنه.

🚀 در مسیر یادگیری، مفاهیمی مثل Data Governance، امنیت، CI/CD و حتی استفاده از Generative AI برای تقویت داده‌ها رو یاد میگیری.

📈 هدف کتاب اینه که بدونی چطور در عمل یک Data Pipeline حرفه‌ای روی Snowflake طراحی و اجرا کنی.

🔥 محتویات اصلی کتاب

📥 دریافت داده از Cloud، APIها و Snowflake Marketplace

🔄 تبدیل و پردازش داده‌ها

⚙️ مدیریت Pipelineها با Streams و Tasks

📊 بهینه‌سازی Performance و هزینه‌ها

👥 این کتاب برای چه کسانی مناسبه؟

💻 برای توسعه‌دهنده‌ها و Data Analystهایی که با SQL و مفاهیم Cloud آشنایی دارن.

📑 فهرست مطالب

1. بخش اول: معرفی Data Engineering با Snowflake
2. Data Engineering با Snowflake
3. ساخت اولین Data Pipeline
4. بخش دوم: دریافت، تبدیل و ذخیره داده
5. بهترین روش‌های Data Staging
6. Transforming Data
7. Continuous Data Ingestion
8. اجرای کد با Snowpark
9. تقویت داده با خروجی مدل‌های LLM
10. بهینه‌سازی Query Performance
11. کنترل هزینه‌ها
12. Data Governance و Access Control
13. بخش سوم: ساخت Pipelineها
14. طراحی Pipelineهای داده
15. Ingestion افزایشی داده
16. Orchestration Pipelineها
17. تست یکپارچگی داده
18. Continuous Integration برای Pipelineها

👩‍🏫 درباره نویسنده

🧠 ماجا فرله یک Data Architect با بیش از ۳۰ سال تجربه در حوزه‌های Data Analytics، Data Warehousing، BI و Data Engineering هست.

❄️ او دارای گواهینامه‌های SnowPro Advanced Data Engineer و SnowPro Advanced Data Analyst هست و به‌عنوان Snowflake Subject Matter Expert و Data Superhero شناخته میشه.

A practical introduction to data engineering on the powerful Snowflake cloud data platform.

Data engineers create the pipelines that ingest raw data, transform it, and funnel it to the analysts and professionals who need it. The Snowflake cloud data platform provides a suite of productivity-focused tools and features that simplify building and maintaining data pipelines. In Snowflake Data Engineering, Snowflake Data Superhero Maja Ferle shows you how to get started.

In Snowflake Data Engineering you will learn how to:

• Ingest data into Snowflake from both cloud and local file systems

• Transform data using functions, stored procedures, and SQL

• Orchestrate data pipelines with streams and tasks, and monitor their execution

• Use Snowpark to run Python code in your pipelines

• Deploy Snowflake objects and code using continuous integration principles

• Optimize performance and costs when ingesting data into Snowflake

Snowflake Data Engineering reveals how Snowflake makes it easy to work with unstructured data, set up continuous ingestion with Snowpipe, and keep your data safe and secure with best-in-class data governance features. Along the way, you’ll practice the most important data engineering tasks as you work through relevant hands-on examples. Throughout, author Maja Ferle shares design tips drawn from her years of experience to ensure your pipeline follows the best practices of software engineering, security, and data governance.

Foreword by Joe Reis.

Purchase of the print book includes a free eBook in PDF and ePub formats from Manning Publications.

About the Technology

Pipelines that ingest and transform raw data are the lifeblood of business analytics, and data engineers rely on Snowflake to help them deliver those pipelines efficiently. Snowflake is a full-service cloud-based platform that handles everything from near-infinite storage, fast elastic compute services, inbuilt AI/ML capabilities like vector search, text-to-SQL, code generation, and more. This book gives you what you need to create effective data pipelines on the Snowflake platform.

About the Book

Snowflake Data Engineering guides you skill-by-skill through accomplishing on-the-job data engineering tasks using Snowflake. You’ll start by building your first simple pipeline and then expand it by adding increasingly powerful features, including data governance and security, adding CI/CD into your pipelines, and even augmenting data with generative AI. You’ll be amazed how far you can go in just a few short chapters!

What's inside

• Ingest data from the cloud, APIs, or Snowflake Marketplace

• Orchestrate data pipelines with streams and tasks

• Optimize performance and cost

About the reader

For software developers and data analysts. Readers should know the basics of SQL and the Cloud.

Table of Contents

PART 1 INTRODUCING DATA ENGINEERING WITH SNOWFLAKE

1 Data engineering with Snowflake

2 Creating your first data pipeline

PART 2 INGESTING, TRANSFORMING, AND STORING DATA

3 Best practices for data staging

4 Transforming data

5 Continuous data ingestion

6 Executing code natively with Snowpark

7 Augmenting data with outputs from large language models

8 Optimizing query performance

9 Controlling costs

10 Data governance and access control

PART 3 BUILDING DATA PIPELINES

11 Designing data pipelines

12 Ingesting data incrementally

13 Orchestrating data pipelines

14 Testing for data integrity and completeness

15 Data pipeline continuous integration

About the Author

Maja Ferle is a seasoned data architect with more than 30 years of experience in data analytics, data warehousing, business intelligence, data engineering, data modeling, and database administration. She holds the SnowPro Advanced Data Engineer and the SnowPro Advanced Data Analyst certifications. She is also a Snowflake Subject Matter Expert and a Snowflake Data Superhero.