🔌 ساخت پایپ‌لاین‌های بلادرنگ با Kafka Connect

🚀 بیش از ۸۰ درصد شرکت‌های Fortune 100 از Apache Kafka استفاده میکنن و این فناوری به پلتفرم اصلی Event Streaming تبدیل شده. این کتاب نشان میده چطور با Kafka Connect، داده‌ها را میان سیستم‌های موجود، کلاسترهای Kafka و انواع Data Source و Data Sink جابه‌جا کنی و پایپ‌لاین‌هایی قابل‌اعتماد برای پردازش بلادرنگ بسازی.

✨ ویژگی‌های کلیدی

🔄 با قابلیت‌ها، مفاهیم اصلی و اصطلاحات Kafka Connect آشنا میشی و درک میکنی این ابزار چه جایگاهی در اکوسیستم Apache Kafka داره.

🏗️ یاد میگیری پایپ‌لاین‌های داده و Event Streaming را با استفاده از Kafka Connect طراحی، آزمایش و برای نیازهای واقعی آماده کنی.

⚙️ با روش پیکربندی، مانیتورینگ و مدیریت محیط‌های Kafka Connect در مقیاس بالا آشنا میشی.

🛡️ شیوه استقرار کلاسترهای امن و High Availability را یاد میگیری تا پایپ‌لاین‌های Kafka Connect را با اطمینان در محیط Production اجرا کنی.

🧩 میتونی Source Connector، Sink Connector، Single Message Transform، Converter و Pluginهای سفارشی بسازی و قابلیت‌های Kafka Connect را توسعه بدی.

📘 توضیح کتاب

🌐 Apache Kafka به پلتفرم استاندارد Event Streaming در بسیاری از سازمان‌ها تبدیل شده و Kafka Connect یکی از اجزای کلیدی اون به حساب میاد. این ابزار اجازه میده داده‌های موجود در سیستم‌های مختلف را وارد Kafka کنی، داده‌های پردازش‌شده را به مقصدهای دیگه بفرستی و بدون ساخت Integrationهای پیچیده، جریان‌های بلادرنگ ایجاد کنی.

🧭 نویسندگان کتاب، میکائل مزون و کیت استنلی، مسیری عملی برای ساخت پایپ‌لاین میان کلاسترهای Kafka و مجموعه متنوعی از Data Sourceها و Data Sinkها ارائه میکنن. این رویکرد کمک میکنه با استفاده از داده‌های موجود، Kafka را سریع‌تر وارد معماری سازمان کنی و سراغ Use Caseهای پیشرفته‌تر بری؛ فرقی هم نمیکنه در ابتدای مسیر Event Streaming باشی یا از قبل با Kafka کار کرده باشی.

🧱 بخش نخست کتاب Kafka Connect و مبانی Apache Kafka را معرفی میکنه. اگر هیچ شناخت قبلی از Kafka یا Kafka Connect نداشته باشی، همین بخش پایه‌های لازم را در اختیارت میذاره. اگر قبلاً با Kafka آشنا باشی، میتونی فصل دوم را رد کنی، چون این فصل مبانی موردنیاز برای استفاده از Kafka Connect را پوشش میده.

🔧 بخش دوم روی توسعه Data Pipelineها تمرکز داره. در این قسمت با اجزای تشکیل‌دهنده یک پایپ‌لاین Kafka Connect، اصول طراحی مؤثر، Connectorهای عملی و MirrorMaker برای Mirror کردن کلاسترها آشنا میشی. کتاب فقط اجرای ابزارها را توضیح نمیده و به انتخاب درست اجزا، طراحی جریان داده و آزمایش پایپ‌لاین هم توجه داره.

🏭 بخش سوم به اجرای Kafka Connect در محیط Production اختصاص داره. شیوه استقرار و بهره‌برداری از کلاسترها، تنظیم Kafka Connect، مانیتورینگ و مدیریت اون روی Kubernetes بررسی میشه. این مباحث برای محیط‌هایی کاربرد دارن که ممکنه یک یا چند کلاستر Kafka Connect داشته باشن و روی هر کلاستر چندین Data Pipeline اجرا بشه.

🧑‍💻 بخش پایانی وارد توسعه سفارشی میشه و نحوه ساخت Source Connector و Sink Connector را آموزش میده. همچنین یاد میگیری با Connector Plugin و Worker Plugin، قابلیت‌های Kafka Connect را گسترش بدی. این بخش یک کاربرد پیشرفته محسوب میشه، اما شناخت اون برای Data Engineerها هم مفیده تا بتونن ابزارها و Connectorهای موجود را دقیق‌تر ارزیابی کنن.

📚 نویسندگان کتاب Kafka: The Definitive Guide را مرجع اصلی Kafka میدونن و هر دو نسخه‌ای از اون را همیشه روی میز کارشون نگه میدارن. هدفشون اینه که این کتاب هم به همون اندازه به مرجع قابل‌اعتمادی برای Kafka Connect تبدیل بشه.

🎯 در پایان، دانش لازم برای طراحی پایپ‌لاین‌های مطمئن متناسب با Use Caseهای مختلف، اجرای اون‌ها در محیط Production و توسعه قابلیت‌های Kafka Connect را به دست میاری. حتی اگر از قبل با Kafka Connect آشنا باشی، Best Practiceها و نکته‌های پیشرفته کتاب کمک میکنن تخصصت را عمیق‌تر کنی.

🎯 چیزهایی که یاد میگیری

🔌 با قابلیت‌ها، مفاهیم اصلی و اصطلاحات Kafka Connect آشنا میشی.

🏗️ یاد میگیری Data Pipelineها و Event Streaming Pipelineهایی طراحی کنی که از Kafka Connect استفاده میکنن.

🧭 میتونی ابزار مناسب را انتخاب کنی، جریان داده را طراحی کنی و پایپ‌لاین را قبل از استقرار آزمایش کنی.

⚙️ یاد میگیری محیط‌های Kafka Connect را در مقیاس بالا پیکربندی، اجرا و مدیریت کنی.

🛡️ میتونی کلاسترهای امن و Highly Available برای Kafka Connect مستقر کنی.

📊 با مانیتورینگ Kafka Connect و مدیریت چندین پایپ‌لاین روی یک یا چند کلاستر آشنا میشی.

☸️ یاد میگیری Kafka Connect را روی Kubernetes مدیریت کنی.

🧩 میتونی Source Connector، Sink Connector، Single Message Transform، Converter و Pluginهای سفارشی بسازی.

👤 این کتاب برای چه کسانیه؟

📊 این کتاب برای همه نقش‌هایی نوشته شده که با محیط‌های Kafka Connect سروکار دارن. Data Engineerها با کمک اون میتونن ابزار درست را انتخاب کنن، جریان داده را طراحی کنن و پایپ‌لاین‌های موردنیاز برای پردازش و تحلیل داده را بسازن و آزمایش کنن.

🛠️ Site Reliability Engineerها یاد میگیرن محیط‌های Kafka Connect را مستقر و مدیریت کنن؛ چه مسئول یک کلاستر باشن و چه چندین کلاستر که هرکدوم چند Data Pipeline را اجرا میکنن. Developerها هم میتونن با ساخت Pluginهای سفارشی، Kafka Connect را برای نیازهای خاص توسعه بدن.

🏢 در بعضی سازمان‌ها یک گروه از مهندسان هر سه نقش را بر عهده داره، اما در سازمان‌های بزرگ‌تر ممکنه این مسئولیت‌ها میان تیم‌های کاملاً جدا تقسیم شده باشن. کتاب برای پوشش این تفاوت‌ها به چند بخش تقسیم شده، ولی آشنایی با تمام نقش‌ها و مسئولیت‌ها میتونه برای هر خواننده‌ای مفید باشه.

🌱 برای مطالعه کتاب به دانش قبلی درباره Kafka یا Kafka Connect نیازی نیست. اگر از قبل Kafka را میشناسی، میتونی فصل دوم را رد کنی. اگر با Kafka Connect هم آشنایی داری، Best Practiceها و نکته‌های پیشرفته کتاب همچنان میتونن به توسعه تخصصت کمک کنن.

📝 نقد و بررسی

💭 «Kafka Connect ستون اصلی یکپارچه‌سازی Apache Kafka با سایر بخش‌های اکوسیستم داده است. این کتاب همه چیزهایی را که برای اتصال Data Sourceها و Data Sinkهای خارجی به Kafka نیاز دارید توضیح می‌دهد.»

— جون رائو، هم‌بنیان‌گذار Confluent

💭 «این کتاب جامع، همه‌چیز را از شروع کار تا آماده‌سازی Kafka Connect برای محیط Production در مقیاس بالا پوشش می‌دهد. ابزارهای لازم برای ساخت Streaming Data Pipeline با Apache Kafka را در اختیارتان قرار می‌دهد.»

— رایان دولان، Senior Staff Software Engineer در LinkedIn

💭 «منبعی بسیار ارزشمند برای هر کسی که می‌خواهد Kafka را در کنار سیستم‌های موجود به کار بگیرد. فقط آرزو می‌کنم وقتی برای اولین بار کار با Kafka Connect را شروع کردم، به این کتاب دسترسی داشتم!»

— دانیکا فاین، Senior Developer Advocate در Confluent

💭 «منبعی ارزشمند برای افراد تازه‌کار و متخصصان باتجربه‌ای که با Kafka Connect کار می‌کنند. این کتاب توضیحات جامع و مجموعه بزرگی از نکته‌های عملی ارائه می‌دهد.»

— رابین موفات، Principal DevEx Engineer در Decodable

📖 فهرست مطالب

بخش اول: آشنایی با Kafka Connect

فصل ۱. آشنایی با Kafka Connect

فصل ۲. مبانی Apache Kafka

بخش دوم: توسعه پایپ‌لاین‌های داده با Kafka Connect

فصل ۳. اجزای یک پایپ‌لاین داده در Kafka Connect

فصل ۴. طراحی پایپ‌لاین‌های داده مؤثر

فصل ۵. Connectorها در عمل

فصل ۶. Mirror کردن کلاسترها با MirrorMaker

بخش سوم: اجرای Kafka Connect در محیط Production

فصل ۷. استقرار و بهره‌برداری از کلاسترهای Kafka Connect

فصل ۸. پیکربندی Kafka Connect

فصل ۹. مانیتورینگ Kafka Connect

فصل ۱۰. مدیریت Kafka Connect روی Kubernetes

بخش چهارم: ساخت Connectorها و Pluginهای سفارشی

فصل ۱۱. ساخت Source Connector و Sink Connector

فصل ۱۲. توسعه Kafka Connect با Connector Plugin و Worker Plugin

👥 درباره نویسندگان

👨‍💻 میکائل مزون، Principal Software Engineer در Red Hat، Committer پروژه Apache Kafka و رئیس کمیته مدیریت پروژه یا PMC این پروژه است.

👩‍💻 کیت استنلی، Principal Software Engineer در Red Hat، سخنران فنی و Java Champion است.

Used by more than 80% of Fortune 100 companies, Apache Kafka has become the de facto event streaming platform. Kafka Connect is a key component of Kafka that lets you flow data between your existing systems and Kafka to process data in real time.

With this practical guide, authors Mickael Maison and Kate Stanley show data engineers, site reliability engineers, and application developers how to build data pipelines between Kafka clusters and a variety of data sources and sinks. Kafka Connect allows you to quickly adopt Kafka by tapping into existing data and enabling many advanced use cases. No matter where you are in your event streaming journey, Kafka Connect is the ideal tool for building a modern data pipeline.

• Learn Kafka Connect's capabilities, main concepts, and terminology
• Design data and event streaming pipelines that use Kafka Connect
• Configure and operate Kafka Connect environments at scale
• Deploy secured and highly available Kafka Connect clusters
• Build sink and source connectors and single message transforms and converters

Who Should Read This Book

This book is written for all roles that interact with Kafka Connect environments. We have chosen to use the terms data engineers, site reliability engineers, and developers to distinguish between roles. Data engineers design and build pipelines to process and analyze data. This includes selecting the correct tools, designing the data flow, and testing the pipeline. Site reliability engineers are responsible for deploying and administering Kafka Connect environments. They may manage a single Kafka Connect cluster or many, and each cluster might be running multiple data pipelines. Finally, developers customize Kafka Connect by building custom plug-ins. This is an advanced use case, but much of the knowledge that is applicable to this role is also useful for data engineers to assess available tools.

In many organizations, it is likely the same engineers who perform all three roles, but in larger organizations it could be completely different teams. Although we split the book into multiple parts to cover these different roles, you will likely find it useful to understand them all.

You don’t need any prior knowledge of Kafka or Kafka Connect to read this book. If you are already familiar with Kafka, feel free to skip Chapter 2, as this covers the Kafka basics you need to understand to use Kafka Connect. Equally, if you are already familiar with Kafka Connect, this book is still written with you in mind. Throughout the book we share best practices and advanced tips to help you develop your expertise further.

This book will give you all the knowledge needed to build reliable data pipelines for your use cases and run them in production. Kafka: The Definitive Guide is the go-to text for Kafka (we both keep a copy on our desk) and we hope this book will be the same for Kafka Connect.

Table of Contents

Part I. Introduction to Kafka Connect

Chapter 1. Meet Kafka Connect

Chapter 2. Apache Kafka Basics

Part II. Developing Data Pipelines with Kafka Connect

Chapter 3. Components in a Kafka Connect Data Pipeline

Chapter 4. Designing Effective Data Pipelines

Chapter 5. Connectors in Action

Chapter 6. Mirroring Clusters with MirrorMaker

Part III. Running Kafka Connect in Production

Chapter 7. Deploying and Operating Kafka Connect Clusters

Chapter 8. Configuring Kafka Connect

Chapter 9. Monitoring Kafka Connect

Chapter 10. Administering Kafka Connect on Kubernetes

Part IV. Building Custom Connectors and Plug-Ins

Chapter 11. Building Source and Sink Connectors

Chapter 12. Extending Kafka Connect with Connector and Worker Plug-Ins

Review

"Kafka Connect is the pillar for integrating Apache Kafka with the rest of the data ecosystem. This book tells you everything you need to know to connect external data sources and sinks with Kafka."

-- Jun Rao,

Cofounder, Confluent

"This comprehensive book covers everything from getting started to productionizing Kafka Connect at scale. It gives you the tools to build streaming data pipelines with Apache Kafka."

-- Ryanne Dolan,

Senior Staff Software Engineer, LinkedIn

"An invaluable resource for anyone looking to use Kafka alongside existing systems. I only wish I'd had access to this book when I first began using Kafka Connect!"

-- Danica Fine,

Senior Developer Advocate, Confluent

"An invaluable resource for both novice and seasoned professionals working with Kafka Connect. It offers comprehensive explanations, and a wealth of practical tips."

-- Robin Moffatt,

Principal DevEx Engineer, Decodable

About the Author

Mickael Maison is a principal software engineer at Red Hat, a committer and chair of the project management committee (PMC) for Apache Kafka.

Kate Stanley is a principal software engineer at Red Hat, a technical speaker, and a Java Champion.