🤖 فریم‌ورک‌های قابل‌اعتماد ارزیابی AI بساز که کیفیت، امنیت، Grounding و آمادگی برای پروداکشن رو در اپلیکیشن‌های مدرن مبتنی بر LLM و SLM اندازه‌گیری میکنن.

✨ ویژگی‌های کلیدی

🏗️ فریم‌ورک‌های ارزیابی برای LLMها، SLMها، سیستم‌های چندوجهی، مدل‌های Reasoning و سیستم‌های ایجنتی AI طراحی میکنی

📊 کیفیت، امنیت، Grounding، Robustness و آمادگی برای پروداکشن رو با متریک‌های عملی اندازه‌گیری میکنی

🔄 روش‌های یکپارچه ارزیابی رو روی سیستم‌های متنی، چندوجهی و ایجنتی AI به کار میگیری

📘 توضیح کتاب

🧠 از سیستم‌های مدرن AI انتظار میره خیلی بیشتر از تولید متن روان انجام بدن. این سیستم‌ها باید بتونن اطلاعات رو بازیابی کنن، مسئله‌های پیچیده رو استدلال کنن، تصویرها و سندها رو بفهمن، ابزارهای خارجی رو صدا بزنن، ورک‌فلوها رو اجرا کنن و از تصمیم‌های حیاتی کسب‌وکار پشتیبانی کنن. ارزیابی چنین سیستم‌هایی به روش‌هایی نیاز داره که از Benchmarkهای سنتی NLP فراتر برن.

🏭 این کتاب با یک رویکرد Product-First، ارزیابی رو به‌عنوان یک قابلیت عملیاتی پیوسته معرفی میکنه که آموزش، Inference و عملکرد انتهابه‌انتهای سیستم رو پوشش میده. یاد میگیری چطور متریک‌های ارزیابی رو مستقیم به Deployment Gateها، معیارهای Rollback، سیستم‌های مانیتورینگ و هدف‌های Reliability در پروداکشن وصل کنی.

🔍 با مثال‌های عملی و ورک‌فلوهای واقعی، استراتژی‌های ارزیابی برای LLMهای متنی، مدل‌های Vision-Language، سیستم‌های مکالمه‌ای چندوجهی، معماری‌های Mixture of Experts، مدل‌های Reasoning، سیستم‌های ایجنتی، پایپ‌لاین‌های بازیابی، سیستم‌های Text2SQL و Text2Cypher، مدل‌های Embedding، ورک‌فلوهای OCR و SLMهای Guardrail رو بررسی میکنی. همین‌طور یاد میگیری چطور Non-Determinism رو مدیریت کنی، Test Suiteهای تکرارپذیر طراحی کنی، اجرای ابزارها رو ولیدیت کنی و رفتار بلندمدت ایجنت‌ها رو در پروداکشن اندازه‌گیری کنی.

🚀 تا پایان کتاب، میتونی سیستم‌های ارزیابی قدرتمندی طراحی کنی که به تیم‌ها کمک میکنن اپلیکیشن‌های مبتنی بر LLM رو با قابلیت اطمینان، امنیت و صرفه اقتصادی مناسب و با اعتمادبه‌نفس دیپلوی کنن.

🎯 چیزهایی که یاد میگیری

🔁 پایپ‌لاین‌های ارزیابی تکرارپذیر برای سیستم‌های LLM طراحی میکنی

⚡ کیفیت Inference، تأخیر و هزینه عملیاتی رو ارزیابی میکنی

🧩 سیستم‌های AI چندوجهی، ایجنتی و Reasoning رو ارزیابی میکنی

🚦 Regression Gateها و ورک‌فلوهای ارزیابی دیپلویمنت میسازی

👁️ هالوسینیشن‌ها و شکست‌های Grounding رو در مدل‌های VLM تشخیص میدی

🧠 پایداری Routing رو در مدل‌های Mixture of Experts ارزیابی میکنی

🗄️ سیستم‌های Text2SQL، OCR و مبتنی بر Retrieval رو ارزیابی میکنی

📈 سیگنال‌های ارزیابی رو به تصمیم‌های واقعی پروداکشن تبدیل میکنی

👤 این کتاب برای چه کسانیه؟

👨‍💻 این کتاب برای مهندس‌های ML، مهندس‌های GenAI، معمارهای AI، دانشمندهای داده، مهندس‌های پلتفرم و مدیرهای مهندسی نوشته شده که مسئول دیپلوی سیستم‌های مبتنی بر LLM در پروداکشن هستن. پژوهشگرهای Applied AI و تصمیم‌گیرهای فنی‌ای که میخوان Reliability، امنیت و آمادگی عملیاتی سیستم‌های مدرن AI رو اندازه‌گیری کنن هم از این کتاب ارزش زیادی میگیرن. خواننده باید درک عملی از یادگیری ماشین، Python و کانسپت‌های مدرن LLM داشته باشه.

📖 فهرست مطالب

فصل ۱. مبانی ارزیابی LLM: کانسپت‌ها و Primitiveهای اصلی

فصل ۲. ساخت LLMهای متنی قابل‌اعتماد با ارزیابی در زمان آموزش

فصل ۳. کنترل رفتار LLMهای متنی در زمان Inference

فصل ۴. Grounding و Reliability در مدل‌های Vision-Language هنگام آموزش

فصل ۵. ارزیابی Visual Grounding و Reliability در زمان Inference

فصل ۶. ارزیابی LLMهای مکالمه‌ای چندوجهی در آموزش و Inference

فصل ۷. ارزیابی Routing و Reliability در LLMهای Mixture of Experts

فصل ۸. ارزیابی Reliability و کنترل در سیستم‌های ایجنتی استفاده‌کننده از کامپیوتر

فصل ۹. ارزیابی LLMهای استخراج اطلاعات و فهم سند

فصل ۱۰. ارزیابی عمیق LLMهای Reasoning

فصل ۱۱. ارزیابی سیستم‌های تخصصی LLM

👤 درباره نویسندگان

👨‍🔬 عمار مهنا، دارای دکترای تخصصی، متخصص AI و یادگیری ماشین مستقر در بیروت لبنان است. کار او روی سیستم‌های عملی LLM، ارزیابی، MLOps/LLMOps و Generative AI کاربردی تمرکز داره. او در زمینه AI پروداکشن، ایجنت‌های AI و یادگیری ماشین مبتنی بر گراف تدریس و مشاوره میده و تمرکزش روی تبدیل ایده‌های پژوهشی به سیستم‌های قابل‌اعتماد و کاربردیه که تیم‌های واقعی بتونن ازشون استفاده کنن.

👨‍💼 ایندراجیت کار ۱۸ سال تجربه در بخش‌های مختلف صنعت داره و هر سه حوزه مشاوره AI، تحقیق‌وتوسعه و مهندسی راهکار رو رهبری کرده. او و تیمش راهکارهای پیشرفته AI و Deep Learning میسازن تا بعضی از سخت‌ترین مسئله‌های مشتری‌ها رو حل کنن. ایندراجیت ۱۴ مقاله پژوهشی و ۱۲ Patent در حوزه‌های NLP، سری‌های زمانی، Computer Vision و Deep Learning داره.

💡 ایندراجیت در وقت آزادش به کارآفرین‌های کسب‌وکارهای کوچک و متوسط مشاوره میده که چطور وارد بازارهای AI و Data Science بشن، مشتری جذب کنن، محصول‌هاشون رو توسعه بدن و از داده‌های فعلی خودشون درآمد بسازن. او در طول مسیر کاری‌اش جوایز مختلفی مثل Ace Innovator، جایزه‌های Service Excellence و عنوان یکی از ۴۰ دانشمند برتر داده زیر ۴۰ سال رو دریافت کرده.

🏙️ او برنامه‌های AI و Data Science رو برای حوزه‌هایی مثل شهرهای هوشمند، خرده‌فروشی، زنجیره تأمین، کارخانه‌های خودروسازی، سلامت، داروسازی، زیرساخت و خدمات عمومی راه‌اندازی کرده. همین‌طور تحقیق‌وتوسعه در زمینه Deep Learning، نگهداری پیش‌بینی‌گر با داده‌های IIoT و سنسورها، Edge AI، تکنولوژی LiDAR، NLP و Computer Vision مبتنی بر GPU رو رهبری میکنه.

📊 ایندراجیت در گذشته پروژه‌های پیچیده Analytics رو برای صنایعی مثل BFSI، خرده‌فروشی، CPG، FMCG و نفت و گاز هدایت کرده تا بتونن تصمیم‌های داده‌محور بگیرن، نتیجه‌های کسب‌وکار رو پیش‌بینی کنن، بودجه تخصیص بدن، رفتار مشتری رو تحلیل کنن، مشتری‌ها رو حفظ یا جذب کنن، درآمد رو افزایش بدن و در حوزه‌هایی مثل قیمت‌گذاری، مارکتینگ، فروش، تبلیغات و پروموشن Forecasting انجام بدن.

👩‍💼 زونونفلی رالته کارآفرین، پژوهشگر و لیدر تکنولوژی در حوزه هوش مصنوعیه. او شرکت RastrAI Private Limited، اولین استارتاپ AI در منطقه شمال‌شرق هند، رو بنیان‌گذاری کرده و نوآوری در تکنولوژی‌های نوظهور رو جلو میبره.

🏆 او به‌عنوان اولین زن متخصص در Artificial Intelligence و Machine Learning در میزورام شناخته میشه و سه کتاب درباره هوش مصنوعی، Generative AI و Computer Vision نوشته. زونونفلی همین‌طور پژوهشگری باتجربه است که ۱۶ مقاله پژوهشی منتشر کرده و شش جایزه Best Research دریافت کرده؛ دستاوردهایی که مشارکت مهم او در Artificial Intelligence، Deep Learning و نوآوری‌های کاربردی AI رو نشون میدن.

Build reliable Build reliable AI evaluation frameworks that measure quality, safety, grounding, and production readiness across modern LLM and SLM applications

Key Features

• Design evaluation frameworks for LLMs, SLMs, multimodal, reasoning, and agentic AI systems
• Measure quality, safety, grounding, robustness, and production readiness with practical metrics
• Apply unified evaluation methods to text, multimodal, and agentic AI systems

Book Description

Modern AI systems are expected to do far more than generate fluent text. They should be able to retrieve information, reason through complex problems, understand images and documents, call external tools, execute workflows, and support critical business decisions. Evaluating these systems requires methods that go beyond traditional NLP benchmarks.

Taking a product-first approach, this book presents evaluation as a continuous operational capability spanning training, inference, and end-to-end system operation. You'll learn how to connect evaluation metrics directly to deployment gates, rollback criteria, monitoring systems, and production reliability objectives.

Using practical examples and real-world workflows, you'll explore evaluation strategies for text LLMs, vision-language models, multimodal conversational systems, mixture-of-experts architectures, reasoning models, agentic systems, retrieval pipelines, Text2SQL and Text2Cypher systems, embedding models, OCR workflows, and guardrail SLMs. You'll also learn how to manage non-determinism, design repeatable test suites, validate tool execution, and measure long-horizon agent behavior in production.

By the end of the book, you'll be able to design robust evaluation systems that help teams deploy reliable, safe, and economically viable LLM-powered applications with confidence.

What you will learn

• Design repeatable evaluation pipelines for LLM systems
• Assess inference quality, latency, and operational cost
• Evaluate multimodal, agentic, and reasoning AI systems
• Build regression gates and deployment evaluation workflows
• Detect hallucinations and grounding failures in VLMs
• Assess routing stability in mixture-of-experts models
• Evaluate Text2SQL, OCR, and retrieval-based systems
• Translate evaluation signals into production decisions

Who this book is for

ML engineers, GenAI engineers, AI architects, data scientists, platform engineers, and engineering managers responsible for deploying LLM-powered systems in production will benefit from this book. Applied AI researchers and technical decision-makers looking to measure reliability, safety, and operational readiness across modern AI systems will also find it valuable. Readers should have a working understanding of machine learning, Python, and modern LLM concepts.

Table of Contents

1. Foundations of LLM Evaluation: Core Concepts and Primitives
2. Building Reliable Text-Only LLMs Through Training-Time Evaluation
3. Controlling Text-Only LLM Behavior at Inference Time
4. Grounding and Reliability in Vision Language Models During Training
5. Evaluating Visual Grounding and Reliability at Inference Time
6. Evaluating Multimodal Conversational LLMs Across Training and Inference
7. Evaluating Routing and Reliability in Mixture of Experts LLMs
8. Evaluating Reliability and Control in Computer-Using Agent Systems
9. Evaluating Information Extraction and Document-Understanding LLMs
10. Evaluating Reasoning LLMs in Depth
11. Evaluating Specialized LLM Systems

About the Author

Ammar Mohanna, PhD, is an AI and machine learning specialist based in Beirut, Lebanon. His work focuses on practical LLM systems, evaluation, MLOps/LLMOps, and applied generative AI. He teaches and consults on production AI, AI agents, and graph-based machine learning, with an emphasis on turning research ideas into reliable, usable systems for real-world teams.

Indrajit Kar comes with 18 years of various Industry experience, leading all three division, AI consulting R&D and solution engineering. He and his team build cutting edge AI and deep learning solutions to address some of the toughest problems for his customers. He has 14 research papers and 12 patents in NLP, Timeseries, Computer Vision, and Deep learning. In his spare time, Indrajit enjoys giving advice to small and medium-sized entrepreneurs on how to enter the AI and data science markets, attract customers, develop their products, and monetize their existing data. He's won many accolades in his career from ace innovator, services excellence awards, and 40 top data scientist under the age of 40 award. He has enabled AI & Data science program for sectors like Smart Cities, Retail, supply chain, automotive factories, Healthcare, pharma, infrastructure & utilities. Also heading research and development in the area of Deep learning, predictive maintenance using IIoT/sensor data, edgeAi, Lidar tech, NLP and GPU powered computer vision. In the past, he spearheaded complex Analytics projects helping industries like BFSI, Retail, CPG, FMCG, petroleum/oil & gas, to take data driven decision, predict business outcomes, allocate budget, predict customer behaviour, retention customers, acquire new customers, maximize revenue & forecasting for key areas Pricing, marketing, sale, advertisement and promotion.

Zonunfeli Ralte is an Artificial Intelligence entrepreneur, researcher, and technology leader. She founded RastrAI Private Limited, the first AI startup from India's North East region, advancing innovation in emerging technologies. Recognized as Mizoram's first woman specializing in Artificial Intelligence and Machine Learning, she has authored three books on Artificial Intelligence, Generative AI, and Computer Vision. She is also an accomplished researcher with 16 published research papers and six Best Research Awards, reflecting her significant contributions to Artificial Intelligence, Deep Learning, and applied AI innovation.