🛡️ ویژگی‌های کلیدی

• درک حملات Adversarial AI برای تقویت موثر وضعیت امنیتی سیستم‌های هوش مصنوعی

• استفاده از دیدگاه‌های متخصصان امنیت LLM برای مواجهه با تهدیدها و چالش‌های نوظهور

• پیاده‌سازی رویکردهای secure-by-design و شیوه‌های MLSecOps برای محافظت قدرتمند از سیستم‌های AI

📘 توضیح کتاب

حملات Adversarial AI مجموعه‌ای متفاوت از چالش‌های امنیتی رو ایجاد میکنن، چون مستقیما از پایه و اساس نحوه یادگیری مدل‌های هوش مصنوعی سوءاستفاده میکنن. این کتاب این تهدیدها رو به‌صورت عمیق بررسی میکنه و ابزارهایی در اختیار متخصصان امنیت سایبری میذاره تا اپلیکیشن‌های Generative AI و LLM رو ایمن کنن.

به‌جای پرداخت سطحی به ریسک‌های جدید، تمرکز کتاب روی استراتژی‌های عملی، استانداردهای صنعتی و پژوهش‌های به‌روز هست تا یک چارچوب دفاعی محکم ساخته بشه.

🧩 فصل‌ها بر اساس بینش‌های قابل اقدام طراحی شدن و یک روش secure-by-design رو معرفی میکنن که مدل‌سازی تهدید و شیوه‌های MLSecOps رو در دل خودش داره تا سیستم‌های AI تقویت بشن.

یاد میگیری چطور از طبقه‌بندی‌ها و چارچوب‌های معتبر OWASP، NIST و MITRE استفاده کنی تا آسیب‌پذیری‌ها رو شناسایی و کاهش بدی.

با مثال‌های واقعی، کتاب بهترین روش‌ها برای اضافه کردن کنترل‌های امنیتی به چرخه عمر توسعه AI رو نشون میده و بخش‌های مهمی مثل CI/CD، MLOps و LLMهای با دسترسی عمومی رو پوشش میده.

⚖️ این راهنما که بر پایه تخصص نویسندگان همکار، از پیشگامان OWASP Top 10 برای اپلیکیشن‌های LLM، نوشته شده، به پیامدهای اخلاقی امنیت AI هم میپردازه و به گفت‌وگوی گسترده‌تر درباره هوش مصنوعی قابل اعتماد کمک میکنه.

در پایان کتاب، میتونی با اطمینان و شفافیت، فناوری‌های AI رو توسعه بدی، مستقر کنی و ایمن نگه داری.

🎯 آنچه یاد خواهید گرفت

🔍 درک ریسک‌های امنیتی خاصی که LLMها ایجاد میکنن

🧠 شناسایی آسیب‌پذیری‌ها و بردارهای حمله با استفاده از مدل‌سازی تهدید

🚨 تشخیص و پاسخ به رخدادهای امنیتی در استقرارهای عملیاتی LLM

⚖️ درک چشم‌انداز پیچیده حقوقی و اخلاقی امنیت LLM

📈 طراحی راهبردهای حاکمیتی مستمر و بهبود پیوسته

🔐 کاهش ریسک‌ها در کل چرخه عمر LLM، از گردآوری داده تا عملیات

🏗️ طراحی معماری‌های امن LLM با ایزولیشن و کنترل دسترسی

👥 این کتاب مناسب چه کسانی است

این کتاب برای متخصصان امنیت سایبری، فعالان حوزه AI و رهبرانی نوشته شده که مسئول توسعه و ایمن‌سازی سیستم‌های AI مبتنی بر مدل‌های زبانی بزرگ هستن.

برای CISOها، معماران امنیت، مهندسان ML، دانشمندان داده و متخصصان DevOps بسیار کاربردیه و دید عملی برای ایمن‌سازی اپلیکیشن‌های AI ارائه میده.

مدیران و تصمیم‌گیرانی که پروژه‌های AI رو هدایت میکنن هم با شناخت ریسک‌ها و بهترین روش‌ها، میتونن یکپارچگی و سلامت پروژه‌هاشون رو تضمین کنن.

آشنایی پایه با مفاهیم امنیت و مبانی AI فرض گرفته شده.

📑 فهرست مطالب

بخش 1: مبانی امنیت LLM  

1. اصول پایه و مقدمه‌ای بر مدل‌های زبانی بزرگ  

2. ایمن‌سازی مدل‌های زبانی بزرگ  

3. ماهیت دوگانه ریسک‌های LLM: آسیب‌پذیری‌های ذاتی و بازیگران مخرب  

4. ترسیم مرزهای اعتماد در معماری‌های LLM  

5. هم‌راستا کردن امنیت LLM با اهداف سازمانی و الزامات قانونی  

بخش 2: OWASP Top 10 برای اپلیکیشن‌های LLM  

6. شناسایی و اولویت‌بندی ریسک‌های امنیتی LLM با OWASP  

7. بررسی عمیق: پروفایل ده ریسک اصلی امنیت LLM  

8. کاهش ریسک‌های LLM: استراتژی‌ها و تکنیک‌ها برای هر دسته OWASP  

9. تطبیق OWASP Top 10 با سناریوهای متنوع استقرار  

بخش 3: ساخت سیستم‌های LLM امن  

10. طراحی سیستم‌های LLM با رویکرد امنیت‌محور: معماری، کنترل‌ها و بهترین روش‌ها  

11. یکپارچه‌سازی امنیت در چرخه عمر توسعه LLM: از داده تا استقرار  

12. تاب‌آوری عملیاتی: پایش، پاسخ به رخداد و بهبود مستمر  

13. آینده امنیت LLM: تهدیدهای نوظهور، دفاع‌های امیدوارکننده و مسیر پیش‌رو  

👤 درباره نویسندگان

وایبهاو مالیک رهبر امنیت با بیش از ۱۴ سال تجربه صنعتی است که با رهبران فناوری جهانی برای طراحی و استقرار راهکارهای جامع امنیتی در مقیاس سازمانی همکاری کرده. او به‌عنوان چهره‌ای شناخته‌شده در معماری Zero Trust، تجربه عمیقی از پروژه‌های تحول شبکه، امنیت و کلاود در سازمان‌های بزرگ داره. رویکرد او بر هویت و داده‌محوری در امنیت سایبری متمرکزه و سخنران فعال کنفرانس‌های تخصصیه.

کن هوانگ نویسنده پرکار و متخصص شناخته‌شده AI و Web3 هست که کتاب‌ها و پژوهش‌های متعددی در حوزه‌های فنی و تجاری منتشر کرده. او پژوهشگر ارشد و هم‌رییس گروه‌های کاری ایمنی AI در Cloud Security Alliance و OWASP و همچنین استاد مدعو دانشگاه سان‌فرانسیسکو در حوزه Generative AI برای امنیت داده است. کن به‌عنوان CEO و CAIO شرکت DistributedApps.ai، در آموزش و مشاوره مرتبط با Generative AI فعالیت میکنه و از مشارکت‌کنندگان اصلی OWASP Top 10 Risks for LLM Applications و گروه کاری NIST Generative AI محسوب میشه.

ادز داوسون پژوهشگر ارشد امنیت AI و متخصص offensive AI security است که روی exploitation در یادگیری ماشین خصمانه و red teaming خودکار تمرکز داره. او لید فنی بنیان‌گذار پروژه OWASP LLM Applications بوده و در طراحی ابزارهای ارزیابی نسل جدید برای عملیات سایبری و AI red teaming نقش کلیدی داشته. ادز با ترکیب AppSec سنتی و پژوهش‌های پیشرفته آسیب‌پذیری AI، ارزیابی‌های adversarial کامل روی سیستم‌های حیاتی مبتنی بر AI انجام میده.

Key Features

• Understand adversarial AI attacks to strengthen your AI security posture effectively
• Leverage insights from LLM security experts to navigate emerging threats and challenges
• Implement secure-by-design strategies and MLSecOps practices for robust AI system protection

Book Description

Adversarial AI attacks present a unique set of security challenges, exploiting the very foundation of how AI learns. This book explores these threats in depth, equipping cybersecurity professionals with the tools needed to secure generative AI and LLM applications. Rather than skimming the surface of emerging risks, it focuses on practical strategies, industry standards, and recent research to build a robust defense framework.

Structured around actionable insights, the chapters introduce a secure-by-design methodology, integrating threat modeling and MLSecOps practices to fortify AI systems. You’ll discover how to leverage established taxonomies from OWASP, NIST, and MITRE to identify and mitigate vulnerabilities. Through real-world examples, the book highlights best practices for incorporating security controls into AI development life cycles, covering key areas such as CI/CD, MLOps, and open-access LLMs.

Built on the expertise of its co-authors—pioneers in the OWASP Top 10 for LLM applications—this guide also addresses the ethical implications of AI security, contributing to the broader conversation on trustworthy AI. By the end of this book, you’ll be able to develop, deploy, and secure AI technologies with confidence and clarity.

What you Will Learn

• Understand unique security risks posed by LLMs
• Identify vulnerabilities and attack vectors using threat modeling
• Detect and respond to security incidents in operational LLM deployments
• Navigate the complex legal and ethical landscape of LLM security
• Develop strategies for ongoing governance and continuous improvement
• Mitigate risks across the LLM life cycle, from data curation to operations
• Design secure LLM architectures with isolation and access controls

Who this Book is for

This book is essential for cybersecurity professionals, AI practitioners, and leaders responsible for developing and securing AI systems powered by large language models. Ideal for CISOs, security architects, ML engineers, data scientists, and DevOps professionals, it provides insights on securing AI applications. Managers and executives overseeing AI initiatives will also benefit from understanding the risks and best practices outlined in this guide to ensure the integrity of their AI projects. A basic understanding of security concepts and AI fundamentals is assumed.

Table of Contents

Part 1: Foundations of LLM Security

Chapter 1: Fundamentals and Introduction to Large Language Models

Chapter 2: Securing Large Language Models

Chapter 3: The Dual Nature of LLM Risks: Inherent Vulnerabilities and Malicious Actors

Chapter 4: Mapping Trust Boundaries in LLM Architectures

Chapter 5: Aligning LLM Security with Organizational Objectives and Regulatory Landscapes

Part 2: The OWASP Top 10 for LLM Applications

Chapter 6: Identifying and Prioritizing LLM Security Risks with OWASP

Chapter 7: Diving Deep: Profiles of the Top 10 LLM Security Risks

Chapter 8: Mitigating LLM Risks: Strategies and Techniques for Each OWASP Category

Chapter 9: Adapting the OWASP Top 10 to Diverse Deployment Scenarios

Part 3: Building Secure LLM Systems

Chapter 10: Designing LLM Systems for Security: Architecture, Controls, and Best Practices

Chapter 11: Integrating Security into the LLM Development Life Cycle: From Data Curation to Deployment

Chapter 12: Operational Resilience: Monitoring, Incident Response, and Continuous Improvement

Chapter 13: The Future of LLM Security: Emerging Threats, Promising Defenses, and the Path Forward

About the Authors

Vaibhav Malik is a security leader with over 14 years of experience in industry. He partners with global technology leaders to architect and deploy comprehensive security solutions for enterprise clients worldwide. As a recognized thought leader in Zero Trust Security Architecture, Vaibhav brings deep expertise from previous roles at leading service providers and security companies, where he guided Fortune 500 organizations through complex network, security, and cloud transformation initiatives. Vaibhav champions an identity and data-centric approach to cybersecurity and is a frequent speaker at industry conferences. He holds a Master's degree in Networking from the University of Colorado Boulder, an MBA from the University of Illinois Urbana-Champaign, and maintains his CISSP certification. His extensive hands-on experience and strategic vision make him a trusted advisor for organizations navigating today's evolving threat landscape and implementing modern security architectures.

Ken Huang is a prolific author and renowned expert in AI and Web3, with numerous published books spanning business and technical guides as well as cutting-edge research. He is a Research Fellow and Co-Chair of the AI Safety Working Groups at the Cloud Security Alliance, Co-Chair of the OWASP AIVSS project, and Co-Chair of the AI STR Working Group at the World Digital Technology Academy. He is also an Adjunct Professor at the University of San Francisco, where he teaches a graduate course on Generative AI for Data Security. Huang serves as CEO and Chief AI Officer (CAIO) of DistributedApps.ai, a firm specializing in generative AI-related training and consulting. His technical leadership is further reflected in his role as a core contributor to OWASP's Top 10 Risks for LLM Applications and his participation in the NIST Generative AI Public Working Group. A globally sought-after speaker, Ken has presented at events hosted by RSA, OWASP, ISC2, Davos WEF, ACM, IEEE, Consensus, the CSA AI Summit, the Depository Trust & Clearing Corporation, and the World Bank. He is also a member of the OpenAI Forum, contributing to global dialogue on secure and responsible AI development.

Ads Dawson is a self-described “meticulous dude” who lives by the philosophy: Harness code to conjure creative chaos—think evil; do good. He is a recognized expert in offensive AI security, specializing in adversarial machine learning exploitation and autonomous red teaming, with a talent for demonstrating capabilities in offensive security focused tasks using agents. As Staff AI Security Researcher at Dreadnode and founding Technical Lead for the OWASP LLM Applications Project, he architects next-gen evaluation harnesses for cyber operations and AI red teaming. Located in Toronto, Canada and an avid bug bounty hunter, he bridges traditional AppSec with cutting-edge AI vulnerability research, positioning him among the few experts capable of conducting full-spectrum adversarial assessments across AI-integrated critical systems.