مدل هوش مصنوعی شما در محیط آزمایشگاه عالی کار می‌کند، اما به محض اتصال به دنیای واقعی و هجوم کاربران، سیستم از کار می‌افتد یا هزینه‌های ابری سرسام‌آوری روی دست شما می‌گذارد. به دنیای واقعی خوش آمدید؛ جایی که یک پیش‌بینی دقیق اما تأخیرخورده، ارزشی کمتر از صفر دارد. این فصل به مهندسی تبدیل مدل‌های سنگین به سامانه‌های سریع، ارزان و مقیاس‌پذیر می‌پردازد. هدف اصلی بهینه‌سازی استنتاج (Inference Optimization) ایجاد پلی میان زیبایی ریاضیاتی مدل و محدودیت‌های سخت‌افزاری است. بدون این بهینه‌سازی، با بحران هم‌زمان هزینه‌های سرسام‌آور زیرساخت و تأخیر غیرقابل‌قبول روبه‌رو خواهید شد. فرض کنید یک مدل پیش‌بینی قیمت سهام، پاسخ هر درخواست را طی دو روز محاسبه کند؛ پاسخ درست است، اما بازار مدت‌ها پیش تغییر کرده است. دستیابی به کارایی نیازمند دخالت در سطح مدل، سخت‌افزار و سرویس استنتاج است. مسیر شناخت این حوزه با بررسی دقیق چرخه اجرای مدل آغاز می‌شود. استنتاج برعکس آموزش، اجرای خالص رو به جلو تحت محدودیت‌های شدید زمانی است. برای ارزیابی عملکرد، باید بر معیارهای عملکرد استنتاج (Inference Performance Metrics) مسلط باشید؛ معیارهایی مثل تأخیر (Latency)، نرخ پردازش (Throughput) و به‌ویژه بهره‌وری مفید (Goodput) که تنها درخواست‌هایی را می‌شمارد که با موفقیت به اهداف سطح خدمت (SLO) رسیده‌اند. اگر سرور شما ده درخواست در ثانیه پاسخ دهد اما تنها سه تای آن‌ها به موقع برسند، بهره‌وری مفید شما همان سه است. سخت‌افزارهای تخصصی یا همان شتاب‌دهنده‌های هوش مصنوعی (AI Accelerators) موتور محرک این پردازش‌ها هستند. با این حال، خرید گران‌ترین سخت‌افزار بدون شناخت گلوگاه‌های حافظه راه به جایی نمی‌برد. نمودار سقف عملکرد (Roofline Chart) به شما نشان می‌دهد که آیا عملیات شما محدود به توان پردازشی است یا پهنای باند حافظه. در مدل‌های زبانی بزرگ، استفاده از حافظه پنهان کلید-مقدار یا همان KV cache مانع از محاسبه دوباره و مکرر بردارها در مراحل تولید متن می‌شود. گام بعدی، اصلاح ساختار خود مدل است. تکنیک‌های بهینه‌سازی مدل (Model Optimization) مانند کوانتایزسازی (Quantization) یا استفاده از توابع بهینه‌ شده‌ای مانند FlashAttention حجم مدل را کاهش داده و سرعت اجرای آن را به شکل چشمگیری بالا می‌برند. استراتژی‌های پیشرفته بازگشتی مثل دیکدینگ موازی تضمین می‌کنند که سخت‌افزار شما لحظه‌ای بیکار نماند. در نهایت، مدیریت این سامانه در مقیاس بالا نیازمند بهینه‌سازی سرویس استنتاج (Inference Service Optimization) است. مدل‌ها در خلاء اجرا نمی‌شوند و به موتورهای سرویس‌دهی نیاز دارند. تکنیک‌هایی نظیر دسته‌بندی پویا (Dynamic Batching) و کش کردن پرامپت‌ها، درخواست‌های ورودی را به شکلی هوشمند مدیریت می‌کنند تا سخت‌افزار بیشترین بهره‌وری را داشته باشد. همچنین موازی‌سازی تنسور (Tensor Parallelism) امکان اجرای مدل‌های غول‌پیکر را روی چندین تراشه فراهم می‌کند. چالش اصلی در مهندسی استنتاج، حفظ تعادل میان دقت مدل، سرعت پاسخ‌دهی و هزینه‌های عملیاتی است. هر تصمیم بهینه‌سازی یک بده‌بستان (Trade-off) واقعی است؛ مثلاً کاهش دقت اعداد در کوانتایزسازی سرعت را بیشتر می‌کند اما ممکن است کیفیت خروجی را به طور نامحسوس تغییر دهد. [ ] ردیابی بهره‌وری مفید (Goodput) به جای اتکا صرف به نرخ پردازش خام (Throughput) برای سنجش واقعی تجربه کاربری. [ ] تحلیل گلوگاه‌های سخت‌افزاری با استفاده از نمودار سقف عملکرد (Roofline Chart) برای تشخیص وابستگی به حافظه یا پردازنده. [ ] پیاده‌سازی کش کلید-مقدار (KV cache) و FlashAttention برای حذف محاسبات تکراری در تولید توکن. [ ] اعمال تکنیک‌های فشرده‌سازی مدل مانند کوانتایزسازی جهت کاهش مصرف حافظه بدون افت کیفیت فاحش. [ ] پیکربندی دسته‌بندی پویا (Dynamic Batching) و کش پرامپت در لایه سرویس برای استفاده بهینه از سخت‌افزار. [ ] توزیع مدل‌های بسیار بزرگ روی چند تراشه با استفاده از موازی‌سازی تنسور و پایپ‌لاین.