دیپلوی مدل یادگیری ماشین به محیط پروداکشن (Production)، جایی است که زیبایی تئوری با واقعیت‌های خشن عملیاتی برخورد می‌کند. هنگامی که ترافیک ورودی به طور ناگهانی افزایش می‌یابد یا توزیع داده‌ها به آرامی در طول زمان تغییر می‌کند، معماری‌های ساده‌ی سرویس‌دهی زیر فشار خرد می‌شوند. این فصل الگوهای مهندسی محکمی را بررسی می‌کند که برای حفظ تاب‌آوری، مقیاس‌پذیری و دقت مستمر سیستم‌های یادگیری ماشین بدون نیاز به نظارت مداوم انسانی طراحی شده‌اند. چالش اصلی در یادگیری ماشین عملیاتی، حفظ در دسترس بودن (Availability) بالا و عملکرد قابل اعتماد تحت شرایط غیرقابل پیش‌بینی است. بدون الگوهای سرویس‌دهی مقاوم، مدل‌ها در زمان اوج ترافیک دچار گلوگاه‌های تاخیر می‌شوند، با تغییر دنیای واقعی نسبت به داده‌های آموزشی پیش‌بینی‌های منسوخ تولید می‌کنند، و هنگام مدیریت بارهای کاری ناهم‌گام (Asynchronous) در مقیاس بزرگ دچار آشفتگی در همگام‌سازی می‌گردند. الگوی تابع سرویس‌دهی بدون حالت (Stateless Serving Function) منطق استنتاج را از حالت نمونه جدا می‌کند و به زیرساخت شما اجازه می‌دهد به صورت افقی مقیاس‌پذیر شود و هزاران یا میلیون‌ها درخواست هم‌گام (Synchronous) در ثانیه را پردازش کند. بدون این الگو، گلوگاه‌های دارای حالت در زمان افزایش ترافیک، پایپ‌لاین شما را مسدود می‌کنند. این موضوع را مانند یک وب‌سرور بدون حالت در مقایسه با یک برنامه دسکتاپ تصور کنید که فایل‌های محلی را باز نگه می‌دارد؛ از آنجایی که هر درخواست شامل تمام داده‌های لازم است، هر نمونه از کارگر می‌تواند به راحتی هر پرس‌وجوی ورودی را پردازش کند. برای بارهای کاری حجیم و غیرفوری، الگوی سرویس‌دهی دسته‌ای (Batch Serving) وارد عمل می‌شود تا میلیون‌ها یا میلیاردها پیش‌بینی ناهم‌گام را به طور کارآمد پردازش کند و اتصال (Coupling) بین سازندگان مدل و مصرف‌کنندگان آن را به شدت کاهش دهد. برای مبارزه با کهنگی مدل، الگوی ارزیابی مستمر مدل (Continued Model Evaluation) یک چارچوب سیستماتیک برای تشخیص کهنگی مدل از طریق ارزیابی مداوم داده‌های پروداکشن جدید در برابر حقیقت زمینی (Ground Truth) فراهم می‌کند. بدون آن، مدل شما با تغییر دنیای واقعی به آرامی و به صورت پنهانی افت عملکرد پیدا می‌کند. الگوی پیش‌بینی‌های دو مرحله‌ای (Two-Phase Predictions) تنش بین محدودیت‌های سخت‌افزاری دستگاه و پیچیدگی مدل را با ترکیب یک دسته‌بند سبک‌وزن روی دستگاه برای استنتاج فوری آفلاین و یک مدل پیچیده ابری حل می‌کند. در نهایت، الگوی پیش‌بینی‌های کلیددار (Keyed Predictions) یکپارچگی داده‌ها را در طول پردازش توزیع‌شده یا خارج از نوبت با الصاق شناسه‌های منحصر‌به‌فرد به نمونه‌های ورودی تضمین می‌کند. ساخت زیرساخت سرویس‌دهی یادگیری ماشین تاب‌آور به معنای جلوگیری از بروز هر خطایی نیست؛ بلکه به معنای طراحی سیستم‌هایی است که به زیبایی ترافیک‌های ناگهانی را جذب کنند، افت عملکرد خود را تشخیص دهند و به طور کارآمد در محیط‌های مختلف مقیاس‌پذیر شوند. [ ] پیاده‌سازی عملکردهای سرویس‌دهی بدون حالت برای مقیاس‌بندی افقی استنتاج هم‌گام در میان استخرهای کارگر. [ ] پیکربندی پایپ‌لاین‌های سرویس‌دهی دسته‌ای برای بارهای کاری پیش‌بینی ناهم‌گام با توان عملیاتی بالا. [ ] برپایی حلقه‌های ارزیابی مستمر مدل برای تشخیص زودهنگام رانش داده و کهنگی مدل. [ ] طراحی معماری پیش‌بینی دو مرحله‌ای برای ایجاد تعادل بین محدودیت‌های لبه شبکه و دقت ابری. [ ] الصاق کلیدهای درخواست منحصر‌به‌فرد برای تضمین یکپارچگی داده‌ها در پردازش توزیع‌شده خارج از نوبت.