قدم گذاشتن از محیط‌های آکادمیک و شبیه‌سازی‌شده به دنیای واقعی و سیستم‌های صنعتی، بزرگترین عیارسنج برای هر معماری یادگیری ماشین است. بدون داشتن یک فرایند مهندسی ساختاریافته، تیم‌ها اغلب مدل‌هایی می‌سازند که یا مسئله اشتباهی را حل می‌کنند و یا در مواجهه با نویزهای دنیای واقعی با شکست فاجعه‌باری روبه‌رو می‌شوند. این فصل با گذر از فرمول‌های محض ریاضی، روی نحوه تحویل موفقیت‌آمیز محصولات یادگیری تقویتی تمرکز می‌کند. در هسته خود، یادگیری تقویتی صنعتی مستلزم عبور از یک چرخه حیات متمایز است که در آن خطوط لوله سنتی یادگیری ماشین کارایی ندارند. برخلاف جریان‌های کاری سنتی که در آن‌ها مجموعه‌داده‌های ایستا محدوده کار را تعیین می‌کنند، یادگیری تقویتی با تصمیم‌گیری‌های پیاپی (Sequential) و استراتژیک در طول زمان سر و کار دارد. اگر یک مسئله را به اشتباه به عنوان یک دسته‌بندی تک‌مرحله‌ای تعریف کنید، سیستم شما فاقد آینده‌نگری لازم برای حداکثر کردن ارزش بلندمدت خواهد بود. بدون تعریف دقیق مسئله، شاخص‌های سطح پایین، ایجنت‌های شما را به سمت بهینه‌سازی پاداش‌های محلی هدایت می‌کنند و معیارهای کلیدی کسب‌وکار را تخریب خواهند سازند. | فاز مهندسی | تمرکز اصلی | تله رایج | | :--- | :--- | :--- | | تعریف مسئله | نگاشت نیازهای کسب‌وکار به اقدامات پیاپی | حل فنی مسئله بدون تحقق ارزش تجاری | | مهندسی محیط | شبیه‌سازی یا اتصال امن به دنیای واقعی | فاصله زیاد عملکرد بین شبیه‌ساز و واقعیت | | طراحی حالت و سیاست | ساخت بازنمایی‌ها و فضاهای کنش | افتادن در دام اکتشاف در محیط‌های نویزی | ساخت این سیستم‌ها نیازمند توجه دقیق به ارکان مهندسی تخصصی است. مهندسی محیط زمین بازی تمرین را فراهم می‌کند؛ چه از طریق شبیه‌سازی دقیق و چه با استفاده از یادگیری دسته‌ای (Batch Learning) از روی لاگ‌های تاریخی تا بهره‌وری نمونه‌ها افزایش یابد بدون اینکه خطری متوجه محیط واقعی تولید شود. مهندسی حالت نیازمند طراحی بازنمایی‌های پایدار است که پویایی‌های ضروری را بدون سردرگمی ناشی از نویزهای تصادفی ثبت کند. این بخش پیوند نزدیکی با مهندسی سیاست و نگاشت فضاهای کنش دارد که نحوه تبدیل مشاهدات به رفتارهای مشخص را هدایت می‌کند. در نهایت، مدیریت اکشاف (Exploration) و مهندسی پاداش تعیین می‌کند که آیا اینت شما راه‌حل‌های نوآورانه پیدا می‌کند یا راه‌های میانبری برای تقلب پیدا خواهد کرد. اشکالات طراحی در این بخش اغلب منجر به میانبرهای پیش‌بینی‌نشده‌ای می‌شود که در آن ایجنت به جای حل هدف اصلی، از باگ‌های محیط سوءاستفاده می‌کند. [ ] تعریف یک مسئله صنعتی به عنوان یک کار یادگیری تقویتی پیاپی و چندمرحله‌ای. [ ] معماری یک استراتژی محیطی قوی با استفاده از داده‌های دسته‌ای یا رابط‌های شبیه‌سازی امن. [ ] طراحی بازنمایی‌های حالت که نویزهای تصادفی را فیلتر کرده و از تله‌های اکتشاف جلوگیری می‌کنند. [ ] فرموله کردن توابع پاداش که اهداف واقعی کسب‌وکار را ترغیب کرده و در برابر تقلب پاداشی مقاومت کنند.