وقتی فضای حالت‌ها و اکشن‌ها از حد توان جدول‌های جستجو فراتر می‌رود، روش‌های کلاسیک یادگیری تقویتی با بن‌بست ریاضی مواجه می‌شوند. روش‌های جدول‌محور سنتی مانند Q-learning در برخورد با متغیرهای پیوسته یا محیط‌های با ابعاد بالا ناکارآمد هستند، زیرا ذخیره کردن تمام جفت‌های حالت-اکشن به حافظه بی‌نهایت نیاز دارد. این فصل به معرفی شبکه‌های کیو عمیق (Deep Q-Networks) می‌پردازد و با جایگزین کردن جدول‌ها با تقریب‌زننده‌های تابع مبتنی بر شبکه عصبی، شکاف بین یادگیری تقویتی و یادگیری عمیق را پر می‌کند. شما بررسی خواهید کرد که چگونه معماری‌های یادگیری عمیق، فریم‌ورک‌های متداول و اصول بنیادین یادگیری تقویتی برای حل مسائل کنترل پیچیده با یکدیگر ترکیب می‌شوند. ما مکانیسم‌های اصلی DQN—از جمله بازپخش تجربه برای شکستن همبستگی نمونه‌ها و شبکه‌های هدف جداگانه برای پایدارسازی آموزش در برابر اهداف در حال تغییر—را بررسی می‌کنیم. فراتر از مدل پایه، شما همچنین بهبودهای پیشرفته‌ای مانند Rainbow DQN، یادگیری توزیعی، بازپخش تجربه اولویت‌دار، شبکه‌های نویزی و شبکه‌های دوئل را به همراه پیاده‌سازی‌های عملی روی محیط‌های کارت‌پول و بازی‌های آتاری، یادگیری از داده‌های آفلاین و مطالعات موردی بهینه‌سازی انرژی کاوش خواهید کرد. بده‌بستان بنیادی در یادگیری کیو عمیق میان کارایی نمونه و ثبات آموزش جریان دارد: به‌روزرسانی‌های آنلاین استاندارد به دلیل داده‌های ترتیبی همبسته و اهداف ناپایدار به‌طور سرسام‌آوری بی‌ثبات هستند، در حالی که ثابت نگه داشتن اهداف و ذخیره بافرهای تجربه نیازمند حافظه قابل توجه و سربار محاسباتی است. [ ] جایگزین کردن جدول‌های کیو سنتی با تقریب‌زننده‌های شبکه عصبی برای فضاهای حالت پیوسته. [ ] پیاده‌سازی بافرهای بازپخش تجربه برای شکستن همبستگی بین نمونه‌های آموزشی متوالی. [ ] پیکربندی کلون‌های شبکه هدف برای پایدارسازی به‌روزرسانی‌های اختلاف زمانی. [ ] ساخت و آموزش یک ایجنت DQN روی محیط کارت‌پول. [ ] یکپارچه‌سازی بهبودهای معماری مانند شبکه‌های دوئل، شبکه‌های نویزی و بازپخش تجربه اولویت‌دار. [ ] ارزیابی نسخه‌های پیشرفته مانند Rainbow DQN و یادگیری توزیعی روی محیط‌های پیچیده مانند بازی‌های آتاری.