وقتی یک ربات پاسخگو، قوانین حقوقی جعلی تولید می‌کند یا به دروغ تعهد مالی می‌دهد، توهم قابلیت اعتماد هوش مصنوعی فرو می‌ریزد. بدون یک روش‌شناسی ارزیابی دقیق، دیپلوی مدل‌های پایه بیشتر به قمار در تاریکی شبیه‌ است تا مهندسی نرم‌افزار. این فصل به چالش اساسی اندازه‌گیری رفتار مدل‌های زبانی و تعیین کیفیت خروجی آن‌ها می‌پردازد. ارزیابی مدل‌های بازپاسخ با موانع پیچیده‌ای روبه‌رو است. برخلاف نرم‌افزارهای سنتی که خروجی قطعی دارند، مدل‌های هوش مصنوعی متن احتمالی تولید می‌کنند. برای سنجش این احتمال‌ها، مفاهیم نظری اطلاعات مانند انتروپی و انتروپی متقاطع میزان عدم قطعیت را اندازه‌گیری می‌کنند. این شاخص‌ها به معیارهایی نظیر بیت بر کاراکتر و در نهایت perplexity (سردرگمی مدل در پیش‌بینی توکن بعدی) تبدیل می‌شوند. بدون پایش perplexity، تیم‌های فنی هیچ‌گاه متوجه نمی‌شوند که آیا مدل واقعاً زبان را یاد گرفته است یا صرفاً داده‌ها را حفظ کرده است. فراتر از آمار توکن‌ها، ارزیابی دقیق، صحت عملکرد و سنجش شباهت با داده‌های مرجع اهمیت پیدا می‌کنند. با این حال، تطبیق متن‌های مرجع گاهی پاسخ‌های خلاقانه و صحیح مدل را به دلیل تفاوت در نگارش رد می‌کند؛ اینجاست که استفاده از embedding برای درک معنایی ضرورت می‌یابد. وقتی معیارهای سنتی پاسخگوی نیازهای پیچیده نیستند، استفاده از مدل به عنوان داور (AI as a judge) امکان امتیازدهی انعطاف‌پذیر و ارائه استدلال را فراهم می‌کند. با این حال، ارزیابی مقایسه‌ای و رتبه‌بندی مدل‌ها در کنار یکدیگر برای مقابله با خطاهای داوران مصنوعی الزامی است. این حوزه همواره با یک بده‌بستان (Trade-off) دائمی میان معیارهای خودکار ارزان اما سطحی و ارزیابی‌های انسانی عمیق اما گران‌قیمت مواجه است. [ ] محاسبه و تفسیر معیارهای perplexity برای تشخیص افت کیفیت مدل [ ] پیاده‌سازی مقایسه‌های معنایی با استفاده از embedding به جای تطبیق دقیق رشته‌ها [ ] طراحی پایپ‌لاین ارزیابی خودکار با بهره‌گیری از مدل‌های قوی‌تر به عنوان داور [ ] ساختاردهی ارزیابی مقایسه‌ای برای رتبه‌بندی خروجی مدل‌ها در کنار یکدیگر