رفتن به محتوای اصلی
۰

اندازه‌گیری درست کیفیت

«حس می‌کنم این پرامپت بهتر است» نتیجه نیست. ارزیابی (eval) کیفیت را به عددی تبدیل می‌کند که بشود مقایسه‌اش کرد، دنبالش کرد و از آن دفاع کرد. درست انجام دادنش یعنی انتخاب ارزیابِ مناسب، نگه داشتن مجموعه‌ای که فقط بزرگ می‌شود و مقایسه‌ی منصفانه‌ی نسخه‌ها.